Motion capture

Link gốc bài viết :

https://en.wikipedia.org/wiki/Motion_capt
ure

Motion capture (sometimes referred as mo-cap or mocap, for

short) is the process of recording the movement of objects or
people. It is used in military, entertainment, sports, medical
applications, and for validation of computer vision[3] and robots.[4] In
films, television shows and video games, motion capture refers to
recording actions of human actors and using that information to
animate digital character models in 2D or 3D computer animation.
[5][6][7]
When it includes face and fingers or captures subtle
expressions, it is often referred to as performance capture.[8] In
many fields, motion capture is sometimes called motion
tracking, but in filmmaking and games, motion tracking usually
refers more to match moving.

In motion capture sessions, movements of one or more actors are

sampled many times per second. Whereas early techniques
used images from multiple cameras to calculate 3D positions,
[9]
often the purpose of motion capture is to record only the
movements of the actor, not their visual appearance.
This animation data is mapped to a 3D model so that the model
performs the same actions as the actor. This process may be
contrasted with the older technique of rotoscoping.

Camera movements can also be motion captured so that a virtual

camera in the scene will pan, tilt or dolly around the stage driven
by a camera operator while the actor is performing. At the same
time, the motion capture system can capture the camera and
props as well as the actor's performance. This allows the
computer-generated characters, images and sets to have the
same perspective as the video images from the camera. A
computer processes the data and displays the movements of the
actor, providing the desired camera positions in terms of objects
in the set. Retroactively obtaining camera movement data from
the captured footage is known as match moving or camera
tracking.

The first virtual actor animated by motion-capture was produced

in 1993 by Didier Pourcel and his team at Gribouille. It involved
"cloning" the body and face of French comedian Richard
Bohringer, and then animating it with still-nascent motion-capture
tools.

Advantages

Motion capture offers several advantages over

traditional computer animation of a 3D model:

• Low latency, close to real-time results can be obtained. In

entertainment applications, this can reduce the costs of
keyframe-based animation.[10] The Hand Over technique is an
example of this.
• The amount of work does not vary with the complexity or length
of the performance to the same degree as when using
traditional techniques. This allows many tests to be done
with different styles or deliveries, giving a distinct personality
that is only limited by the talent of the actor.
• Complex movement and realistic physical interactions such
as secondary motions, weight, and exchange of forces can
be easily recreated in a physically accurate manner.[11]
• The amount of animation data that can be produced within a
given time is extremely large when compared to traditional
 animation techniques. This contributes to both cost-
effectiveness and meeting production deadlines.[12]
• Potential for free software and third-party solutions reducing its
costs.

Disadvantages
• Specific hardware and special software programs are required
to obtain and process the data.
• The cost of the software, equipment and personnel required can
be prohibitive for small productions.
• The capture system may have specific requirements for the
space in which it is operated, depending on camera field of
view or magnetic distortion.
• When problems occur, it is easier to shoot the scene again
rather than trying to manipulate the data. Only a few systems
allow real-time viewing of the data to decide if the take
needs to be redone.
• The initial results are limited to what can be performed within the
capture volume without extra editing of the data.
• Movement that does not follow the laws of physics cannot be
captured.
• Traditional animation techniques, such as added emphasis on
anticipation and follow through, secondary motion or
manipulating the shape of the character, as with squash and
stretch animation techniques, must be added later.
• If the computer model has different proportions from the capture
subject, artifacts may occur. For example, if a cartoon
character has large, oversized hands, these may intersect
the character's body if the human performer is not careful
with their physical motion.
Applications

There are many applications of Motion Capture. The most

common are for video games, movies, and movement capture,
however there is a research application for this technology being
used at Purdue University in robotics development.

Video Games[edit]
Video games often use motion capture to animate
athletes, martial artists, and other in-game characters.[13][14] As
early as 1988, an early form of motion capture was used to
animate the 2D player characters of Martech's video
game Vixen (performed by model Corinne Russell)[15] and Magical
Company's 2D arcade fighting game Last Apostle Puppet
Show (to animate digitized sprites).[16] Motion capture was later
notably used to animate the 3D character models in the Sega
Model arcade games Virtua Fighter (1993)[17][18] and Virtua Fighter
2 (1994).[19] In mid-1995, developer/publisher Acclaim
Entertainment had its own in-house motion capture studio built
into its headquarters.[14] Namco's 1995 arcade game Soul
Edge used passive optical system markers for motion capture.
[20]
Motion capture also uses athletes in based-off animated
games, such as Naughty Dog's Crash Bandicoot, Insomniac
Games' Spyro the Dragon, and Rare's Dinosaur Planet.

Robotics[edit]
Indoor positioning is another application for optical motion capture
systems. Robotics researchers often use motion capture systems
when developing and evaluating control, estimation, and
perception algorithms and hardware. In outdoor spaces, it’s
possible to achieve accuracy to the centimeter by using the
Global Navigation Satellite System (GNSS) together with Real-
Time Kinematics (RTK). However, this reduces significantly when
there is no line-of-sight to the satellites — such as in indoor
environments. The majority of vendors selling commercial optical
motion capture systems provide accessible open source drivers
that integrate with the popular Robotic Operating System (ROS)
framework, allowing researchers and developers to effectively test
their robots during development.

In the field of aerial robotics research, motion capture systems are

widely used for positioning as well. Regulations on airspace
usage limit how feasible outdoor experiments can be conducted
with Unmanned Aerial Systems (UAS). Indoor tests can
circumvent such restrictions. Many labs and institutions around
the world have built indoor motion capture volumes for this
purpose.

Purdue University houses the world’s largest indoor motion

capture system, inside the Purdue UAS Research and Test
(PURT) facility. PURT is dedicated to UAS research, and provides
tracking volume of 600,000 cubic feet using 60 motion capture
cameras.[21] The optical motion capture system is able to track
targets in its volume with millimeter accuracy, effectively providing
the true position of targets — the “ground truth” baseline in
research and development. Results derived from other sensors
and algorithms can then be compared to the ground truth data to
evaluate their performance.

Movies[edit]
Movies use motion capture for CGI effects, in some cases
replacing traditional cel animation, and for
completely CGI creatures, such as Gollum, The Mummy, King
Kong, Davy Jones from Pirates of the Caribbean, the Na'vi from
the film Avatar, and Clu from Tron: Legacy. The Great Goblin, the
three Stone-trolls, many of the orcs and goblins in the 2012
film The Hobbit: An Unexpected Journey, and Smaug were
created using motion capture.
The film Batman Forever (1995) used some motion capture for
certain visual effects. Warner Bros. had acquired motion capture
technology from arcade video game company Acclaim
Entertainment for use in the film's production.[22] Acclaim's
1995 video game of the same name also used the same motion
capture technology to animate the digitized sprite graphics.[23]

Star Wars: Episode I – The Phantom Menace (1999) was the first
feature-length film to include a main character created using
motion capture (that character being Jar Jar Binks, played
by Ahmed Best), and Indian-American film Sinbad: Beyond the
Veil of Mists (2000) was the first feature-length film made
primarily with motion capture, although many character animators
also worked on the film, which had a very limited release.
2001's Final Fantasy: The Spirits Within was the first widely
released movie to be made with motion capture technology.
Despite its poor box-office intake, supporters of motion capture
technology took notice. Total Recall had already used the
technique, in the scene of the x-ray scanner and the skeletons.

The Lord of the Rings: The Two Towers was the first feature film
to utilize a real-time motion capture system. This method
streamed the actions of actor Andy Serkis into the computer-
generated imagery skin of Gollum / Smeagol as it was being
performed.[24]

Storymind Entertainment, which is an

independent Ukrainian studio, created a neo-noir third-person /
shooter video game called My Eyes On You, using motion
capture in order to animate its main character, Jordan Adalien,
and along with non-playable characters.[25]

Out of the three nominees for the 2006 Academy Award for Best
Animated Feature, two of the nominees (Monster House and the
winner Happy Feet) used motion capture, and
only Disney·Pixar's Cars was animated without motion capture. In
the ending credits of Pixar's film Ratatouille, a stamp appears
labelling the film as "100% Genuine Animation – No Motion
Capture!"

Since 2001, motion capture has been used extensively to

simulate or approximate the look of live-action theater, with
nearly photorealistic digital character models. The Polar
Express used motion capture to allow Tom Hanks to perform as
several distinct digital characters (in which he also provided the
voices). The 2007 adaptation of the saga Beowulf animated digital
characters whose appearances were based in part on the actors
who provided their motions and voices. James Cameron's highly
popular Avatar used this technique to create the Na'vi that inhabit
Pandora. The Walt Disney Company has produced Robert
Zemeckis's A Christmas Carol using this technique. In 2007,
Disney acquired Zemeckis' ImageMovers Digital (that produces
motion capture films), but then closed it in 2011, after a box office
failure of Mars Needs Moms.

Television series produced entirely with motion capture animation

include Laflaque in Canada, Sprookjesboom and Cafe de
Wereld [nl] in The Netherlands, and Headcases in the UK.

Movement Capture[edit]
Virtual reality and Augmented reality providers, such
as uSens and Gestigon, allow users to interact with digital content
in real time by capturing hand motions. This can be useful for
training simulations, visual perception tests, or performing virtual
walk-throughs in a 3D environment. Motion capture technology is
frequently used in digital puppetry systems to drive computer-
generated characters in real time.

Gait analysis is one application of motion capture in clinical

medicine. Techniques allow clinicians to evaluate human motion
across several biomechanical factors, often while streaming this
information live into analytical software.

One innovative use is pose detection, which can empower

patients during post-surgical recovery or rehabilitation after
injuries. This approach enables continuous monitoring, real-time
guidance, and individually tailored programs to enhance patient
outcomes.[26]

Some physical therapy clinics utilize motion capture as an

objective way to quantify patient progress.[27]

During the filming of James Cameron's Avatar all of the scenes

involving motion capture were directed in real-time
using Autodesk MotionBuilder software to render a screen image
which allowed the director and the actor to see what they would
look like in the movie, making it easier to direct the movie as it
would be seen by the viewer. This method allowed views and
angles not possible from a pre-rendered animation. Cameron was
so proud of his results that he invited Steven
Spielberg and George Lucas on set to view the system in action.

In Marvel's The Avengers, Mark Ruffalo used motion capture so

he could play his character the Hulk, rather than have him be only
CGI as in previous films, making Ruffalo the first actor to play
both the human and the Hulk versions of Bruce Banner.

FaceRig software uses facial recognition technology from

ULSee.Inc to map a player's facial expressions and the body
tracking technology from Perception Neuron to map the body
movement onto a 2D or 3D character's motion on-screen.[28][29]

During Game Developers Conference 2016 in San

Francisco Epic Games demonstrated full-body motion capture live
in Unreal Engine. The whole scene, from the upcoming
game Hellblade about a woman warrior named Senua, was
rendered in real-time. The keynote[30] was a collaboration
between Unreal Engine, Ninja Theory, 3Lateral, Cubic
Motion, IKinema and Xsens.

In 2020, the two-time Olympic figure skating champion Yuzuru

Hanyu graduated from Waseda University. In his thesis, using
data provided by 31 sensors placed on his body, he analysed his
jumps. He evaluated the use of technology both in order to
improve the scoring system and to help skaters improve their
jumping technique.[31][32] In March 2021 a summary of the thesis
was published in the academic journal.[33]

Methods and systems

Motion tracking or motion capture started as a photogrammetric

analysis tool in biomechanics research in the 1970s and 1980s,
and expanded into education, training, sports and
recently computer animation for television, cinema, and video
games as the technology matured. Since the 20th century, the
performer has to wear markers near each joint to identify the
motion by the positions or angles between the markers. Acoustic,
inertial, LED, magnetic or reflective markers, or combinations of
any of these, are tracked, optimally at least two times the
frequency rate of the desired motion. The resolution of the system
is important in both the spatial resolution and temporal resolution
as motion blur causes almost the same problems as low
resolution. Since the beginning of the 21st century - and because
of the rapid growth of technology - new methods have been
developed. Most modern systems can extract the silhouette of the
performer from the background. Afterwards all joint angles are
calculated by fitting in a mathematical model into the silhouette.
For movements you can not see a change of the silhouette, there
are hybrid systems available that can do both (marker and
silhouette), but with less marker.[citation needed] In robotics, some motion
capture systems are based on simultaneous localization and
mapping.[34]

Further information: Left-hand–right-hand activity

chart and Kinematics

Optical systems

Optical systems utilize data captured from image sensors

to triangulate the 3D position of a subject between two or more
cameras calibrated to provide overlapping projections. Data
acquisition is traditionally implemented using special markers
attached to an actor; however, more recent systems are able to
generate accurate data by tracking surface features identified
dynamically for each particular subject. Tracking a large number
of performers or expanding the capture area is accomplished by
the addition of more cameras. These systems produce data with
three degrees of freedom for each marker, and rotational
information must be inferred from the relative orientation of three
or more markers; for instance shoulder, elbow and wrist markers
providing the angle of the elbow. Newer hybrid systems are
combining inertial sensors with optical sensors to reduce
occlusion, increase the number of users and improve the ability to
track without having to manually clean up data.[35]

Passive markers[edit]
https://en.wikipedia.org/wiki/File:MotionCapture.jpg
A dancer wearing a suit used in an optical motion capture system
https://en.wikipedia.org/wiki/File:Motion_capture_facial.jpg
Markers are placed at specific points on an actor's face during facial optical
motion capture.
Passive optical systems use markers coated with
a retroreflective material to reflect light that is generated near the
camera's lens. The camera's threshold can be adjusted so only
the bright reflective markers will be sampled, ignoring skin and
fabric.

The centroid of the marker is estimated as a position within the

two-dimensional image that is captured. The grayscale value of
each pixel can be used to provide sub-pixel accuracy by finding
the centroid of the Gaussian.

An object with markers attached at known positions is used to

calibrate the cameras and obtain their positions, and the lens
distortion of each camera is measured. If two calibrated cameras
see a marker, a three-dimensional fix can be obtained. Typically a
system will consist of around 2 to 48 cameras. Systems of over
three hundred cameras exist to try to reduce marker swap. Extra
cameras are required for full coverage around the capture subject
and multiple subjects.

Vendors have constraint software to reduce the problem of

marker swapping since all passive markers appear identical.
Unlike active marker systems and magnetic systems, passive
systems do not require the user to wear wires or electronic
equipment.[36] Instead, hundreds of rubber balls are attached with
reflective tape, which needs to be replaced periodically. The
markers are usually attached directly to the skin (as in
biomechanics), or they are velcroed to a performer wearing a full-
body spandex/lycra suit designed specifically for motion capture.
This type of system can capture large numbers of markers at
frame rates usually around 120 to 160 fps although by lowering
the resolution and tracking a smaller region of interest they can
track as high as 10,000 fps.

Active marker[edit]
https://en.wikipedia.org/wiki/File:Body_Motion_Capture.jpg
Body motion capture
Active optical systems triangulate positions by illuminating one
LED at a time very quickly or multiple LEDs with software to
identify them by their relative positions, somewhat akin to celestial
navigation. Rather than reflecting light back that is generated
externally, the markers themselves are powered to emit their own
light. Since the inverse square law provides one quarter of the
power at two times the distance, this can increase the distances
and volume for capture. This also enables a high signal-to-noise
ratio, resulting in very low marker jitter and a resulting high
measurement resolution (often down to 0.1 mm within the
calibrated volume).

The TV series Stargate SG1 produced episodes using an active

optical system for the VFX allowing the actor to walk around
props that would make motion capture difficult for other non-active
optical systems.[citation needed]

ILM used active markers in Van Helsing to allow capture of

Dracula's flying brides on very large sets similar to Weta's use of
active markers in Rise of the Planet of the Apes. The power to
each marker can be provided sequentially in phase with the
capture system providing a unique identification of each marker
for a given capture frame at a cost to the resultant frame rate. The
ability to identify each marker in this manner is useful in real-time
applications. The alternative method of identifying markers is to
do it algorithmically requiring extra processing of the data.

There are also possibilities to find the position by using colored

LED markers. In these systems, each color is assigned to a
specific point of the body.

One of the earliest active marker systems in the 1980s was a

hybrid passive-active mocap system with rotating mirrors and
colored glass reflective markers and which used masked linear
array detectors.
Time modulated active marker[edit]
https://en.wikipedia.org/wiki/File:Activemarker2.PNG
A high-resolution uniquely identified active marker system with 3,600 ×
3,600 resolution at 960 hertz providing real time submillimeter positions
Active marker systems can further be refined by strobing one
marker on at a time, or tracking multiple markers over time and
modulating the amplitude or pulse width to provide marker ID. 12-
megapixel spatial resolution modulated systems show more
subtle movements than 4-megapixel optical systems by having
both higher spatial and temporal resolution. Directors can see the
actor's performance in real-time, and watch the results on the
motion capture-driven CG character. The unique marker IDs
reduce the turnaround, by eliminating marker swapping and
providing much cleaner data than other technologies. LEDs with
onboard processing and radio synchronization allow motion
capture outdoors in direct sunlight while capturing at 120 to 960
frames per second due to a high-speed electronic shutter.
Computer processing of modulated IDs allows less hand cleanup
or filtered results for lower operational costs. This higher accuracy
and resolution requires more processing than passive
technologies, but the additional processing is done at the camera
to improve resolution via subpixel or centroid processing,
providing both high resolution and high speed. These motion
capture systems typically cost $20,000 for an eight-camera, 12-
megapixel spatial resolution 120-hertz system with one actor.
https://en.wikipedia.org/wiki/File:PrakashOutdoorMotionCapture.jpg
IR sensors can compute their location when lit by mobile multi-LED
emitters, e.g. in a moving car. With Id per marker, these sensor tags can be
worn under clothing and tracked at 500 Hz in broad daylight.
Semi-passive imperceptible marker[edit]
One can reverse the traditional approach based on high-speed
cameras. Systems such as Prakash use inexpensive multi-LED
high-speed projectors. The specially built multi-LED IR projectors
optically encode the space. Instead of retro-reflective or active
light emitting diode (LED) markers, the system uses
photosensitive marker tags to decode the optical signals. By
attaching tags with photo sensors to scene points, the tags can
compute not only their own locations of each point, but also their
own orientation, incident illumination, and reflectance.

These tracking tags work in natural lighting conditions and can be

imperceptibly embedded in attire or other objects. The system
supports an unlimited number of tags in a scene, with each tag
uniquely identified to eliminate marker reacquisition issues. Since
the system eliminates a high-speed camera and the
corresponding high-speed image stream, it requires significantly
lower data bandwidth. The tags also provide incident illumination
data which can be used to match scene lighting when inserting
synthetic elements. The technique appears ideal for on-set motion
capture or real-time broadcasting of virtual sets but has yet to be
proven.

Underwater motion capture system[edit]

Motion capture technology has been available for researchers
and scientists for a few decades, which has given new insight into
many fields.

Underwater cameras[edit]
The vital part of the system, the underwater camera, has a
waterproof housing. The housing has a finish that withstands
corrosion and chlorine which makes it perfect for use in basins
and swimming pools. There are two types of cameras. Industrial
high-speed cameras can also be used as infrared cameras.
Infrared underwater cameras come with a cyan light strobe
instead of the typical IR light for minimum fall-off underwater and
high-speed cameras with an LED light or with the option of using
image processing.
 https://en.wikipedia.org/wiki/File:Oqus_underwater.jpg
Underwater motion capture camera
https://en.wikipedia.org/wiki/File:Motion_tacking_by_using_image_processing.PNG
Motion tracking in swimming by using image processing
Measurement volume[edit]
An underwater camera is typically able to measure 15–20 meters
depending on the water quality, the camera and the type of
marker used. Unsurprisingly, the best range is achieved when the
water is clear, and like always, the measurement volume is also
dependent on the number of cameras. A range of underwater
markers are available for different circumstances.

Tailored[edit]
Different pools require different mountings and fixtures. Therefore,
all underwater motion capture systems are uniquely tailored to
suit each specific pool instalment. For cameras placed in the
center of the pool, specially designed tripods, using suction cups,
are provided.

Markerless[edit]
Emerging techniques and research in computer vision are leading
to the rapid development of the markerless approach to motion
capture. Markerless systems such as those developed at Stanford
University, the University of Maryland, MIT, and the Max Planck
Institute, do not require subjects to wear special equipment for
tracking. Special computer algorithms are designed to allow the
system to analyze multiple streams of optical input and identify
human forms, breaking them down into constituent parts for
tracking. ESC entertainment, a subsidiary of Warner Brothers
Pictures created especially to enable virtual cinematography,
including photorealistic digital look-alikes for filming The Matrix
Reloaded and The Matrix Revolutions movies, used a technique
called Universal Capture that utilized 7 camera setup and the
tracking the optical flow of all pixels over all the 2-D planes of the
cameras for motion, gesture and facial expression capture leading
to photorealistic results.

Traditional systems[edit]
Traditionally markerless optical motion tracking is used to keep
track of various objects, including airplanes, launch vehicles,
missiles and satellites. Many such optical motion tracking
applications occur outdoors, requiring differing lens and camera
configurations. High-resolution images of the target being tracked
can thereby provide more information than just motion data. The
image obtained from NASA's long-range tracking system on the
space shuttle Challenger's fatal launch provided crucial evidence
about the cause of the accident. Optical tracking systems are also
used to identify known spacecraft and space debris despite the
fact that it has a disadvantage compared to radar in that the
objects must be reflecting or emitting sufficient light.[37]

An optical tracking system typically consists of three subsystems:

the optical imaging system, the mechanical tracking platform and
the tracking computer.

The optical imaging system is responsible for converting the light

from the target area into a digital image that the tracking computer
can process. Depending on the design of the optical tracking
system, the optical imaging system can vary from as simple as a
standard digital camera to as specialized as an astronomical
telescope on the top of a mountain. The specification of the
optical imaging system determines the upper limit of the effective
range of the tracking system.

The mechanical tracking platform holds the optical imaging

system and is responsible for manipulating the optical imaging
system in such a way that it always points to the target being
tracked. The dynamics of the mechanical tracking platform
combined with the optical imaging system determines the tracking
system's ability to keep the lock on a target that changes speed
rapidly.

The tracking computer is responsible for capturing the images

from the optical imaging system, analyzing the image to extract
the target position and controlling the mechanical tracking
platform to follow the target. There are several challenges. First,
the tracking computer has to be able to capture the image at a
relatively high frame rate. This posts a requirement on the
bandwidth of the image-capturing hardware. The second
challenge is that the image processing software has to be able to
extract the target image from its background and calculate its
position. Several textbook image-processing algorithms are
designed for this task. This problem can be simplified if the
tracking system can expect certain characteristics that is common
in all the targets it will track. The next problem down the line is
controlling the tracking platform to follow the target. This is a
typical control system design problem rather than a challenge,
which involves modeling the system dynamics and
designing controllers to control it. This will however become a
challenge if the tracking platform the system has to work with is
not designed for real-time.

The software that runs such systems is also customized for the
corresponding hardware components. One example of such
software is OpticTracker, which controls computerized telescopes
to track moving objects at great distances, such as planes and
satellites. Another option is the software SimiShape, which can
also be used hybrid in combination with markers.

RGB-D cameras[edit]
RGB-D cameras such as Kinect capture both the color and depth
images. By fusing the two images, 3D colored voxels can be
captured, allowing motion capture of 3D human motion and
human surface in real-time.
Because of the use of a single-view camera, motions captured
are usually noisy. Machine learning techniques have been
proposed to automatically reconstruct such noisy motions into
higher quality ones, using methods such as lazy
learning[38] and Gaussian models.[39] Such method generates
accurate enough motion for serious applications like ergonomic
assessment.[40]

Non-optical systems[edit]Inertial systems[edit]

Inertial motion capture[41] technology is based on miniature inertial
sensors, biomechanical models and sensor fusion algorithms.
[42]
The motion data of the inertial sensors (inertial guidance
system) is often transmitted wirelessly to a computer, where the
motion is recorded or viewed. Most inertial systems use inertial
measurement units (IMUs) containing a combination of
gyroscope, magnetometer, and accelerometer, to measure
rotational rates. These rotations are translated to a skeleton in the
software. Much like optical markers, the more IMU sensors the
more natural the data. No external cameras, emitters or markers
are needed for relative motions, although they are required to give
the absolute position of the user if desired. Inertial motion capture
systems capture the full six degrees of freedom body motion of a
human in real-time and can give limited direction information if
they include a magnetic bearing sensor, although these are much
lower resolution and susceptible to electromagnetic noise.
Benefits of using Inertial systems include: capturing in a variety of
environments including tight spaces, no solving, portability, and
large capture areas. Disadvantages include lower positional
accuracy and positional drift which can compound over time.
These systems are similar to the Wii controllers but are more
sensitive and have greater resolution and update rates. They can
accurately measure the direction to the ground to within a degree.
The popularity of inertial systems is rising amongst game
developers,[10] mainly because of the quick and easy setup
resulting in a fast pipeline. A range of suits are now available from
various manufacturers and base prices range from $1000 to
US$80,000.

Mechanical motion[edit]
Mechanical motion capture systems directly track body joint
angles and are often referred to as exoskeleton motion capture
systems, due to the way the sensors are attached to the body. A
performer attaches the skeletal-like structure to their body and as
they move so do the articulated mechanical parts, measuring the
performer's relative motion. Mechanical motion capture systems
are real-time, relatively low-cost, free from occlusion, and wireless
(untethered) systems that have unlimited capture volume.
Typically, they are rigid structures of jointed, straight metal or
plastic rods linked together with potentiometers that articulate at
the joints of the body. These suits tend to be in the $25,000 to
$75,000 range plus an external absolute positioning system.
Some suits provide limited force feedback or haptic input.

Magnetic systems[edit]
Magnetic systems calculate position and orientation by the
relative magnetic flux of three orthogonal coils on both the
transmitter and each receiver.[43] The relative intensity of the
voltage or current of the three coils allows these systems to
calculate both range and orientation by meticulously mapping the
tracking volume. The sensor output is 6DOF, which provides
useful results obtained with two-thirds the number of markers
required in optical systems; one on upper arm and one on lower
arm for elbow position and angle.[citation needed] The markers are not
occluded by nonmetallic objects but are susceptible to magnetic
and electrical interference from metal objects in the environment,
like rebar (steel reinforcing bars in concrete) or wiring, which
affect the magnetic field, and electrical sources such as monitors,
lights, cables and computers. The sensor response is nonlinear,
especially toward edges of the capture area. The wiring from the
sensors tends to preclude extreme performance movements.
[43]
With magnetic systems, it is possible to monitor the results of a
motion capture session in real time.[43] The capture volumes for
magnetic systems are dramatically smaller than they are for
optical systems. With the magnetic systems, there is a distinction
between alternating-current (AC) and direct-current (DC) systems:
DC system uses square pulses, AC systems uses sine wave
pulse.

Stretch sensors[edit]
Stretch sensors are flexible parallel plate capacitors that measure
either stretch, bend, shear, or pressure and are typically produced
from silicone. When the sensor stretches or squeezes its
capacitance value changes. This data can be transmitted via
Bluetooth or direct input and used to detect minute changes in
body motion. Stretch sensors are unaffected by magnetic
interference and are free from occlusion. The stretchable nature
of the sensors also means they do not suffer from positional drift,
which is common with inertial systems. Stretchable sensors, on
the other hands, due to the material properties of their substrates
and conducting materials, suffer from relatively low signal-to-noise
ratio, requiring filtering or machine learning to make them usable
for motion capture. These solutions result in higher latency when
compared to alternative sensors.

Related techniques[edit]Facial motion capture[edit]

Main article: Facial motion capture
Most traditional motion capture hardware vendors provide for
some type of low-resolution facial capture utilizing anywhere from
32 to 300 markers with either an active or passive marker system.
All of these solutions are limited by the time it takes to apply the
markers, calibrate the positions and process the data. Ultimately
the technology also limits their resolution and raw output quality
levels.

High-fidelity facial motion capture, also known as performance

capture, is the next generation of fidelity and is utilized to record
the more complex movements in a human face in order to capture
higher degrees of emotion. Facial capture is currently arranging
itself in several distinct camps, including traditional motion capture
data, blend-shaped based solutions, capturing the actual topology
of an actor's face, and proprietary systems.

The two main techniques are stationary systems with an array of

cameras capturing the facial expressions from multiple angles
and using software such as the stereo mesh solver from OpenCV
to create a 3D surface mesh, or to use light arrays as well to
calculate the surface normals from the variance in brightness as
the light source, camera position or both are changed. These
techniques tend to be only limited in feature resolution by the
camera resolution, apparent object size and number of cameras.
If the users face is 50 percent of the working area of the camera
and a camera has megapixel resolution, then sub millimeter facial
motions can be detected by comparing frames. Recent work is
focusing on increasing the frame rates and doing optical flow to
allow the motions to be retargeted to other computer generated
faces, rather than just making a 3D Mesh of the actor and their
expressions.

Radio frequency positioning[edit]

Radio frequency positioning systems are becoming more
viable[citation needed] as higher frequency radio frequency devices allow
greater precision than older technologies such as radar. The
speed of light is 30 centimeters per nanosecond (billionth of a
second), so a 10 gigahertz (billion cycles per second) radio
frequency signal enables an accuracy of about 3 centimeters. By
measuring amplitude to a quarter wavelength, it is possible to
improve the resolution down to about 8 mm. To achieve the
resolution of optical systems, frequencies of 50 gigahertz or
higher are needed, which are almost as dependent on line of sight
and as easy to block as optical systems. Multipath and reradiation
of the signal are likely to cause additional problems, but these
technologies will be ideal for tracking larger volumes with
reasonable accuracy, since the required resolution at 100 meter
distances is not likely to be as high. Many scientists[who?] believe
that radio frequency will never produce the accuracy required for
motion capture.

Researchers at Massachusetts Institute of Technology

researchers said in 2015 that they had made a system that tracks
motion by radio frequency signals.[44]

Non-traditional systems[edit]
An alternative approach was developed where the actor is given
an unlimited walking area through the use of a rotating sphere,
similar to a hamster ball, which contains internal sensors
recording the angular movements, removing the need for external
cameras and other equipment. Even though this technology could
potentially lead to much lower costs for motion capture, the basic
sphere is only capable of recording a single continuous direction.
Additional sensors worn on the person would be needed to record
anything more.

Another alternative is using a 6DOF (Degrees of freedom) motion

platform with an integrated omni-directional treadmill with high
resolution optical motion capture to achieve the same effect. The
captured person can walk in an unlimited area, negotiating
different uneven terrains. Applications include medical
rehabilitation for balance training, bio-mechanical research and
virtual reality.[citation needed]

3D pose estimation[edit]
In 3D pose estimation, an actor's pose can be reconstructed from
an image or depth map.[45]

BẢN DỊCH

Chụp chuyển động (đôi khi được gọi tắt là mo-

cap hoặc mocap ) là quá trình ghi lại chuyển động của vật thể
hoặc con người. Nó được sử dụng trong quân sự , giải trí , thể
thao , ứng dụng y tế và để xác thực thị giác máy tính [ 3 ] và rô
bốt. [ 4 ] Trong phim, chương trình truyền hình và trò chơi điện tử,
chụp chuyển động đề cập đến việc ghi lại hành động của diễn
viên và sử dụng thông tin đó để tạo hoạt ảnh cho các mô
hình nhân vật kỹ thuật số trong hoạt hình máy tính 2D hoặc
3D . [ 5 ] [ 6 ] [ 7 ] Khi bao gồm khuôn mặt và ngón tay hoặc chụp các
biểu cảm tinh tế, nó thường được gọi là chụp hiệu
suất . [ 8 ] Trong nhiều lĩnh vực, chụp chuyển động đôi khi được
gọi là theo dõi chuyển động , nhưng trong làm phim và trò chơi,
theo dõi chuyển động thường đề cập nhiều hơn đến việc khớp
với chuyển động .

Trong các phiên chụp chuyển động, chuyển động của một hoặc
nhiều diễn viên được lấy mẫu nhiều lần mỗi giây. Trong khi các
kỹ thuật ban đầu sử dụng hình ảnh từ nhiều máy ảnh để tính toán
vị trí 3D , [ 9 ] mục đích thường của chụp chuyển động là chỉ ghi lại
chuyển động của diễn viên, không phải ngoại hình của họ. Dữ
liệu hoạt hình này được ánh xạ vào mô hình 3D để mô hình thực
hiện các hành động giống như diễn viên. Quá trình này có thể trái
ngược với kỹ thuật rotoscoping cũ hơn .

Chuyển động của máy quay cũng có thể được ghi lại chuyển
động để máy quay ảo trong cảnh quay sẽ xoay, nghiêng hoặc di
chuyển xung quanh sân khấu do người điều khiển máy quay điều
khiển trong khi diễn viên đang biểu diễn. Đồng thời, hệ thống ghi
lại chuyển động có thể ghi lại máy quay và đạo cụ cũng như màn
trình diễn của diễn viên. Điều này cho phép các nhân vật, hình
ảnh và bối cảnh do máy tính tạo ra có cùng góc nhìn với hình ảnh
video từ máy quay. Máy tính xử lý dữ liệu và hiển thị chuyển động
của diễn viên, cung cấp vị trí máy quay mong muốn về mặt các
đối tượng trong bối cảnh. Việc thu thập dữ liệu chuyển động của
máy quay một cách hồi tố từ cảnh quay đã ghi lại được gọi là di
chuyển khớp hoặc theo dõi máy quay .

Diễn viên ảo đầu tiên được hoạt hình hóa bằng công nghệ ghi
hình chuyển động được sản xuất vào năm 1993 bởi Didier
Pourcel và nhóm của ông tại Gribouille. Nó bao gồm việc "nhân
bản" cơ thể và khuôn mặt của diễn viên hài người Pháp Richard
Bohringer, sau đó hoạt hình hóa nó bằng các công cụ ghi hình
chuyển động vẫn còn mới mẻ.

Thuận lợi[ biên tập ]

Công nghệ ghi lại chuyển động mang lại một số lợi thế so
với hoạt hình máy tính truyền thống của mô hình 3D:

• Có thể thu được kết quả gần với thời gian thực, độ trễ thấp.
Trong các ứng dụng giải trí, điều này có thể giảm chi phí
cho hoạt hình dựa trên khung hình chính . [ 10 ] Kỹ thuật Hand
Over là một ví dụ về điều này.
• Lượng công việc không thay đổi theo độ phức tạp hoặc độ dài
của buổi biểu diễn ở cùng mức độ như khi sử dụng các kỹ
thuật truyền thống. Điều này cho phép thực hiện nhiều bài
kiểm tra với các phong cách hoặc cách trình bày khác nhau,
tạo ra một cá tính riêng biệt chỉ bị giới hạn bởi tài năng của
diễn viên.
• Chuyển động phức tạp và tương tác vật lý thực tế như chuyển
động thứ cấp , trọng lượng và trao đổi lực có thể dễ dàng
được tái tạo theo cách chính xác về mặt vật lý. [ 11 ]
• Lượng dữ liệu hoạt hình có thể được tạo ra trong một khoảng
thời gian nhất định là cực kỳ lớn khi so sánh với các kỹ thuật
hoạt hình truyền thống. Điều này góp phần vào cả hiệu quả
về chi phí và đáp ứng thời hạn sản xuất. [ 12 ]
• Tiềm năng cho phần mềm miễn phí và các giải pháp của bên
thứ ba giúp giảm chi phí.
Nhược điểm[ biên tập ]

• Cần có phần cứng và phần mềm chuyên dụng để thu thập và

xử lý dữ liệu.
• Chi phí cho phần mềm, thiết bị và nhân sự cần thiết có thể quá
cao đối với những sản phẩm nhỏ.
• Hệ thống chụp có thể có các yêu cầu cụ thể về không gian vận
hành, tùy thuộc vào trường nhìn của camera hoặc độ méo
từ.
• Khi có vấn đề xảy ra, việc quay lại cảnh quay dễ hơn là cố gắng
thao túng dữ liệu. Chỉ một số ít hệ thống cho phép xem dữ
liệu theo thời gian thực để quyết định xem cảnh quay có cần
phải làm lại hay không.
• Kết quả ban đầu bị giới hạn ở những gì có thể thực hiện được
trong khối lượng dữ liệu thu thập mà không cần chỉnh sửa
thêm dữ liệu.
• Không thể ghi lại được chuyển động không tuân theo định luật
vật lý.
• Các kỹ thuật hoạt hình truyền thống, chẳng hạn như nhấn mạnh
thêm vào dự đoán và theo dõi, chuyển động thứ cấp hoặc
điều chỉnh hình dạng của nhân vật, như với các kỹ thuật
hoạt hình nén và kéo giãn , phải được thêm vào sau.
• Nếu mô hình máy tính có tỷ lệ khác với đối tượng chụp, hiện
tượng nhiễu có thể xảy ra. Ví dụ, nếu một nhân vật hoạt
hình có bàn tay lớn, quá khổ, những bàn tay này có thể giao
nhau với cơ thể của nhân vật nếu người biểu diễn không
cẩn thận với chuyển động vật lý của họ.
Ứng dụng[ biên tập ]
https://en.wikipedia.org/wiki/File:Motion_Capture_Performers.png
Những người biểu diễn ghi hình chuyển động từ Đại học Buckinghamshire
New
Có nhiều ứng dụng của Motion Capture. Phổ biến nhất là cho trò
chơi điện tử, phim ảnh và chụp chuyển động, tuy nhiên có một
ứng dụng nghiên cứu cho công nghệ này đang được sử dụng tại
Đại học Purdue trong phát triển robot.

Trò chơi điện tử[ biên tập ]

Trò chơi điện tử thường sử dụng công nghệ bắt chuyển động để
tạo hoạt ảnh cho các vận động viên, võ sĩ và các nhân vật khác
trong trò chơi. [ 13 ] [ 14 ] Ngay từ năm 1988, một dạng công nghệ bắt
chuyển động ban đầu đã được sử dụng để tạo hoạt ảnh cho các
nhân vật người chơi 2D trong trò chơi điện tử Vixen của Martech
(do người mẫu Corinne Russell thủ vai ) [ 15 ] và trò chơi đối
kháng arcade 2D Last Apostle Puppet Show của Magical
Company (để tạo hoạt ảnh cho các họa tiết được số
hóa ). [ 16 ] Sau đó, công nghệ bắt chuyển động được sử dụng
đáng chú ý để tạo hoạt ảnh cho các mô hình nhân
vật 3D trong các trò chơi arcade Virtua Fighter (1993) của Sega
Model [ 17 ] [ 18 ] và Virtua Fighter 2 (1994). [ 19 ] Vào giữa năm 1995,
nhà phát triển/phát hành Acclaim Entertainment đã có một studio
bắt chuyển động nội bộ được xây dựng tại trụ sở chính của
mình. [ 14 ] Trò chơi điện tử Soul Edge năm 1995 của Namco sử
dụng các điểm đánh dấu hệ thống quang học thụ động để ghi lại
chuyển động. [ 20 ] Ghi lại chuyển động cũng sử dụng các vận động
viên trong các trò chơi dựa trên hoạt hình, chẳng hạn như Crash
Bandicoot của Naughty Dog , Spyro the Dragon của Insomniac
Games và Dinosaur Planet của Rare .
Kỹ thuật Robot[ biên tập ]
Định vị trong nhà là một ứng dụng khác của hệ thống chụp
chuyển động quang học. Các nhà nghiên cứu robot thường sử
dụng hệ thống chụp chuyển động khi phát triển và đánh giá các
thuật toán và phần cứng điều khiển, ước tính và nhận thức. Ở
không gian ngoài trời, có thể đạt được độ chính xác đến từng
centimet bằng cách sử dụng Hệ thống vệ tinh định vị toàn cầu
( GNSS ) cùng với Động học thời gian thực ( RTK ). Tuy nhiên,
điều này giảm đáng kể khi không có đường ngắm đến vệ tinh —
chẳng hạn như trong môi trường trong nhà. Phần lớn các nhà
cung cấp bán hệ thống chụp chuyển động quang học thương mại
đều cung cấp trình điều khiển nguồn mở có thể truy cập được
tích hợp với khuôn khổ Hệ điều hành robot ( ROS ) phổ biến, cho
phép các nhà nghiên cứu và nhà phát triển thử nghiệm hiệu quả
robot của họ trong quá trình phát triển.

Trong lĩnh vực nghiên cứu robot trên không, hệ thống bắt chuyển
động cũng được sử dụng rộng rãi để định vị. Các quy định về sử
dụng không phận hạn chế khả năng thực hiện các thí nghiệm
ngoài trời với Hệ thống máy bay không người lái ( UAS ). Các thử
nghiệm trong nhà có thể tránh được những hạn chế như vậy.
Nhiều phòng thí nghiệm và tổ chức trên khắp thế giới đã xây
dựng các khối lượng bắt chuyển động trong nhà cho mục đích
này.

Đại học Purdue sở hữu hệ thống ghi lại chuyển động trong nhà
lớn nhất thế giới, bên trong cơ sở Nghiên cứu và Thử nghiệm
UAS (PURT) của Purdue. PURT dành riêng cho nghiên cứu UAS
và cung cấp thể tích theo dõi là 600.000 feet khối bằng cách sử
dụng 60 camera ghi lại chuyển động. [ 21 ] Hệ thống ghi lại chuyển
động quang học có thể theo dõi mục tiêu trong thể tích của nó với
độ chính xác đến từng milimét, cung cấp hiệu quả vị trí thực của
mục tiêu — cơ sở “thực tế” trong nghiên cứu và phát triển. Sau
đó, kết quả thu được từ các cảm biến và thuật toán khác có thể
được so sánh với dữ liệu thực tế để đánh giá hiệu suất của
chúng.

Phim[ biên tập ]

Phim sử dụng công nghệ ghi hình chuyển động cho hiệu ứng
CGI, trong một số trường hợp thay thế hoạt hình cel truyền thống
và cho các sinh vật hoàn toàn là CGI , chẳng hạn
như Gollum , The Mummy , King Kong , Davy Jones trong Pirates
of the Caribbean , Na'vi trong phim Avatar và Clu trong Tron:
Legacy . The Great Goblin, ba Stone-trolls , nhiều orc và yêu tinh
trong bộ phim năm 2012 The Hobbit: An Unexpected
Journey và Smaug được tạo ra bằng công nghệ ghi hình chuyển
động.

Bộ phim Batman Forever (1995) sử dụng một số công nghệ chụp

chuyển động cho một số hiệu ứng hình ảnh nhất định. Warner
Bros. đã mua lại công nghệ chụp chuyển động từ công ty trò chơi
điện tử Acclaim Entertainment để sử dụng trong quá trình sản
xuất bộ phim. [ 22 ] Trò chơi điện tử cùng tên năm 1995 của
Acclaim cũng sử dụng công nghệ chụp chuyển động tương tự để
tạo hoạt ảnh cho đồ họa sprite được số hóa . [ 23 ]

Star Wars: Episode I – The Phantom Menace (1999) là bộ phim

dài đầu tiên có nhân vật chính được tạo ra bằng công nghệ ghi lại
chuyển động (nhân vật đó là Jar Jar Binks , do Ahmed Best thủ
vai), vàbộ phim Ấn Độ - Mỹ Sinbad: Beyond the Veil of
Mists (2000) là bộ phim dài đầu tiên được thực hiện chủ yếu bằng
công nghệ ghi lại chuyển động, mặc dù nhiều họa sĩ hoạt hình
nhân vật cũng làm việc trên bộ phim này, nhưng chỉ được phát
hành rất hạn chế. Final Fantasy: The Spirits Within năm 2001 là
bộ phim đầu tiên được phát hành rộng rãi bằng công nghệ ghi lại
chuyển động. Mặc dù doanh thu phòng vé không cao, những
người ủng hộ công nghệ ghi lại chuyển động đã chú ý đến
nó. Total Recall đã sử dụng kỹ thuật này trong cảnh máy quét tia
X và bộ xương.
Chúa tể của những chiếc nhẫn: Hai tòa tháp là bộ phim truyện
đầu tiên sử dụng hệ thống ghi lại chuyển động thời gian thực.
Phương pháp này truyền trực tiếp các hành động của diễn
viên Andy Serkis vào lớp da hình ảnh do máy tính tạo ra của
Gollum / Smeagol khi nó đang được thực hiện. [ 24 ]

Storymind Entertainment, một studio độc lập của Ukraine , đã tạo

ra một trò chơi điện tử bắn súng góc nhìn thứ ba theo phong cách
tân-noir có tên là My Eyes On You , sử dụng công nghệ ghi lại
chuyển động để tạo hoạt ảnh cho nhân vật chính, Jordan Adalien,
cùng với các nhân vật không thể chơi được. [ 25 ]

Trong số ba phim được đề cử cho Giải thưởng Viện Hàn lâm

năm 2006 cho Phim hoạt hình hay nhất , hai phim được đề cử
( Monster House và phim chiến thắng Happy Feet ) đã sử dụng
công nghệ ghi lại chuyển động, và chỉ
có Cars của Disney · Pixar là phim hoạt hình không sử dụng công
nghệ ghi lại chuyển động. Trong phần giới thiệu kết thúc của bộ
phim Ratatouille của Pixar , một con tem xuất hiện ghi nhãn bộ
phim là "100% hoạt hình chính hãng – Không ghi lại chuyển
động!"

Từ năm 2001, công nghệ ghi hình chuyển động đã được sử dụng
rộng rãi để mô phỏng hoặc gần đúng với diện mạo của rạp chiếu
phim người đóng, với các mô hình nhân vật kỹ thuật số gần
như chân thực . The Polar Express đã sử dụng công nghệ ghi
hình chuyển động để cho phép Tom Hanks đóng vai một số nhân
vật kỹ thuật số riêng biệt (trong đó anh cũng lồng tiếng). Bản
chuyển thể năm 2007 của bộ truyện Beowulf đã hoạt hình hóa
các nhân vật kỹ thuật số có ngoại hình dựa một phần vào các
diễn viên đã cung cấp chuyển động và giọng nói của họ. Bộ phim
Avatar cực kỳ nổi tiếng của James Cameron đã sử dụng kỹ thuật
này để tạo ra người Na'vi sinh sống ở Pandora. Công ty Walt
Disney đã sản xuất A Christmas Carol của Robert Zemeckis bằng
kỹ thuật này. Năm 2007, Disney đã mua lại ImageMovers
Digital của Zemeckis (công ty sản xuất phim ghi hình chuyển
động), nhưng sau đó đóng cửa vào năm 2011, sau thất bại tại
phòng vé của Mars Needs Moms .

Các bộ phim truyền hình được sản xuất hoàn toàn bằng công
nghệ hoạt hình bắt chuyển động bao gồm Laflaque ở
Canada, Sprookjesboom và Cafe de Wereld [ nl ] ở Hà Lan
và Headcases ở Vương quốc Anh.

Bắt chuyển động[ biên tập ]

Các nhà cung cấp thực tế ảo và thực tế tăng cường , chẳng hạn
như uSens và Gestigon , cho phép người dùng tương tác với nội
dung kỹ thuật số theo thời gian thực bằng cách ghi lại chuyển
động của tay. Điều này có thể hữu ích cho việc mô phỏng đào
tạo, kiểm tra nhận thức trực quan hoặc thực hiện các cuộc đi bộ
ảo trong môi trường 3D. Công nghệ ghi lại chuyển động thường
được sử dụng trong các hệ thống múa rối kỹ thuật số để điều
khiển các nhân vật do máy tính tạo ra theo thời gian thực.

Phân tích dáng đi là một ứng dụng của việc ghi lại chuyển động
trong y học lâm sàng . Các kỹ thuật cho phép các bác sĩ lâm sàng
đánh giá chuyển động của con người qua một số yếu tố cơ sinh
học, thường là trong khi truyền trực tiếp thông tin này vào phần
mềm phân tích.

Một ứng dụng sáng tạo là phát hiện tư thế, có thể trao quyền cho
bệnh nhân trong quá trình phục hồi sau phẫu thuật hoặc phục hồi
chức năng sau chấn thương. Phương pháp này cho phép theo
dõi liên tục, hướng dẫn thời gian thực và các chương trình được
thiết kế riêng để nâng cao kết quả cho bệnh nhân. [ 26 ]

Một số phòng khám vật lý trị liệu sử dụng công nghệ ghi lại
chuyển động như một cách khách quan để định lượng tiến trình
của bệnh nhân. [ 27 ]
Trong quá trình quay phim Avatar của James Cameron , tất cả
các cảnh quay liên quan đến chuyển động đều được đạo diễn
theo thời gian thực bằng phần mềm Autodesk MotionBuilder để
dựng hình ảnh trên màn hình, cho phép đạo diễn và diễn viên
thấy họ sẽ trông như thế nào trong phim, giúp đạo diễn dễ dàng
hơn khi chỉ đạo bộ phim như cách người xem nhìn thấy. Phương
pháp này cho phép xem các góc nhìn và góc quay mà hoạt hình
dựng sẵn không thể có. Cameron rất tự hào về kết quả của mình
đến nỗi ông đã mời Steven Spielberg và George Lucas đến
trường quay để xem hệ thống hoạt động.

Trong The Avengers của Marvel , Mark Ruffalo đã sử dụng công

nghệ ghi hình chuyển động để anh có thể vào vai Hulk , thay vì
chỉ sử dụng công nghệ CGI như trong các bộ phim trước, giúp
Ruffalo trở thành diễn viên đầu tiên vào vai cả phiên bản người
và Hulk của Bruce Banner.

Phần mềm FaceRig sử dụng công nghệ nhận dạng khuôn mặt từ
ULSee.Inc để lập bản đồ biểu cảm khuôn mặt của người chơi và
công nghệ theo dõi cơ thể từ Perception Neuron để lập bản đồ
chuyển động cơ thể lên chuyển động của nhân vật 2D hoặc 3D
trên màn hình. [ 28 ] [ 29 ]

Trong Hội nghị các nhà phát triển trò chơi 2016 tại San
Francisco, Epic Games đã trình diễn công nghệ bắt chuyển động
toàn thân trực tiếp trong Unreal Engine. Toàn bộ cảnh quay, từ
trò chơi sắp ra mắt Hellblade về một nữ chiến binh tên là Senua,
đã được dựng theo thời gian thực. Bài phát biểu chính [ 30 ] là sự
hợp tác giữa Unreal Engine , Ninja Theory , 3Lateral , Cubic
Motion , IKinema và Xsens .

Năm 2020, nhà vô địch trượt băng nghệ thuật Olympic hai
lần Yuzuru Hanyu đã tốt nghiệp Đại học Waseda . Trong luận án
của mình, anh đã sử dụng dữ liệu do 31 cảm biến đặt trên cơ thể
cung cấp để phân tích các cú nhảy của mình. Anh đã đánh giá
việc sử dụng công nghệ để cải thiện hệ thống tính điểm và giúp
người trượt băng cải thiện kỹ thuật nhảy của họ. [ 31 ] [ 32 ] Vào tháng
3 năm 2021, một bản tóm tắt của luận án đã được công bố trên
tạp chí học thuật. [ 33 ]

Phương pháp và hệ thống[ biên tập ]

https://en.wikipedia.org/wiki/File:Kistler_plates.jpg
Các điểm đánh dấu phản quang được gắn vào da để xác định các điểm
mốc của cơ thể và chuyển động 3D của các phân đoạn cơ thể
https://en.wikipedia.org/wiki/File:Silhouette_tracking.PNG
Theo dõi hình bóng
Theo dõi chuyển động hoặc bắt chuyển động bắt đầu như một
công cụ phân tích ảnh trắc trong nghiên cứu cơ sinh học vào
những năm 1970 và 1980, và mở rộng sang giáo dục, đào tạo,
thể thao và gần đây là hoạt hình máy tính cho truyền hình , điện
ảnh và trò chơi điện tử khi công nghệ phát triển. Kể từ thế kỷ 20,
người biểu diễn phải đeo các điểm đánh dấu gần mỗi khớp để
xác định chuyển động theo vị trí hoặc góc giữa các điểm đánh
dấu. Các điểm đánh dấu âm thanh, quán tính, LED , từ tính hoặc
phản xạ, hoặc kết hợp bất kỳ loại nào trong số này, được theo
dõi, tối ưu ít nhất gấp hai lần tần số của chuyển động mong
muốn. Độ phân giải của hệ thống rất quan trọng đối với cả độ
phân giải không gian và độ phân giải thời gian vì chuyển động
mờ gây ra gần như cùng một vấn đề như độ phân giải thấp. Kể từ
đầu thế kỷ 21 - và do sự phát triển nhanh chóng của công nghệ -
các phương pháp mới đã được phát triển. Hầu hết các hệ thống
hiện đại có thể trích xuất hình bóng của người biểu diễn từ nền.
Sau đó, tất cả các góc khớp được tính toán bằng cách đưa một
mô hình toán học vào hình bóng. Đối với các chuyển động mà
bạn không thể thấy sự thay đổi của hình bóng, có các hệ thống lai
có thể thực hiện cả hai (điểm đánh dấu và hình bóng), nhưng với
ít điểm đánh dấu hơn. [ cần trích dẫn ] Trong robot, một số hệ thống chụp
chuyển động dựa trên định vị và lập bản đồ đồng thời . [ 34 ]

Thông tin thêm: Biểu đồ hoạt động tay trái-tay phải và Động học

Hệ thống quang học[ biên tập ]

Hệ thống quang học sử dụng dữ liệu thu được từ cảm biến hình
ảnh để xác định vị trí 3D của đối tượng giữa hai hoặc nhiều
camera được hiệu chỉnh để cung cấp các phép chiếu chồng lấn.
Việc thu thập dữ liệu theo truyền thống được thực hiện bằng cách
sử dụng các điểm đánh dấu đặc biệt được gắn vào một diễn viên;
tuy nhiên, các hệ thống gần đây hơn có thể tạo ra dữ liệu chính
xác bằng cách theo dõi các đặc điểm bề mặt được xác định động
cho từng đối tượng cụ thể. Việc theo dõi một số lượng lớn người
biểu diễn hoặc mở rộng khu vực chụp được thực hiện bằng cách
bổ sung thêm nhiều camera. Các hệ thống này tạo ra dữ liệu với
ba bậc tự do cho mỗi điểm đánh dấu và thông tin quay phải được
suy ra từ hướng tương đối của ba hoặc nhiều điểm đánh dấu; ví
dụ như các điểm đánh dấu vai, khuỷu tay và cổ tay cung cấp góc
của khuỷu tay. Các hệ thống lai mới hơn đang kết hợp các cảm
biến quán tính với các cảm biến quang học để giảm sự che
khuất, tăng số lượng người dùng và cải thiện khả năng theo dõi
mà không cần phải dọn dẹp dữ liệu thủ công. [ 35 ]

Dấu hiệu thụ động[ biên tập ]

https://en.wikipedia.org/wiki/File:MotionCapture.jpg
Một vũ công mặc bộ đồ được sử dụng trong hệ thống chụp chuyển động
quang học
https://en.wikipedia.org/wiki/File:Motion_capture_facial.jpg
Các điểm đánh dấu được đặt tại các điểm cụ thể trên khuôn mặt của diễn
viên trong quá trình ghi lại chuyển động quang học trên khuôn mặt.
Hệ thống quang học thụ động sử dụng các điểm đánh dấu được
phủ vật liệu phản quang để phản chiếu ánh sáng được tạo ra gần
ống kính máy ảnh. Ngưỡng của máy ảnh có thể được điều chỉnh
để chỉ các điểm đánh dấu phản quang sáng mới được lấy mẫu,
bỏ qua da và vải.

Tâm của điểm đánh dấu được ước tính là vị trí trong hình ảnh hai
chiều được chụp. Giá trị thang độ xám của mỗi điểm ảnh có thể
được sử dụng để cung cấp độ chính xác của từng điểm ảnh bằng
cách tìm tâm của Gaussian .

Một vật thể có gắn điểm đánh dấu ở các vị trí đã biết được sử
dụng để hiệu chuẩn máy ảnh và xác định vị trí của chúng, và độ
méo ống kính của mỗi máy ảnh được đo. Nếu hai máy ảnh đã
hiệu chuẩn nhìn thấy một điểm đánh dấu, có thể có được bản
sửa lỗi ba chiều. Thông thường, một hệ thống sẽ bao gồm
khoảng 2 đến 48 máy ảnh. Các hệ thống có hơn ba trăm máy ảnh
tồn tại để cố gắng giảm việc hoán đổi điểm đánh dấu. Cần có
thêm máy ảnh để bao phủ toàn bộ xung quanh đối tượng chụp và
nhiều đối tượng.

Các nhà cung cấp có phần mềm hạn chế để giảm vấn đề hoán
đổi điểm đánh dấu vì tất cả các điểm đánh dấu thụ động đều có
vẻ giống hệt nhau. Không giống như các hệ thống điểm đánh dấu
chủ động và hệ thống từ tính, các hệ thống thụ động không yêu
cầu người dùng phải đeo dây hoặc thiết bị điện tử. [ 36 ] Thay vào
đó, hàng trăm quả bóng cao su được gắn bằng băng phản
quang, cần được thay thế định kỳ. Các điểm đánh dấu thường
được gắn trực tiếp vào da (như trong cơ học sinh học) hoặc
chúng được dán bằng miếng dán Velcro vào người biểu diễn mặc
bộ đồ spandex/lycra toàn thân được thiết kế riêng để ghi lại
chuyển động . Loại hệ thống này có thể ghi lại số lượng lớn điểm
đánh dấu ở tốc độ khung hình thường là khoảng 120 đến 160
khung hình/giây mặc dù bằng cách hạ thấp độ phân giải và theo
dõi vùng quan tâm nhỏ hơn, chúng có thể theo dõi tới 10.000
khung hình/giây.

Đánh dấu hoạt động[ biên tập ]

https://en.wikipedia.org/wiki/File:Body_Motion_Capture.jpg
Chụp chuyển động cơ thể
Hệ thống quang học chủ động xác định vị trí bằng cách chiếu
sáng một đèn LED tại một thời điểm rất nhanh hoặc nhiều đèn
LED bằng phần mềm để xác định chúng theo vị trí tương đối của
chúng, có phần giống với định vị thiên thể. Thay vì phản xạ ánh
sáng trở lại được tạo ra bên ngoài, bản thân các điểm đánh dấu
được cấp nguồn để phát ra ánh sáng của riêng chúng. Vì định
luật nghịch đảo bình phương cung cấp một phần tư công suất ở
khoảng cách gấp đôi, điều này có thể làm tăng khoảng cách và
thể tích để chụp. Điều này cũng cho phép tỷ lệ tín hiệu trên nhiễu
cao, dẫn đến độ nhiễu điểm đánh dấu rất thấp và độ phân giải đo
lường cao (thường xuống tới 0,1 mm trong thể tích đã hiệu
chuẩn).

Bộ phim truyền hình Stargate SG1 sản xuất các tập phim sử dụng
hệ thống quang học chủ động cho VFX cho phép diễn viên đi bộ
xung quanh các đạo cụ mà các hệ thống quang học không chủ
động khác khó có thể thực hiện được việc ghi lại chuyển động. [ cần
trích dẫn ]

ILM đã sử dụng các điểm đánh dấu hoạt động trong Van
Helsing để cho phép bắt giữ các cô dâu bay của Dracula trên các
bối cảnh rất lớn tương tự như cách Weta sử dụng các điểm đánh
dấu hoạt động trong Rise of the Planet of the Apes . Sức mạnh
của mỗi điểm đánh dấu có thể được cung cấp tuần tự theo pha
với hệ thống bắt giữ cung cấp nhận dạng duy nhất của mỗi điểm
đánh dấu cho một khung bắt giữ nhất định với chi phí cho tốc độ
khung hình kết quả. Khả năng nhận dạng từng điểm đánh dấu
theo cách này rất hữu ích trong các ứng dụng thời gian thực.
Phương pháp thay thế để nhận dạng các điểm đánh dấu là thực
hiện theo thuật toán đòi hỏi phải xử lý thêm dữ liệu.

Ngoài ra còn có khả năng tìm vị trí bằng cách sử dụng các điểm
đánh dấu LED màu. Trong các hệ thống này, mỗi màu được chỉ
định cho một điểm cụ thể trên cơ thể.

Một trong những hệ thống đánh dấu chủ động sớm nhất vào
những năm 1980 là hệ thống mocap thụ động-chủ động kết hợp
với gương xoay và các điểm đánh dấu phản chiếu bằng kính màu
và sử dụng các máy dò mảng tuyến tính có mặt nạ.

Đánh dấu hoạt động điều chế theo thời gian[ biên tập ]
https://en.wikipedia.org/wiki/File:Activemarker2.PNG
Hệ thống đánh dấu hoạt động có độ phân giải cao được xác định duy nhất
với độ phân giải 3.600 × 3.600 ở tần số 960 hertz cung cấp vị trí dưới
milimét theo thời gian thực
Hệ thống đánh dấu chủ động có thể được tinh chỉnh thêm bằng
cách nhấp nháy một điểm đánh dấu tại một thời điểm hoặc theo
dõi nhiều điểm đánh dấu theo thời gian và điều chế biên độ hoặc
độ rộng xung để cung cấp ID điểm đánh dấu. Hệ thống điều chế
độ phân giải không gian 12 megapixel cho thấy các chuyển động
tinh tế hơn hệ thống quang học 4 megapixel bằng cách có cả độ
phân giải không gian và thời gian cao hơn. Đạo diễn có thể xem
diễn xuất của diễn viên theo thời gian thực và xem kết quả trên
nhân vật CG điều khiển chuyển động. ID điểm đánh dấu duy nhất
làm giảm thời gian quay vòng, bằng cách loại bỏ việc hoán đổi
điểm đánh dấu và cung cấp dữ liệu sạch hơn nhiều so với các
công nghệ khác. Đèn LED với xử lý tích hợp và đồng bộ hóa vô
tuyến cho phép ghi lại chuyển động ngoài trời dưới ánh sáng mặt
trời trực tiếp trong khi chụp ở tốc độ 120 đến 960 khung hình mỗi
giây nhờ màn trập điện tử tốc độ cao. Xử lý máy tính các ID đã
điều chế cho phép ít phải dọn dẹp bằng tay hoặc lọc kết quả để
giảm chi phí vận hành. Độ chính xác và độ phân giải cao hơn này
đòi hỏi nhiều xử lý hơn so với các công nghệ thụ động, nhưng
quá trình xử lý bổ sung được thực hiện tại máy ảnh để cải thiện
độ phân giải thông qua xử lý dưới điểm ảnh hoặc tâm điểm, cung
cấp cả độ phân giải cao và tốc độ cao. Các hệ thống ghi hình
chuyển động này thường có giá 20.000 đô la cho hệ thống tám
camera, độ phân giải không gian 12 megapixel, tần số 120 Hz với
một diễn viên.
https://en.wikipedia.org/wiki/File:PrakashOutdoorMotionCapture.jpg
Cảm biến IR có thể tính toán vị trí của chúng khi được chiếu sáng bởi các
bộ phát đa LED di động, ví dụ như trong một chiếc xe đang di chuyển. Với
Id cho mỗi điểm đánh dấu, các thẻ cảm biến này có thể được đeo dưới
quần áo và theo dõi ở tần số 500 Hz vào ban ngày.
Dấu hiệu bán thụ động không thể nhận thấy[ biên tập ]
Người ta có thể đảo ngược cách tiếp cận truyền thống dựa trên
các camera tốc độ cao. Các hệ thống như Prakash sử dụng máy
chiếu tốc độ cao đa LED giá rẻ. Máy chiếu IR đa LED được chế
tạo đặc biệt mã hóa không gian quang học. Thay vì các điểm
đánh dấu phản xạ ngược hoặc điốt phát sáng chủ động (LED), hệ
thống sử dụng các thẻ đánh dấu nhạy sáng để giải mã các tín
hiệu quang. Bằng cách gắn các thẻ có cảm biến ảnh vào các
điểm cảnh, các thẻ có thể tính toán không chỉ vị trí của riêng
chúng tại mỗi điểm mà còn cả hướng, độ chiếu sáng tới và độ
phản xạ của riêng chúng.

Các thẻ theo dõi này hoạt động trong điều kiện ánh sáng tự nhiên
và có thể được nhúng một cách không thể nhận thấy vào trang
phục hoặc các vật thể khác. Hệ thống hỗ trợ số lượng thẻ không
giới hạn trong một cảnh, với mỗi thẻ được xác định duy nhất để
loại bỏ các vấn đề thu lại điểm đánh dấu. Vì hệ thống loại bỏ
camera tốc độ cao và luồng hình ảnh tốc độ cao tương ứng, nên
nó yêu cầu băng thông dữ liệu thấp hơn đáng kể. Các thẻ cũng
cung cấp dữ liệu chiếu sáng sự cố có thể được sử dụng để khớp
với ánh sáng cảnh khi chèn các thành phần tổng hợp. Kỹ thuật
này có vẻ lý tưởng để ghi lại chuyển động trên phim trường hoặc
phát sóng thời gian thực các phim trường ảo nhưng vẫn chưa
được chứng minh.

Hệ thống ghi lại chuyển động dưới nước[ biên tập ]

Công nghệ ghi lại chuyển động đã được các nhà nghiên cứu và
nhà khoa học sử dụng trong vài thập kỷ, mang lại hiểu biết mới
về nhiều lĩnh vực.

Máy ảnh dưới nước[ biên tập ]

Bộ phận quan trọng của hệ thống, camera dưới nước, có vỏ
chống thấm nước. Vỏ có lớp hoàn thiện chống ăn mòn và clo,
giúp nó hoàn hảo để sử dụng trong bồn rửa và hồ bơi. Có hai loại
camera. Camera công nghiệp tốc độ cao cũng có thể được sử
dụng làm camera hồng ngoại. Camera hồng ngoại dưới nước đi
kèm với đèn nháy màu lục lam thay vì đèn IR thông thường để
giảm thiểu tình trạng rơi dưới nước và camera tốc độ cao có đèn
LED hoặc có tùy chọn sử dụng xử lý hình ảnh.
https://en.wikipedia.org/wiki/File:Oqus_underwater.jpg
Camera ghi hình chuyển động dưới nước
https://en.wikipedia.org/wiki/File:Motion_tacking_by_using_image_processing.PNG
Theo dõi chuyển động khi bơi bằng cách sử dụng xử lý hình ảnh
Đo thể tích[ biên tập ]
Một máy ảnh dưới nước thường có thể đo được 15–20 mét tùy
thuộc vào chất lượng nước, máy ảnh và loại điểm đánh dấu được
sử dụng. Không có gì ngạc nhiên khi phạm vi tốt nhất đạt được
khi nước trong và như thường lệ, khối lượng đo cũng phụ thuộc
vào số lượng máy ảnh. Một loạt các điểm đánh dấu dưới nước có
sẵn cho các trường hợp khác nhau.

Được thiết kế riêng[ biên tập ]

Mỗi hồ bơi khác nhau cần có giá đỡ và đồ đạc khác nhau. Do đó,
tất cả các hệ thống chụp chuyển động dưới nước đều được thiết
kế riêng để phù hợp với từng khu vực lắp đặt hồ bơi cụ thể. Đối
với các máy ảnh được đặt ở giữa hồ bơi, chân máy được thiết kế
đặc biệt, sử dụng cốc hút, sẽ được cung cấp.

Không có dấu hiệu[ biên tập ]

Các kỹ thuật mới nổi và nghiên cứu về thị giác máy tính đang dẫn
đến sự phát triển nhanh chóng của phương pháp tiếp cận không
đánh dấu để ghi lại chuyển động. Các hệ thống không đánh dấu
như những hệ thống được phát triển tại Đại học Stanford , Đại
học Maryland , MIT và Viện Max Planck , không yêu cầu đối
tượng phải đeo thiết bị đặc biệt để theo dõi. Các thuật toán máy
tính đặc biệt được thiết kế để cho phép hệ thống phân tích nhiều
luồng đầu vào quang học và xác định hình dạng con người, chia
chúng thành các thành phần cấu thành để theo dõi. ESC
entertainment , một công ty con của Warner Brothers
Pictures được tạo ra đặc biệt để cho phép quay phim ảo , bao
gồm các hình ảnh kỹ thuật số giống hệt như thật để quay
phim The Matrix Reloaded và The Matrix Revolutions , đã sử
dụng một kỹ thuật có tên là Universal Capture sử dụng thiết lập 7
camera và theo dõi luồng quang học của tất cả các pixel trên tất
cả các mặt phẳng 2 chiều của máy ảnh để ghi lại chuyển
động, cử chỉ và biểu cảm khuôn mặt dẫn đến kết quả giống như
thật.

Hệ thống truyền thống[ biên tập ]

Theo truyền thống, theo dõi chuyển động quang học không có
điểm đánh dấu được sử dụng để theo dõi nhiều vật thể khác
nhau, bao gồm máy bay, phương tiện phóng, tên lửa và vệ tinh.
Nhiều ứng dụng theo dõi chuyển động quang học như vậy diễn ra
ngoài trời, đòi hỏi các cấu hình ống kính và máy ảnh khác nhau.
Do đó, hình ảnh có độ phân giải cao của mục tiêu đang được
theo dõi có thể cung cấp nhiều thông tin hơn là chỉ dữ liệu chuyển
động. Hình ảnh thu được từ hệ thống theo dõi tầm xa của NASA
về vụ phóng tàu con thoi Challenger đã cung cấp bằng chứng
quan trọng về nguyên nhân của vụ tai nạn. Hệ thống theo dõi
quang học cũng được sử dụng để xác định tàu vũ trụ và mảnh vỡ
không gian đã biết mặc dù nó có nhược điểm so với radar ở chỗ
các vật thể phải phản xạ hoặc phát ra đủ ánh sáng. [ 37 ]

Một hệ thống theo dõi quang học thường bao gồm ba hệ thống
con: hệ thống hình ảnh quang học, nền tảng theo dõi cơ học và
máy tính theo dõi.

Hệ thống hình ảnh quang học có nhiệm vụ chuyển đổi ánh sáng
từ khu vực mục tiêu thành hình ảnh kỹ thuật số mà máy tính theo
dõi có thể xử lý. Tùy thuộc vào thiết kế của hệ thống theo dõi
quang học, hệ thống hình ảnh quang học có thể thay đổi từ đơn
giản như máy ảnh kỹ thuật số tiêu chuẩn đến chuyên dụng như
kính thiên văn trên đỉnh núi. Thông số kỹ thuật của hệ thống hình
ảnh quang học xác định giới hạn trên của phạm vi hiệu quả của
hệ thống theo dõi.

Nền tảng theo dõi cơ học giữ hệ thống hình ảnh quang học và
chịu trách nhiệm điều khiển hệ thống hình ảnh quang học theo
cách mà nó luôn hướng đến mục tiêu đang được theo dõi. Động
lực của nền tảng theo dõi cơ học kết hợp với hệ thống hình ảnh
quang học xác định khả năng của hệ thống theo dõi trong việc
giữ khóa mục tiêu thay đổi tốc độ nhanh chóng.

Máy tính theo dõi có nhiệm vụ chụp ảnh từ hệ thống hình ảnh
quang học, phân tích ảnh để trích xuất vị trí mục tiêu và điều
khiển nền tảng theo dõi cơ học để theo dõi mục tiêu. Có một số
thách thức. Đầu tiên, máy tính theo dõi phải có khả năng chụp
ảnh ở tốc độ khung hình tương đối cao. Điều này đặt ra yêu cầu
về băng thông của phần cứng chụp ảnh. Thách thức thứ hai là
phần mềm xử lý ảnh phải có khả năng trích xuất ảnh mục tiêu
khỏi nền và tính toán vị trí của ảnh. Một số thuật toán xử lý ảnh
trong sách giáo khoa được thiết kế cho nhiệm vụ này. Vấn đề này
có thể được đơn giản hóa nếu hệ thống theo dõi có thể mong đợi
một số đặc điểm chung ở tất cả các mục tiêu mà nó sẽ theo dõi.
Vấn đề tiếp theo là điều khiển nền tảng theo dõi để theo dõi mục
tiêu. Đây là vấn đề thiết kế hệ thống điều khiển điển hình chứ
không phải là một thách thức, liên quan đến việc mô hình hóa
động lực học của hệ thống và thiết kế bộ điều khiển để điều khiển
nó. Tuy nhiên, điều này sẽ trở thành một thách thức nếu nền tảng
theo dõi mà hệ thống phải làm việc cùng không được thiết kế cho
thời gian thực.

Phần mềm chạy các hệ thống như vậy cũng được tùy chỉnh cho
các thành phần phần cứng tương ứng. Một ví dụ về phần mềm
như vậy là OpticTracker, phần mềm này điều khiển kính thiên văn
vi tính để theo dõi các vật thể chuyển động ở khoảng cách xa,
chẳng hạn như máy bay và vệ tinh. Một lựa chọn khác là phần
mềm SimiShape, cũng có thể được sử dụng kết hợp với các
điểm đánh dấu.

Máy ảnh RGB-D[ biên tập ]

Camera RGB-D như Kinect chụp cả hình ảnh màu và chiều sâu.
Bằng cách kết hợp hai hình ảnh, có thể chụp được các voxel màu
3D , cho phép chụp chuyển động của chuyển động 3D của con
người và bề mặt con người theo thời gian thực.

Do sử dụng camera một góc nhìn, các chuyển động được ghi lại
thường bị nhiễu. Các kỹ thuật học máy đã được đề xuất để tự
động tái tạo các chuyển động nhiễu như vậy thành các chuyển
động chất lượng cao hơn, bằng cách sử dụng các phương pháp
như học lười biếng [ 38 ] và mô hình Gaussian . [ 39 ] Phương pháp
như vậy tạo ra chuyển động đủ chính xác cho các ứng dụng
nghiêm túc như đánh giá công thái học. [ 40 ]

Hệ thống phi quang học[ biên tập ]Hệ thống quán tính[ biên tập ]
Công nghệ bắt chuyển động quán tính [ 41 ] dựa trên các cảm biến
quán tính thu nhỏ, mô hình cơ sinh học và thuật toán hợp nhất
cảm biến . [ 42 ] Dữ liệu chuyển động của các cảm biến quán tính
( hệ thống dẫn đường quán tính ) thường được truyền không dây
đến máy tính, nơi chuyển động được ghi lại hoặc xem. Hầu hết
các hệ thống quán tính sử dụng các đơn vị đo lường quán tính
(IMU) chứa sự kết hợp của con quay hồi chuyển, từ kế và gia tốc
kế để đo tốc độ quay. Các vòng quay này được chuyển thành bộ
khung trong phần mềm. Giống như các điểm đánh dấu quang
học, càng nhiều cảm biến IMU thì dữ liệu càng tự nhiên. Không
cần camera, bộ phát hoặc điểm đánh dấu bên ngoài cho các
chuyển động tương đối, mặc dù chúng được yêu cầu cung cấp vị
trí tuyệt đối của người dùng nếu muốn. Các hệ thống bắt chuyển
động quán tính bắt toàn bộ sáu bậc tự do chuyển động của cơ
thể con người theo thời gian thực và có thể cung cấp thông tin về
hướng hạn chế nếu chúng bao gồm cảm biến ổ trục từ, mặc dù
chúng có độ phân giải thấp hơn nhiều và dễ bị nhiễu điện từ. Lợi
ích của việc sử dụng hệ thống quán tính bao gồm: bắt giữ trong
nhiều môi trường khác nhau bao gồm không gian chật hẹp,
không giải quyết được, tính di động và khu vực bắt giữ lớn.
Nhược điểm bao gồm độ chính xác vị trí thấp hơn và độ trôi vị trí
có thể tích tụ theo thời gian. Các hệ thống này tương tự như bộ
điều khiển Wii nhưng nhạy hơn và có độ phân giải và tốc độ cập
nhật cao hơn. Chúng có thể đo chính xác hướng xuống đất trong
phạm vi một độ. Sự phổ biến của hệ thống quán tính đang tăng
lên trong số các nhà phát triển trò chơi, [ 10 ] chủ yếu là do thiết lập
nhanh chóng và dễ dàng dẫn đến một đường ống nhanh. Một loạt
các bộ đồ hiện có sẵn từ nhiều nhà sản xuất khác nhau và giá cơ
bản dao động từ 1000 đô la đến 80.000 đô la Mỹ.

Chuyển động cơ học[ biên tập ]

Hệ thống bắt chuyển động cơ học theo dõi trực tiếp các góc khớp
cơ thể và thường được gọi là hệ thống bắt chuyển động bộ
xương ngoài, do cách các cảm biến được gắn vào cơ thể. Người
biểu diễn gắn cấu trúc giống như bộ xương vào cơ thể của họ và
khi họ di chuyển, các bộ phận cơ học khớp nối cũng di chuyển
theo, đo chuyển động tương đối của người biểu diễn. Hệ thống
bắt chuyển động cơ học là hệ thống thời gian thực, chi phí tương
đối thấp, không bị che khuất và không dây (không dây) có khối
lượng bắt không giới hạn. Thông thường, chúng là các cấu trúc
cứng của các thanh kim loại hoặc nhựa thẳng, có khớp nối được
liên kết với nhau bằng các biến trở khớp nối tại các khớp của cơ
thể. Những bộ đồ này có xu hướng có giá trong khoảng từ 25.000
đến 75.000 đô la cộng với một hệ thống định vị tuyệt đối bên
ngoài. Một số bộ đồ cung cấp phản hồi lực hoặc đầu vào xúc
giác hạn chế .

Hệ thống từ tính[ biên tập ]

Hệ thống từ tính tính toán vị trí và hướng bằng từ thông tương
đối của ba cuộn dây vuông góc trên cả máy phát và mỗi máy
thu. [ 43 ] Cường độ tương đối của điện áp hoặc dòng điện của ba
cuộn dây cho phép các hệ thống này tính toán cả phạm vi và
hướng bằng cách lập bản đồ tỉ mỉ khối lượng theo dõi. Đầu ra
của cảm biến là 6DOF , cung cấp kết quả hữu ích thu được với
hai phần ba số điểm đánh dấu cần thiết trong hệ thống quang
học; một trên cánh tay trên và một trên cánh tay dưới để biết vị trí
và góc khuỷu tay. [ cần trích dẫn ] Các điểm đánh dấu không bị che khuất
bởi các vật thể không phải kim loại nhưng dễ bị nhiễu từ tính và
điện từ các vật thể kim loại trong môi trường, như thanh cốt thép
(thanh gia cố bằng thép trong bê tông) hoặc hệ thống dây điện,
ảnh hưởng đến từ trường và các nguồn điện như màn hình, đèn,
cáp và máy tính. Phản hồi của cảm biến là không tuyến tính, đặc
biệt là về phía các cạnh của khu vực chụp. Hệ thống dây điện từ
các cảm biến có xu hướng ngăn cản các chuyển động hiệu suất
cực độ. [ 43 ] Với hệ thống từ tính, có thể theo dõi kết quả của phiên
chụp chuyển động theo thời gian thực. [ 43 ] Khối lượng thu cho hệ
thống từ tính nhỏ hơn đáng kể so với hệ thống quang học. Với hệ
thống từ tính, có sự phân biệt giữa hệ thống dòng điện xoay
chiều (AC) và hệ thống dòng điện một chiều (DC): hệ thống DC
sử dụng xung vuông, hệ thống AC sử dụng xung sóng sin.

Cảm biến kéo dài[ biên tập ]

Cảm biến kéo giãn là tụ điện phẳng song song linh hoạt có thể đo
độ kéo giãn, độ uốn cong, độ cắt hoặc áp suất và thường được
sản xuất từ silicon. Khi cảm biến kéo giãn hoặc nén, giá trị điện
dung của nó sẽ thay đổi. Dữ liệu này có thể được truyền qua
Bluetooth hoặc đầu vào trực tiếp và được sử dụng để phát hiện
những thay đổi nhỏ trong chuyển động của cơ thể. Cảm biến kéo
giãn không bị ảnh hưởng bởi nhiễu từ và không bị che khuất. Bản
chất có thể kéo giãn của cảm biến cũng có nghĩa là chúng không
bị trôi vị trí, thường gặp ở các hệ thống quán tính. Mặt khác, cảm
biến có thể kéo giãn, do đặc tính vật liệu của chất nền và vật liệu
dẫn điện, có tỷ lệ tín hiệu trên nhiễu tương đối thấp , đòi hỏi phải
lọc hoặc học máy để có thể sử dụng chúng để ghi lại chuyển
động. Các giải pháp này dẫn đến độ trễ cao hơn khi so sánh với
các cảm biến thay thế.

Kỹ thuật liên quan[ biên tập ]Chụp chuyển động khuôn mặt[ biên tập ]
Bài viết chính: Chụp chuyển động khuôn mặt
Hầu hết các nhà cung cấp phần cứng chụp chuyển động truyền
thống đều cung cấp một số loại chụp khuôn mặt có độ phân giải
thấp sử dụng từ 32 đến 300 điểm đánh dấu với hệ thống đánh
dấu chủ động hoặc thụ động. Tất cả các giải pháp này đều bị giới
hạn bởi thời gian áp dụng các điểm đánh dấu, hiệu chỉnh vị trí và
xử lý dữ liệu. Cuối cùng, công nghệ cũng giới hạn độ phân giải và
mức chất lượng đầu ra thô của chúng.

Chụp chuyển động khuôn mặt độ trung thực cao, còn được gọi
là chụp hiệu suất , là thế hệ tiếp theo của độ trung thực và được
sử dụng để ghi lại các chuyển động phức tạp hơn trên khuôn mặt
con người nhằm nắm bắt các cấp độ cảm xúc cao hơn. Chụp
khuôn mặt hiện đang được sắp xếp theo một số nhóm riêng biệt,
bao gồm dữ liệu chụp chuyển động truyền thống, các giải pháp
dựa trên hình dạng pha trộn, chụp cấu trúc thực tế của khuôn mặt
diễn viên và các hệ thống độc quyền.
Hai kỹ thuật chính là các hệ thống cố định với một mảng camera
chụp biểu cảm khuôn mặt từ nhiều góc độ và sử dụng phần mềm
như bộ giải lưới stereo từ OpenCV để tạo lưới bề mặt 3D hoặc
sử dụng cả mảng ánh sáng để tính toán các pháp tuyến bề mặt
từ sự thay đổi độ sáng khi nguồn sáng, vị trí camera hoặc cả hai
thay đổi. Các kỹ thuật này có xu hướng chỉ bị giới hạn ở độ phân
giải tính năng bởi độ phân giải camera, kích thước vật thể rõ ràng
và số lượng camera. Nếu khuôn mặt của người dùng chiếm 50
phần trăm diện tích làm việc của camera và camera có độ phân
giải megapixel, thì có thể phát hiện chuyển động khuôn mặt dưới
milimét bằng cách so sánh các khung hình. Công trình gần đây
tập trung vào việc tăng tốc độ khung hình và thực hiện luồng
quang học để cho phép chuyển động được nhắm mục tiêu lại đến
các khuôn mặt khác do máy tính tạo ra, thay vì chỉ tạo Lưới 3D
của diễn viên và biểu cảm của họ.

Định vị tần số vô tuyến[ biên tập ]

Hệ thống định vị tần số vô tuyến đang trở nên khả thi hơn [ cần trích
dẫn ]
vì các thiết bị tần số vô tuyến cao hơn cho phép độ chính xác
cao hơn các công nghệ cũ như radar . Tốc độ ánh sáng là 30 cm
mỗi nano giây (một phần tỷ giây), do đó, tín hiệu tần số vô tuyến
10 gigahertz (tỷ chu kỳ mỗi giây) cho phép độ chính xác khoảng 3
cm. Bằng cách đo biên độ đến một phần tư bước sóng, có thể cải
thiện độ phân giải xuống khoảng 8 mm. Để đạt được độ phân giải
của hệ thống quang học, cần có tần số 50 gigahertz trở lên, gần
như phụ thuộc vào đường ngắm và dễ chặn như hệ thống quang
học. Đa đường dẫn và bức xạ lại tín hiệu có thể gây ra các vấn
đề bổ sung, nhưng các công nghệ này sẽ lý tưởng để theo dõi
các khối lượng lớn hơn với độ chính xác hợp lý, vì độ phân giải
cần thiết ở khoảng cách 100 mét có thể không cao như vậy.
Nhiều nhà khoa học [ ai? ] tin rằng tần số vô tuyến sẽ không bao giờ
tạo ra độ chính xác cần thiết để chụp chuyển động.
Các nhà nghiên cứu tại Viện Công nghệ Massachusetts cho biết
vào năm 2015 rằng họ đã tạo ra một hệ thống theo dõi chuyển
động bằng tín hiệu tần số vô tuyến. [ 44 ]

Hệ thống phi truyền thống[ biên tập ]

Một cách tiếp cận thay thế đã được phát triển, trong đó diễn viên
được cung cấp một khu vực đi bộ không giới hạn thông qua việc
sử dụng một quả cầu xoay, tương tự như một quả bóng hamster ,
có chứa các cảm biến bên trong ghi lại các chuyển động góc, loại
bỏ nhu cầu về máy ảnh bên ngoài và các thiết bị khác. Mặc dù
công nghệ này có khả năng dẫn đến chi phí thấp hơn nhiều cho
việc ghi lại chuyển động, nhưng quả cầu cơ bản chỉ có khả năng
ghi lại một hướng liên tục duy nhất. Các cảm biến bổ sung đeo
trên người sẽ cần thiết để ghi lại bất cứ điều gì nhiều hơn.

Một giải pháp thay thế khác là sử dụng nền tảng chuyển động
6DOF (Degrees of freedom) với máy chạy bộ đa hướng tích hợp
có khả năng bắt chuyển động quang học độ phân giải cao để đạt
được hiệu ứng tương tự. Người bị bắt có thể đi bộ trong một khu
vực không giới hạn, vượt qua nhiều địa hình không bằng phẳng
khác nhau. Các ứng dụng bao gồm phục hồi chức năng y tế để
rèn luyện thăng bằng, nghiên cứu cơ sinh học và thực tế ảo. [ cần trích
dẫn ]

Ước tính tư thế 3D[ biên tập ]

Trong ước tính tư thế 3D , tư thế của diễn viên có thể được tái
tạo từ hình ảnh hoặc bản đồ độ sâu . [ 45 ]

Xem thêm[ biên tập ]

• Cơ sở dữ liệu hoạt hình
• Theo dõi ngón tay
• Nhận dạng cử chỉ
• Động học ngược (một cách khác để làm cho hiệu ứng CGI trở
nên chân thực)
• Kinect (do Microsoft Corporation tạo ra)
• Danh sách các định dạng tập tin chuyển động và cử chỉ
• Chuyển động
• Diễn xuất bắt chuyển động
• Hình ảnh Lịch sử chuyển động
• Theo dõi video
• Theo dõi vị trí VR
Tài liệu tham khảo