HCI‐DM6121 (SEM‐II 09/10) Assignment #2 

Direct Manipulation and Multi‐touch Interactions 
Name: Zin Zin Moe 

Matriculation No: G0902365F 

Email: [email protected] 

Part 1: Direct Manipulation Principles  
 
1. What are the three major principles in direct manipulation? 
 
The three major principles in direct manipulation are 
a. Continuous and meaningful visible representation of interaction with interesting objects 
b. Simple action just pressing the labeled buttons instead of typed syntax on the interesting object 
c. The rapid incremental reversible operations whose effect on the interesting objects are visible 
immediately 
 
2. Any advantage(s) of using direct manipulation? 
 
The advantages of using direct manipulation are 
a. Easy to learn 
b. Errors are more preventable and avoidable easily 
c. More effective browsing system 
d. Compatible controllable display 
e. Visible presentation task concepts 
f. Recognition memory (or) free recall memory 
 
3. Any potential problem(s) in using direct manipulation? 
 
a. Not suitable for small graphic displays. 
b. Macro techniques are weak. 
c. Difficult to trace history and other tracing 
d. More difficult to be programmable. 
e. Not always preferable spatial and visual representation. 

Part 2: Multi‐Touch Interactions  
 
1.  Two hardware technologies to sense/detect multiple finger actions 
i. Capacitive multi touch systems 
ƒ This system senses the changes of each point on a capacitive material layer.  
ƒ Every arranged point along the grid generates its own signals when these points are touched.  
ƒ Then they relay the signals to the processor.  
 ƒ It allows determining the location and movement of touches in the multiple locations 
simultaneously.  
ƒ But it does not work with non conductive things to interact with touch screen such as plastic stylus. 
o Example: iPhone, iPod Touch 
 
ii. Sensing infrared multi touch systems 
ƒ This system responds to the motion and pressure of touching points on the acrylic screen. 
ƒ When fingers or other things (such as stylus) touch the surface, the infrared lights will scatter off by 
LEDs inside the acrylic sheet of the screen not to escape any light signals.  
ƒ These infrared signals, which are interpreted more or less pressure on the pressure sensitive coating 
by the computer, are sent back to the sensors (such as infrared cameras) of the system. 
o Example: Perceptive Pixel, Microsoft Surface 
 
Pros  
ƒ Easy to learn 
ƒ Can use as a large computer 
 
Cons 
ƒ Expensive 
ƒ Not mobile 
 
2.  Any advantage(s) of using multi‐touch interactions in general? 
a. Can do and see many actions and results simultaneously 
b. Can use multi users 
c. User friendly 
d. Attractive 
 
3. Any potential problem(s) in using multi‐touch interactions? 
a. Expensive 
b. Fingers can hurt as long as using multi touch interactions 
c. Can make wrong instructions by wrong touching 
d. For complicated tasks, should be experienced user 
 
Part 3: Survey 
 
Perceptive Pixel: Multi Touch Collaboration Wall & Multi Touch Workstation 
 
ƒ Hardware is quite simply the most advanced multi‐touch sensing display, able to sense an unlimited 
number of simultaneous touches with unprecedented accuracy and precision.  
ƒ Displays are also uniquely pressure sensitive, allowing for the use of gloved hands or arbitrary 
styluses.  
ƒ This advanced system base on FTIR (Frustrated Total Internal Reflection) sensing technique which is 
the best technique of multi touch.  
ƒ It is which means that the technology of perceptive pixel is an unlimited multi touch. 
ƒ Especially for Geo‐Spatial command & control, Broadcasting, Medical image visualization, Defense 
and energy information visualization & exploration, Digital content creation, Storyboarding & 
ideating and others such as Finance, Museum Exhibition and Entertainment, etc. 
 ƒ It's an amazing thing to be enlarging a picture requires only touching it with two fingers and moving 
them apart ‐‐ with the file following their movements and spreading on the screen.  
ƒ There is basically no structured interface to this device: just "navigate" in the information, zooming 
in and out of maps or tilting them or adding graphic elements or redistributing images on the screen 
just by moving their fingers on them.   
ƒ It can be add layers of images ‐‐ a map on top of a map, for example, where the one on top acts as a 
"lens".  
ƒ It has been built in dozens of applications, and functionalities that make it even more effective: 
drawing a circle for example initiates a menu, etc.  
ƒ "The most interesting thing is that when people first use this, they tend to go with one finger, then 
retract it: we basically have to un‐teach people what they have learned so far about computing, 
and convince them that they can use several fingers, that several people can work on the screen at 
once, that can actually use a random number of touch points, etc". 
 
Pros  
ƒ Advances in efficiency 
ƒ Intuitiveness 
ƒ Multi‐touch; alternative to IR(internal reflection) and projected 
ƒ Detectable most objects 
ƒ High accuracy 
ƒ Fast response time (<15ms) 
ƒ Direct manipulation actions 
ƒ Multiple inputs 
ƒ Universal “language of physics” 
ƒ No learning required 
ƒ Natural 
ƒ More versatile 
ƒ Greater flexibility 
ƒ Use all fingers 
ƒ Use both dominant or non dominant fingers 
ƒ Can use multiple users in multiple directions 
ƒ Can use as a large drawing book 
 
Cons 
ƒ Expensive (at average: USD 100,000) 
ƒ Rear‐projection only 
ƒ Stylus or fingernail technique 
ƒ No audio inputs 
ƒ Need special SDK 
 
Limitations and drawbacks 
ƒ Cannot use network with other multiple touch system 
ƒ Cannot make printable multi tasks 
ƒ Not portable 
ƒ Hand cover up part of the screen 
ƒ Touch screen needs its own interface 
ƒ Muscle fatigue to use the large screen for long time