Introduction to

Computer Vision Overview of Image Formation

■ Light and Optics

● Pinhole camera model
● Perspective projection
● Thin lens model
● Fundamental equation
● Distortion: spherical & chromatic aberration, radial distortion
● Reflection and Illumination: color, Lambertian and specular
surfaces, Phong, BRDF
■ Sensing Light
■ Conversion to Digital Images
■ Sampling Theorem
■ Other Sensors: frequency, type, ….
 Introduction to
Computer Vision Basic Radiometry

■ Radiometry is the part of image formation concerned with

the relation among the amounts of light energy emitted
from light sources, reflected from surfaces, and registered
by sensors.
CCD Array
Light Source

Optics p

n
i e
L(P,d)
P

Surface
Introduction to
Computer Vision Lecture Assumptions

■ Typical imaging scenario:

● visible light
● ideal lenses
● standard sensor (e.g. TV camera)
● opaque objects
■ Goal

To create 'digital' images which can be

processed to recover some of the
characteristics of the 3D world which
was imaged.
 Introduction to
Computer Vision Steps

World Optics Sensor

Signal Digitizer
Digital Representation

World reality
Optics focus light from world on sensor
Sensor converts light to electrical energy
Signal representation of incident light as continuous electrical energy
Digitizer converts continuous signal to discrete signal
Digital Rep. final representation of reality in computer memory
Introduction to
Computer Vision Factors in Image Formation

■ Geometry
● concerned with the relationship between points in the
three-dimensional world and their images
■ Radiometry
● concerned with the relationship between the amount of
light radiating from a surface and the amount incident at
its image
■ Photometry
● concerned with ways of measuring the intensity of light
■ Digitization
● concerned with ways of converting continuous signals
(in both space and time) to digital approximations
Introduction to
Computer Vision Image Formation

Light (Energy) Source

Surface
Imaging Plane

Pinhole Lens

World Optics Sensor Signal

B&W Film Silver Density

Color Film Silver density

in three color
layers

TV Camera Electrical
 Introduction to
Computer Vision Geometry

■ Geometry describes the projection of:

three-dimensional two-dimensional
(3D) world (2D) image plane.

■ Typical Assumptions
● Light travels in a straight line

■ Optical Axis: the perpendicular from the image plane through the
pinhole (also called the central projection ray)
■ Each point in the image corresponds to a particular direction defined by
a ray from that point through the pinhole.
■ Various kinds of projections:
● - perspective - oblique
● - orthographic - isometric
● - spherical
 Introduction to
Computer Vision Basic Optics

■ Two camera models are commonly used:"

● Pin-hole camera"
● Optical system composed of lenses"
■ Pin-hole is the basis for most graphics and vision"
● Derived from physical construction of early cameras"
● Mathematics is very straightforward"
■ Thin lens model is first of the lens models"
● Mathematical model for a physical lens"
● Lens gathers light over area and focuses on image plane."
Introduction to
Computer Vision Pinhole Camera Model

Image Plane

Optical Axis

f
Pinhole lens

■ World projected to 2D Image

● Image inverted
● Size reduced (usually)
● Image is dim
● No direct depth information
■ f called the focal length of the “lens”
■ Known as perspective projection
 Introduction to
Computer Vision Pinhole camera image
Amsterdam

Photo by Robert Kosara, [email protected]

http://www.kosara.net/gallery/pinholeamsterdam/pic01.html
 Introduction to
Computer Vision Equivalent Geometry

■ Consider case with object on the optical axis:

f
z

■ More convenient with upright image:

z -f

Projection plane z = 0

■ Equivalent mathematically
 Introduction to
Computer Vision Thin Lens Model
■ Rays entering parallel on one side converge at focal point."
■ Rays diverging from the focal point become parallel."
f

i
o

OPTIC

AXIS

IMAGE
LENS

PLANE

1 =
1 1
‘THIN LENS LAW’

+

f i o

 Introduction to
Computer Vision Coordinate System

■ Simplified Case:
● Origin of world and image coordinate systems coincide
● Y-axis aligned with y-axis
● X-axis aligned with x-axis Y World
● Z-axis along the central projection ray
Coordinate
System
(0,0,0)
Z
X
Image Coordinate System
y
P(X,Y,Z)
p(x,y) Y

Z
(0,0)
x
X
 Introduction to
Computer Vision Perspective Projection

■ Compute the image coordinates of p in terms of the

world coordinates of P.

y
p(x, y)
P(X,Y,Z)
Z=-f

Z
x
Z=0

■ Look at projections in x-z and y-z planes

 Introduction to
Computer Vision X-Z Projection

-f Z

x
X

x X
■ By similar triangles: =
f Z+f

fX
x =
Z+f
 Introduction to
Computer Vision Y-Z Projection

Y
y

-f
Z

y Y
■ By similar triangles: f
=
Z+f

fY
y =
Z+f
Introduction to
Computer Vision Perspective Equations

■ Given point P(X,Y,Z) in the 3D world

■ The two equations:
fX fY
x = y =
Z+f Z+f

■ transform world coordinates (X,Y,Z)

into image coordinates (x,y)
 Introduction to
Computer Vision Reverse Projection

■ Given a center of projection and image coordinates of a

point, it is not possible to recover the 3D depth of the point
from a single image.
P(X,Y,Z) can be any-
where along this line

p(x,y)

All points on this line

have image coordi-
nates (x,y).

In general, at least two images of the same point taken from

two different locations are required to recover depth.
 Introduction to
Computer Vision Stereo Geometry
P(X,Y,Z) Object point

Central
Projection
Rays
p p
l r

Vergence Angle

■ Depth obtained by triangulation

■ Correspondence problem: pl and pr must correspond
to the left and right projections of P, respectively.
Introduction to
Computer Vision Variability in appearance

■ Consequences of image formation geometry for

computer vision
● What set of shapes can an object take on if it is:
■ rigid
■ non-rigid
■ planar
■ non-planar
● SIFT features:
■ Deals with variability of rigid, planar shapes under
perspective distortion, or piecewise rigid, planar shapes.
■ Sensitivity to errors.
Introduction to
Computer Vision Radiometry and Light Sources
 Introduction to
Computer Vision Radiometry

■ Brightness: informal notion used to describe both

scene and image brightness.
■ Image brightness: related to energy flux incident on
the image plane:
IRRADIANCE (illuminance)
“It’s a bright day.”

■ Scene brightness: brightness related to energy flux

emitted (radiated) from a surface.
RADIANCE (luminance)
“Yikes, that shirt is way too bright!”
Introduction to
Computer Vision Light and Surfaces

■ Reflection
● mirrors
● highlights
● specularities
■ Scattering
● Lambertian
● matte
● diffuse
Introduction to
Computer Vision Light sources

■ Point source
■ Extended source
■ Single wavelength
■ Multi-wavelength
■ Uniform
■ Non-uniform
Introduction to
Computer Vision Linearity of Light

■ Linearity
● definition: For a linear function f(x), we have:
■ Additivity: f(x+y) = f(x) + f(y).
■ Homogeneity : f(ax) = a f(x).
■ For extended sources
■ For multiple wavelengths
■ Across time
 Introduction to
Computer Vision Power and P. S. Radiant Intensity
■ Point source power: watts.
■ F watts radiated into 4pi steradians
■ Point source radiant intensity: watts per steradian.

Φ watts
r

dω F= ∫spheredF

dF
Watts/unit solid
R = Point Source Radiant Intensity = angle (steradian)
dw
(of source)
 Introduction to
Computer Vision Irradiance

■ Light falling on a surface from all directions.

■ How much?
dF

dA

■ Irradiance: power per unit area falling on a surface.

dF

Irradiance E = watts/m2
dA
 Introduction to
Inverse
Computer Vision Square Law: Point Sources

■ Relationship between point source radiance (radiant intensity) and

irradiance

dA
Φ watts dw =
r2
r
dF

E=
dω dA
dA

R: Radiant Intensity dF
r2 dF

E: Irradiance R= = = r2 E
dw dA
F: Watts
R
w : Steradians E=
r2
 Introduction to
Computer Vision Surface Radiance
(Extended source)
■ Surface acts as light source dω
■ Radiates over a hemisphere
Surface
Normal

R: Radiant Intensity
E: Irradiance dAf
L: Surface radiance

■ Surface Radiance: power per unit foreshortened area

emitted into a solid angle

dF

L= (watts/m2 steradian)
dAf dw
Introduction to
Computer Vision Pseudo-Radiance

■ Consider two definitions:

● Radiance:
power per unit foreshortened area emitted into a solid angle
● Pseudo-radiance
power per unit area emitted into a solid angle

● Why should we work with radiance rather than pseudo-

radiance?
■ Only reason: Radiance is more closely related to our
intuitive notion of “brightness”.
Introduction to
Computer Vision Lambertian Surfaces

■ A particular point P on a Lambertian (perfectly matte)

surface appears to have the same brightness no
matter what angle it is viewed from.
● Piece of paper
● Matte paint
■ Doesn’t depend upon incident light angle.
■ What does this say about how they emit light?
Introduction to
Computer Vision Lambertian Surfaces

Equal Amounts of Light Observed

From Each Vantage Point

Theta

Area of black box = 1

Area of orange box = 1/cos(Theta)
Foreshortening rule.
Introduction to
Computer Vision Lambertian Surfaces

Relative magnitude of light scattered in each direction.

Proportional to cos (Theta).
Introduction to
Computer Vision Lambertian Surfaces

Equal Amounts of Light Observed

From Each Vantage Point

Theta

Radiance
= 1/cos(Theta)*cos(Theta)
=1

Area of black box = 1

Area of orange box = 1/cos(Theta)
Foreshortening rule.
 Introduction to
Computer Vision BRDF

■ Bidirectional Reflectance Distribution Function

● a function of 2 directions (or 4 scalar values)

http://escience.anu.edu.au/lecture/cg/GlobalIllumination/BRDF.en.html
 Introduction to
Computer Vision BRDF

■ Bidirectional Reflectance Distribution Function

● a function of 2 directions (or 4 scalar values)

http://escience.anu.edu.au/lecture/cg/GlobalIllumination/BRDF.en.html
 Introduction to
Computer Vision BRDF

■ Bidirectional Reflectance Distribution Function

● a function of 2 directions (or 4 scalar values)

http://www.kevinbeason.com/worklog/
Introduction to
Computer Vision BRDF again
Introduction to
Computer Vision The BRDF

The bidirectional reflectance distribution function.

Introduction to
Computer Vision BRDF

■ Ron Dror’s thesis

Introduction to
Computer Vision Reflection parameters
Introduction to
Computer Vision Real World Light Variation
Introduction to
Computer Vision Fake Light and Real Light
Introduction to
Computer Vision Simple and Complex Light
Introduction to
Computer Vision BRDF again
Introduction to
Computer Vision Likelihood of material
Introduction to
Computer Vision Classifying Under Uncertainty
Introduction to
Computer Vision More Fake Light
Introduction to
Computer Vision Illumination Maps
Introduction to
Computer Vision Classification
Introduction to
Computer Vision Classification Continued
Introduction to Lighting direction vs. Viewer
Computer Vision direction

For Lambertian surface:

Viewer direction is irrelevant
Lighting direction is very relevant
Introduction to
Computer Vision
Introduction to
Computer Vision Photometry

■ Photometry:
Concerned with mechanisms for converting light energy
into electrical energy.

World Optics Sensor

Signal Digitizer
Digital Representation
Introduction to
Computer Vision B&W Video System

E(x,y) : Electrical
video signal

Video A/D Converter

Camera and Sampler
Optics
Image Plane
Image L(x,y)
I(i,j) Digital Image

•••
22 34 22 0 18.

•••

•••
Grayscale Image Data

Computer Memory
Introduction to
Computer Vision Color Video System
E(x,y) : Electrical
video signal

Blue Channel
A/D Channel
Green Converter
Video A/DChannel
Red Converter
Camera A/D Converter
Optics
Image Plane
Image L(x,y)
B(i,j)
G(i,j)
R(i,j)

•••
.

22 3422 0 18 •••

•••
Digital Image
Computer Memory
 Introduction to
Computer Vision Spectral Sensitivity

Human Eye CCD Camera

Tungsten bulb

■ Figure 1 shows relative efficiency of conversion for the eye (scotopic and photopic
curves) and several types of CCD cameras. Note the CCD cameras are much more
sensitive than the eye.
■ Note the enhanced sensitivity of the CCD in the Infrared and Ultraviolet (bottom two
figures)
■ Both figures also show a handrawn sketch of the spectrum of a tungsten light bulb
Introduction to
Computer Vision Human Vision Regimes
 Introduction to
Computer Vision Characteristics
g
■ In general, V(x,y) = k E(x,y) where
● k is a constant
● g is a parameter of the type of sensor
■ g=1 (approximately) for a CCD camera

■ g=.65 for an old type vidicon camera
■ Factors influencing performance:
● Optical distortion: pincushion, barrel, non-linearities
● Sensor dynamic range (30:1 CCD, 200:1 vidicon)

● Sensor Shading (nonuniform responses from different

locations)
■ TV Camera pros: cheap, portable, small size
■ TV Camera cons: poor signal to noise, limited dynamic
range, fixed array size with small image (getting better)
 Introduction to
Computer Vision Sensor Performance

■ Optical Distortion: pincushion, barrel, non-linearities

■ Sensor Dynamic Range: (30:1 for a CCD, 200:1 Vidicon)
■ Sensor Blooming: spot size proportional to input intensity
■ Sensor Shading: (non-uniform response at outer edges
of image)
■ Dead CCD cells

There is no “universal sensor”.

Sensors must be selected/tuned for
a particular domain and application.
 Introduction to
Computer Vision Lens Aberrations

■ In an ideal optical system, all rays of light from a point in

the object plane would converge to the same point in the
image plane, forming a clear image.
■ The lens defects which cause different rays to converge
to different points are called aberrations.

● Distortion: barrel, pincushion

● Curvature of field
● Chromatic aberration
● Spherical aberration
● Coma
● Astigmatism

Aberration slides after http://hyperphysics.phy-astr.gsu.edu/hbase/geoopt/aberrcon.html#c1

 Introduction to
Computer Vision Lens Aberrations

■ Distortion

■ Curved Field
 Introduction to
Computer Vision Lens Aberrations

■ Chromatic Aberration

■ Focal Length of lens depends on refraction and

■ The index of refraction for blue light (short wavelengths) is
larger than that of red light (long wavelengths).
■ Therefore, a lens will not focus different colors in exactly
the same place
■ The amount of chromatic aberration depends on the
dispersion (change of index of refraction with wavelength)
of the glass.
 Introduction to
Computer Vision Lens Aberration

■ Spherical Aberration

■ Rays which are parallel to the optic axis but at different

distances from the optic axis fail to converge to the same
point.
 Introduction to
Computer Vision Lens Aberrations

■ Coma

■ Rays from an off-axis point of light in the object plane create

a trailing "comet-like" blur directed away from the optic axis
■ Becomes worse the further away from the central axis the
point is
 Introduction to
Computer Vision Lens Aberrations

■ Astigmatism

■ Results from different lens curvatures in different planes.

Introduction to
Computer Vision Sensor Summary
■ Visible Light/Heat
● Camera/Film combination

● Digital Camera

● Video Cameras

● FLIR (Forward Looking Infrared)

■ Range Sensors
● Radar (active sensing)

■ sonar

■ laser

● Triangulation

■ stereo

■ structured light

 – striped, patterned

■ Moire

■ Holographic Interferometry
■ Lens Focus

■ Fresnel Diffraction

■ Others
■ Almost anything which produces a 2d signal that is related to the scene can be
used as a sensor
Introduction to
Computer Vision Depth Images (Stanford)
Introduction to
Computer Vision Depth Images
Introduction to
Computer Vision Digitization

World Optics Sensor

Signal Digitizer
Digital Representation

■ Digitization: conversion of the continuous (in space

and value) electrical signal into a digital signal (digital
image)
■ Three decisions must be made:
● Spatial resolution (how many samples to take)
● Signal resolution (dynamic range of values)
● Tessellation pattern (how to 'cover' the image with
sample points)
 Introduction to
Computer Vision Digitization: Spatial Resolution

■ Let's digitize this image

● Assume a square sampling pattern
● Vary density of sampling grid
 Introduction to
Computer Vision Spatial Resolution
Sample picture at each red point
Sampling interval

Coarse Sampling: 20 points per row by 14 rows

••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!
••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••!

Finer Sampling: 100 points per row by 68 rows

 Introduction to
Computer Vision Effect of Sampling Interval - 1

■ Look in vicinity of the picket fence:

Sampling Interval:

100 100 100 100 100 100 40 40 40 40 40 40

100 100 100 100 100 100 NO EVIDENCE 40 40 40 40 40 40
OF THE FENCE!
100 100 100 100 100 100 40 40 40 40 40 40
100 100 100 100 100 100 40 40 40 40 40 40

White Image! Dark Gray Image!

 Introduction to
Computer Vision Effect of Sampling Interval - 2

■ Look in vicinity of picket fence:

Sampling Interval:

40 100 40 100 40

40 100 40 100 40 What's the difference

40 100 40 100 40 between this attempt
40 100 40 100 40 and the last one?
Now we've got a fence!
 Introduction to
Computer Vision The Missing Fence Found

■ Consider the repetitive structure of the fence:

Sampling Intervals

s'

The sampling interval is equal to the NO FENCE

Case 1: s' = d size of the repetitive structure

Case 2: s = d/2 The sampling interval is one-half the FENCE

size of the repetitive structure
 Introduction to
Computer Vision The Sampling Theorem

■ IF: the size of the smallest structure to be preserved is d

■ THEN: the sampling interval must be smaller than d/2

■ Can be shown to be true mathematically

■ Repetitive structure has a certain frequency ('pickets/foot')
● To preserve structure must sample at greater than twice the
frequency
● Holds for images, audio CDs, digital television….
■ Leads naturally to Fourier Analysis
Introduction to
Computer Vision Human Eye Sampling

■ Fine near the center of the retina (fovea)

■ Coarse at the edges

■ Strategy:
● Detect points of interest with low resolution sampling
● “Foveate” to point of interest and use high resolution
sampling.
Introduction to
Computer Vision Human Eye Sampling
 Introduction to
Computer Vision Sampling

■ Rough Idea: Ideal Case

"Digitized Image"
23

"Continuous Image"

Dirac Delta Function 2D "Comb"

d(x,y) = 0 for x = 0, y= 0
d(x,y) dx dy = 1
s
f(x,y)d(x-a,y-b) dx dy = f(a,b)
d(x-ns,y-ns) for n = 1….32 (e.g.)
Introduction to
Computer Vision Sampling

■ Rough Idea: Actual Case

● Can't realize an ideal point function in real equipment
● "Delta function" equivalent has an area
● Value returned is the average over this area
23

s
Introduction to
Computer Vision Projection through a pixel

Digitized 35mm Slide or Film

Central Projection Ray

Central Projection Ray

Image irradiance is the average

of the scene radiance over the
area of the surface intersecting
the solid angle!
Introduction to
Computer Vision Mixed Pixel Problem
 Introduction to
Computer Vision Signal Quantization

■ Goal: determine a mapping from a continuous signal

(e.g. analog video signal) to one of K discrete (digital)
levels.

I(x,y) = .1583 volts

= ???? Digital
value
 Introduction to
Computer Vision Quantization

■ I(x,y) = continuous signal: 0 ≤ I ≤ M

■ Want to quantize to K values 0,1,....K-1
■ K usually chosen to be a power of 2:

K: #Levels #Bits


2
1


4
2


8
3


16
4


32
5


64
6


128
7


256
8

■ Mapping from input signal to output signal is to be determined.
■ Several types of mappings: uniform, logarithmic, etc.
Introduction to
Computer Vision Choice of K

Original

K=2 K=4

Linear Ramp

K=16 K=32
Introduction to
Computer Vision Choice of K

K=2 (each color)

K=4 (each color)

Introduction to
Computer Vision Digital X-rays
Introduction to
Computer Vision Digital X-rays: 8 is enough?
Introduction to
Computer Vision Digital X-rays: 1 bit
Introduction to
Computer Vision Digital X-rays: 2 bits
Introduction to
Computer Vision Digital X-rays: 3 bit
Introduction to
Computer Vision Digital X-rays: 8 is enough?
Introduction to Gray Levels-Resolution
Computer Vision Trade Off

■ More gray levels can be simulated with more

resolution.
■ A “gray” pixel:

■ Doubling the resolution in each direction adds at least

four new gray levels. But maybe more?
Introduction to
Computer Vision Pseudocolor
Introduction to
Computer Vision Digital X-rays: 8 is enough?