Visit https://ebooknice.

com to download the full version and

explore more ebooks

(Ebook) Video-based rendering by Marcus A. Magnor,

Marcus Andreas Magnor ISBN 1568812442

_____ Click the link below to download _____

https://ebooknice.com/product/video-based-
rendering-2207676

Explore and download more ebooks at ebooknice.com

Here are some recommended products that might interest you.
You can download now and explore!

(Ebook) How Video Works, Second Edition by Marcus Weise ISBN

9780080549873, 9780240809335, 008054987X, 0240809335

https://ebooknice.com/product/how-video-works-second-edition-2003044

ebooknice.com

(Ebook) CYBER VIKING - BOX SET Book 1-4 by Marcus Sloss [Sloss,
Marcus]

https://ebooknice.com/product/cyber-viking-box-set-book-1-4-29576408

ebooknice.com

(Ebook) Conflict resolution: concepts and practice by Marcus

Goncalves, Marcus Goncalves ISBN 9780791802748, 0791802744

https://ebooknice.com/product/conflict-resolution-concepts-and-
practice-5393942

ebooknice.com

(Ebook) Marcus Garvey Life and Lessons: A Centennial Companion to the

Marcus Garvey and Universal Negro Improvement Association Papers by
Marcus Garvey (editor); Robert Abraham Hill (editor); Barbara Blair
(editor) ISBN 9780520908710, 0520908716
https://ebooknice.com/product/marcus-garvey-life-and-lessons-a-
centennial-companion-to-the-marcus-garvey-and-universal-negro-
improvement-association-papers-51826536
ebooknice.com
(Ebook) Conversations with Greil Marcus by Joe Bonomo, Greil Marcus
ISBN 9781617036224, 9781617036231, 1617036226, 1617036234

https://ebooknice.com/product/conversations-with-greil-marcus-11795450

ebooknice.com

(Ebook) Exercises in Organic Synthesis Based on Synthetic Drugs by

Marcus Vinícius Nora ISBN 9789811487569, 9811487561

https://ebooknice.com/product/exercises-in-organic-synthesis-based-on-
synthetic-drugs-51881492

ebooknice.com

(Ebook) A Story of Islamic Art by Marcus Milwright

https://ebooknice.com/product/a-story-of-islamic-art-54178362

ebooknice.com

(Ebook) Rise of a Pirate Lord by Marcus Sloss

https://ebooknice.com/product/rise-of-a-pirate-lord-26312416

ebooknice.com

(Ebook) Vengeance of a Pirate Lord by Marcus Sloss

https://ebooknice.com/product/vengeance-of-a-pirate-lord-26312428

ebooknice.com
Video based rendering First Edition Marcus A. Magnor
Digital Instant Download
Author(s): Marcus A. Magnor, Marcus Andreas Magnor
ISBN(s): 1568812442
Edition: First Edition
File Details: PDF, 2.23 MB
Year: 2005
Language: english
 i i

i i

Video-Based Rendering

i i

i i
 i i

i i

Video-Based Rendering

Marcus A. Magnor
Max-Planck-Institut für Informatik
Saarbrücken, Germany

A K Peters
Wellesley, Massachusetts

i i

i i
 i i

i i

Editorial, Sales, and Customer Service Office

A K Peters, Ltd.
888 Worcester Street, Suite 230
Wellesley, MA 02482
www.akpeters.com

Copyright

c 2005 by A K Peters, Ltd.

All rights reserved. No part of the material protected by this copyright notice may
be reproduced or utilized in any form, electronic or mechanical, including photo-
copying, recording, or by any information storage and retrieval system, without
written permission from the copyright owner.

Library of Congress Cataloging-in-Publication Data

Magnor, Marcus A. (Marcus Andreas), 1972-

Video-based rendering / Marcus A. Magnor.
p. cm.
Includes bibliographical references and index.
ISBN 1-56881-244-2
1. Digital video. 2. Computer animation. I. Title.

TK6680.5.M345 2005
006.6’96--dc22
2005050055

Printed in the United States of America

09 08 07 06 05 10 9 8 7 6 5 4 3 2 1

i i

i i
 i i

i i

For Marian

i i

i i
 i i

i i

Contents

Foreword ix

Preface xi

1 Introduction 1

2 Prerequisite Techniques 5
2.1 Acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Geometry Reconstruction from Multiple Views . . . . . . . . . . 28
2.3 Image-Based Rendering . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 Rendering on Graphics Hardware . . . . . . . . . . . . . . . . . 54

3 Dynamic Light Fields 61

3.1 3D TV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.2 Dynamic Light-Field Warping . . . . . . . . . . . . . . . . . . . 67
3.3 Generalized Lumigraphs . . . . . . . . . . . . . . . . . . . . . . 84

4 Visual- and Photo-Hull Rendering 89

4.1 Volumetric Visual Hulls . . . . . . . . . . . . . . . . . . . . . . . 89
4.2 Polyhedral Visual Hulls . . . . . . . . . . . . . . . . . . . . . . . 95
4.3 Image-Based Visual-Hull Rendering . . . . . . . . . . . . . . . . 102
4.4 Visual-Hull Rendering on Graphics Hardware . . . . . . . . . . . 107
4.5 Photo-Hull Rendering on Graphics Hardware . . . . . . . . . . . 115

vii

i i

i i
 i i

i i

viii Contents

5 Utilizing Temporal Coherence 125

5.1 Spatiotemporal View Interpolation . . . . . . . . . . . . . . . . . 125
5.2 Spacetime-Coherent Reconstruction . . . . . . . . . . . . . . . . 131

6 Model-Based Analysis and Synthesis 145

6.1 Free-Viewpoint Video . . . . . . . . . . . . . . . . . . . . . . . . 146

7 Outlook 161

A Definition of Terms 165

B Algorithm Overview 167

Bibliography 171

Index 195

i i

i i
 i i

i i

Foreword

If you have seen any of the Star Wars movies, you will certainly remember the
futuristic video technology in a galaxy far, far away. Video is projected into free
space, visible from any point of view. Objects and people appear to be present
in almost ghostlike fashion as three-dimensional entities. Princess Leia’s call for
help is recorded by R2-D2 for playback at the opportune time, whereas the brave
Jedi knights virtually attend meetings, zapping their three-dimensional video per-
sonalities in real time across the galaxy. We are in awe of such technological mar-
vel, willing to forgive that the grainy, low-resolution video looks slightly worse
than 1950s television.
It’s fun to ask what it would take to make this vision of the future a real-
ity. First, one needs to capture and record three-dimensional objects and scenes.
Then there is the issue of transmitting the data, presumably in real time, over
the inter-galactic equivalent of WiFi (let’s call it WiGa for now). And finally we
need a display that projects three-dimensional images into free space, such that a
viewer receives stereoscopic images anywhere in the viewing area without special
glasses. (As far as we know, even Darth Vader doesn’t have stereo glasses built
into his helmet.)
This book will hopefully convince you that much of this technology (apart
maybe from WiGa) is not as far fetched as it seems. You will read about recording
people and stadium-sized scenes using large numbers of distributed cameras. A
viewer can pick arbitrary views and even virtually fly around the scene. Other
systems capture the light coming through a “window” in the scene using many
(maybe more than one hundred) closely arranged cameras. The captured light can
then be displayed on modern (even commercially available) screens that project
stereoscopic images to multiple viewers (without funny glasses). These scenarios
are known as interactive television, free-viewpoint video, and 3D television. They

ix

i i

i i
 i i

i i

x Foreword

hold great promise for the future of television, virtual reality, entertainment, and
visualization.
Why has this book been written now, and not ten years ago? To paraphrase
Intel’s Andy Grove, we are at an inflection point in the history of visual media.
Progress in computers, digital storage, transmission, and display technology con-
tinues to advance at unprecedented rates. All of this allows video to finally break
free from the confines of the two-dimensional moving picture. Advances in com-
puter vision, computer graphics, and displays allow us to add scene shape, novel
view synthesis, and real-time interactivity to video. This book will show you how
to do it.
If sales of computer games and the popularity of stereoscopic movies are any
indication, we are all fascinated with new forms of visual media that allows us
to get a better sense of presence. This book is a snapshot of what is possible
today. I am sure it will stimulate your imagination until, someday, we may watch
a three-dimensional rendition of Star Wars projected into our living rooms.

Arlington, MA Hanspeter Pfister

May 2005

i i

i i
 i i

i i

Preface

This book is about a new interdisciplinary research field that links comput-
er graphics, computer vision, and telecommunications. Video-based rendering
(VBR) has recently emerged from independent research in image-based render-
ing, motion capture, geometry reconstruction, and video processing. The goal
in VBR is to render authentic views of real-world–acquired dynamic scenes the
way they would appear from arbitrary vantage points. With this ambition, VBR
constitutes a key technology for new forms of visual communications such as
interactive television, 3D TV, and free-viewpoint video in which the viewer will
have the freedom to vary at will his or her perspective on movie scenes or sports
events. To computer game developers, VBR offers a way out of the continuously
increasing modeling costs that, driven by rapidly advancing hardware capabilities,
have become necessary in order to achieve ever more realistic rendering results.
Last but not least, virtual reality applications, such as training simulators, benefit
from VBR in that real-world events can be imported into virtual environments.
Video-based rendering research pushes forward two scientific frontiers in uni-
son: novel multi-video analysis algorithms are devised to robustly reconstruct
dynamic scene shape, and adequate rendering methods are developed that syn-
thesize realistic views of the scene at real-time frame rates. Both challenges,
multi-video analysis and novel view synthesis, must be attacked in concert if our
highly sophisticated visual sense is to be persuaded of the result’s realism.

About This Book

Video-Based Rendering is an introduction to and a compendium of the current
state-of-the-art in video-based rendering. Unfortunately, this immediately raises

xi

i i

i i
 i i

i i

xii Preface

two fundamental problems. For one thing, it would be futile to attempt to do

justice to all VBR contributions and related work that has been published in recent
years. For another, the swift advancement in VBR research potentially assigns
an expiration date to any printed material on the topic. To accommodate both
concerns, the algorithms discussed in the following have been selected for their
diversity and generality. Overall, the addressed techniques are believed to run the
gamut of currently known approaches to video-based rendering.
There are several ways to read this book. To find a specific approach suitable
for a given application, Appendix B compares different VBR techniques. Chap-
ter 2 includes information on prerequisite techniques and various VBR-related
issues. For a comprehensive introduction to video-based rendering, the book can
be read from front to back, by which the different VBR concepts are encountered
roughly in order of increasing complexity. Many references to scientific publi-
cations are included for additional information. So far, video-based rendering
research has been mainly publicly funded, and most results are freely available on
the Internet. To help find VBR electronic resources, a web site accompanies this
book: http://www.video-based-rendering.org. It provides links to various VBR
resources and is actively maintained to keep up to date with the latest develop-
ments in VBR research.

Synopsis
After introducing the topic, Chapter 2 discusses a number of prerequisite tech-
niques that are related to or necessary for video-based rendering research. Chap-
ters 3 to 6 are devoted to specific VBR algorithms. Chapter 3 addresses VBR
approaches that rely on dense depth information. Time-critical VBR methods for
widely spaced video cameras are presented in Chapter 4. Chapter 5 describes two
approaches that make use of the continuous nature of any macroscopic motion.
Chapter 6 discusses a VBR method that exploits a priori knowledge about scene
content. The book closes with an outlook on future research and applications of
video-based rendering.
With the exception of Spatiotemporal View Interpolation, Section 5.1, all al-
gorithms are capable of rendering novel views at real-time frame rates on conven-
tional PC hardware. Other than that, the discussed methods differ with respect
to a number of criteria, e.g., online versus offline processing, small-baseline ver-
sus wide-baseline acquisition, implicit versus explicit geometry representation, or
silhouette- versus photo-consistent reconstruction. To quickly evaluate the useful-
ness of an individual VBR technique for a specific application, each algorithm is
briefly described and classified in Appendix B.

i i

i i
 i i

i i

Preface xiii

Acknowledgments
The VBR approaches described in this book have been proposed by various re-
searchers. I thank Chris Buehler, Paul Debevec, Neel Joshi, Wojciech Matusik,
Hartmut Schirmacher, Sundar Vedula, and Larry Zitnick for providing me with
additional information on their work, going over the respective sections, and for
allowing me to include their figures to better illustrate “their” VBR techniques.
Several algorithms discussed in this book have originated in the “Graphics–
Optics–Vision” research group at the Max-Planck-Institut für Informatik. They
are the work of Lukas Ahrenberg, Bastian Goldlücke, Ivo Ihrke, Ming Li, and
Christian Theobalt, excellent PhD students who can convert ideas to working
pieces of software, finding solutions to any theoretical or practical obstacle en-
countered along the way. Many figures in this book are reprints from our joint
publications. I am lucky to have such a great research crew.
As I found out, finalizing a book in time is real team work. I am indebted
to Gernot Ziegler and Michael Gösele who put a lot of effort into helping me
identify and re-phrase unclear passages in the original manuscript. I also thank
Alice Peters, Kevin Jackson-Mead and Sannie Sieper at A K Peters for their great
assistance and fast work. Finally, I wish to express my sincere gratefulness to
Hans-Peter Seidel, my mentor without whom I would not have discovered this
fascinating and rewarding research field. It is to his persistent encouragement that
the existence of this book is owed.

i i

i i
 i i

i i

Chapter 1

Introduction

The visual sense is the most sophisticated, most advanced sensory channel con-
necting the real world to human consciousness. Its online analysis capabilities
are enormous, and its reliability is proverbial. “Seeing is believing:” we are ac-
customed to unconditionally accept as objective reality what our visual system
judges to be real.
It is the art of computer graphics rendering to “trick” the human visual system
into accepting virtual, computer-synthesized images as being genuine. From its
onset in the 1950s, impressive progress has been made in realistic image synthe-
sis. Continued algorithmic advances, in conjunction with ever-increasing com-
putational resources, have made possible ever more realistic rendering results.
Whether on modern graphics hardware or on ray-tracing clusters, time-critical
rendering applications today achieve a degree of realism that was unattainable
only a few years ago. From animated feature films and special movie effects
to computer games and training simulators, numerous new business fields have
emerged from realistic rendering research.
With increasing hardware and software capabilities, however, rendering re-
alism has become more and more dependent on the quality of the descriptions
of the scenes to be rendered. More and more time has to be invested into mod-
eling geometry, reflectance characteristics, scene illumination, and motion with
sufficient detail and precision.1 Increasingly, progress in realistic rendering is
threatened to become thwarted by the time-consuming modeling process.
In response to this dilemma, an alternative rendering concept has established
itself over the last decade: image-based modeling and rendering.2 In image-
1 The term model is used throughout the book to denote a description of a real-world scene at a

level of abstraction that is suitable for generating novel views from different (arbitrary) viewpoints.
2 See Shum et al. Image-Based Rendering. New York: Springer, 2005.

i i

i i
 i i

i i

2 Chapter 1. Introduction

Scene Geometry
Motion
Surface Reflectance
Scene Illumination

Analysis Synthesis

Image

Figure 1.1. Image- and video-based rendering: From the description of a (time-varying)
scene in terms of 3D geometry, motion, surface reflectance, and illumination, computer
graphics rendering techniques are able to synthesize realistic images of the scene from
arbitrary perspectives. Computer vision addresses the much harder, and in the general
case even ill-posed, inverse problem of recovering the abstract scene description from real-
world image data. In image- and video-based rendering, both sides, analysis and synthesis,
are regarded collectively for best rendering results. To render a scene from arbitrary view-
points, but under identical lighting conditions, only geometry and object motion must be
reconstructed explicitly.

based rendering (IBR), natural scene appearance is not so much computed as it

is looked up from a number of conventional photographs of a real scene [85]. In
theory, IBR methods can display static scenes from arbitrary viewpoints with pho-
torealistic quality at constant computational cost, regardless of scene complexity.
The modeling process is replaced by image acquisition, which ideally takes only
a fraction of the manual labor necessary for building a conventional model of
the scene. While in conventional rendering images are synthesized from suitable
descriptions of scene geometry, reflectance, and illumination, IBR is a “holistic”
rendering approach in that the scene does not have to be dissected into its con-
stituents for rendering. This strength of image-based rendering is, unfortunately,
also its fundamental limitation: content cannot easily be edited anymore. Only
if geometry, reflectance properties, and illumination are explicitly known can any
of these components be altered separately and scene appearance recalculated (see
Figure 1.1). Computer vision research explores ways to determine these more
abstract scene descriptors from image data. Traditionally, however, research in
computer vision is not predominantly concerned with generating novel, photore-
alistic views from the obtained model data. Rendering artifacts are the result. In
contrast, IBR-driven image-based modeling and inverse rendering research has
the goal, and the ultimate benchmark, of recreating visual realism.
Until recently, research into image-based modeling and rendering has con-
centrated on static scene content. This limitation in scope was owed primarily
to the complexity and cost involved in acquiring input data for dynamic scenes.

i i

i i
 i i

i i

Introduction 3

Static scenes can be recorded with a single still-image camera by sequentially

moving the camera from one viewpoint to the next. To capture the appearance
of a time-varying scene from multiple viewpoints, in contrast, many video cam-
eras must be deployed. In addition, the video cameras must be synchronized, and
the enormous amount of image data must be either processed online or stored on
appropriate mass storage media during recording for later processing.
While being able to render static objects realistically is already a valuable
technological asset, the natural world around us is in constant motion, and the
more interesting visual phenomena are changing over time. A comparison be-
tween still photographs and a video recording of some event makes evident the
enhanced sense of visual realism that the temporal dimension brings about. This is
why animation has become an important research area in computer graphics. Re-
alistically modeling the motion of animated objects by hand, however, has proven
to be exceedingly difficult. Human visual perception is very sensitive to unnat-
ural movements of otherwise familiar real-world objects. Human gait, for ex-
ample, depends on the build and weight of the person and changes with carried
objects, ground consistency, even mood, among many other factors. If a character
is to appear realistically animated, all these aspects must be correctly taken into
account. Instead of attempting to artificially synthesize complex motion, anima-
tion specialists frequently pursue an approach equivalent to that of image-based
rendering: they turn to the real world to capture motion from living subjects.
Video-based rendering unifies the concept of image-based rendering with the
notion behind motion capture. It represents a new concept for modeling and dis-
playing dynamic scene content. The ultimate objective in VBR is to photorealis-
tically render arbitrary views of dynamic, real-world events at interactive frame
rates. A number of intriguing new applications are expected to emerge from VBR
research. In the telecommunications industry, conventional television is envi-
sioned to be superseded by interactive television and 3D TV. Instead of sitting
passively in front of the television, the viewer will have the opportunity to decide
for him- or herself from which vantage point to watch a movie or sports event.
3D TV technology may even enable watching the scene in three dimensions. For
applications that do not require live broadcasting, free-viewpoint video will offer
the freedom to watch movies recorded on DVD or next-generation storage media
from arbitrary viewpoints. Video-based rendering is the enabling technology for
the future development of visual media. Other fields of application for VBR tech-
niques include interactive entertainment, virtual reality, training simulators, and
other areas where visual realism in conjunction with real-time visualization are in
demand.
Besides its application potential, research into video-based rendering also
yields new insight into theoretical aspects of image analysis and synthesis. One

i i

i i
 i i

i i

4 Chapter 1. Introduction

Figure 1.2. Video-based rendering: As input, multiple synchronized video sequences

capture the appearance of a dynamic scene from different directions. Depending on cam-
era arrangement, online processing requirements, and a priori scene information, different
concepts are applicable to analyze the multi-video footage and to model dynamic scene
content. Matching rendering techniques are then able to synthesize arbitrary new views of
the scene in real-time.

fundamental challenge in VBR is finding ways to constrain and suitably regu-

larize the shape reconstruction process. Temporal coherence and a priori scene
knowledge can offer assistance towards this goal. For real-time visualization,
suitable representations of natural, time-varying entities must be devised. To be
able to mask reconstruction uncertainties, perceptional issues of the human vi-
sual system must be addressed, taking into account the psychophysics of video
perception. Based on such theoretical considerations, viable solutions to the prac-
tical challenges of VBR are presented in the following.
Figure 1.2 illustrates the VBR processing pipeline, as well as the succession
of chapters in this book. Video-based rendering actually begins with acquiring
synchronized multi-video data as input. Chapter 2 highlights, among other re-
lated techniques, a number of issues that are critical for successfully recording
high-quality footage. Two acquisition scenarios must be distinguished, differing
in the number of simultaneously recorded video streams and/or the arrangement
of cameras around the scene. If the distance between adjacent cameras is suf-
ficiently small, images from neighboring video cameras exhibit high similarity,
and the dynamic light field of the scene is densely sampled. Chapter 3 presents
three approaches to render new views from such dynamic light field data. If, on
the other hand, the cameras are arranged in a wide-baseline setup so that only a
handful of cameras cover a large viewing angle, camera views differ substantially.
Chapters 4 to 6 describe different VBR techniques that are able to render arbitrary
scene views from wide-baseline data.

i i

i i
 i i

i i

Chapter 2

Prerequisite Techniques

Video-based rendering is at the locus of different research disciplines. It can draw

on a wealth of previous work in computer vision, graphics, and video processing.
While all these areas are concerned with visual information, each one of them has
been regarded so far as a separate research field in its own domain. In contrast,
image data acquisition, analysis, and synthesis must all work in concert to achieve
convincing visual realism in VBR. This chapter covers a number of related topics
and gives details of secondary techniques that constitute necessary prerequisites
for successful video-based rendering.

2.1 Acquisition
Video-based rendering begins with recording multiple video streams of real-world
scenes. Input data acquisition is a crucial part of VBR, as it determines attainable
rendering quality and, therefore, potentially also overall usefulness. To achieve
optimal results, the acquisition set-up must be adapted to scene content and appli-
cation scenario.
In image-based rendering, light fields of static scenes are customarily recorded
by using a single still-image camera. Multiple images are recorded in sequence
simply by moving the camera around the scene [169]. In contrast, acquiring the
time-varying light field of a dynamic scene requires recording the scene simul-
taneously from different vantage points. Instead of a single still-image camera,
multiple video cameras are necessary. In addition, all video cameras must be syn-
chronized in order to be able to relate image content across cameras later. Such
a multi-video acquisition system imposes challenging hardware demands that are
constrained further by financial and logistical issues.

i i

i i
 i i

i i

6 Chapter 2. Prerequisite Techniques

Synchronized multi-video acquisition systems have been built prior to VBR,

primarily for commercial optical motion capture systems [214]. Such systems
typically rely on high-speed cameras to track body markers of a person mov-
ing in a controlled stage environment. Multi-video acquisition for VBR, in con-
trast, must provide natural-looking, full-color images of the recorded scene. The
recording might also have to take place outdoors. Accordingly, a suitable acqui-
sition set-up consists not only of video cameras, but also of different mounting
solutions, computational infrastructure, and illumination.

2.1.1 Imaging Hardware

A suitable video camera model for VBR acquisition has to meet specific require-
ments: the camera must be externally triggerable to make sure that the images of
all video cameras are recorded at the same time instant, and the camera must be
able to record in progressive scan mode (as opposed to interlaced half-images as
customary for TV cameras) for full-frame processing. Additional desirable cam-
era properties to achieve high-quality VBR results include: sufficiently high frame
rate, good color recording properties, sufficient sensitivity to allow for short ex-
posure times and/or high f-stop numbers, high dynamic range, as well as access
to raw image data, i.e., access to pixel values that have not been preprocessed
by the camera hardware internally. Meeting all of these conditions at the same
time while avoiding the cost of building custom camera hardware requires some
compromises.

Solid-State Imagers. For digital image acquisition, solid-state CCD [135] and
CMOS imaging chips are used almost exclusively today. In comparison, tradi-
tional cathode-ray tube (CRT) cameras have a number of inherent drawbacks,
such as non-linear response curve, inferior light sensitivity, higher electronic noise
level, larger size, and higher cost. Solid-state imagers are characterized by their
resolution, pixel area, light sensitivity, imaging noise, and quantum well capacity.
The size of one pixel, or more accurately the grid constant of the regular 2D pixel
array, ∆x, is referred to as pixel pitch; see Figure 2.1. Light sensitivity varies with
wavelength. For a given wavelength, chip sensitivity is specified by the conver-
sion efficiency. The conversion efficiency factor denotes the percentage of pho-
tons that are able to excite electrons in the valence band across the silicon’s band
gap to the conduction band. Imaging noise is fundamentally present due to the
temperature of the sensor. Additionally, the on-chip analog-to-digital converter
introduces noise to the signal. The quantum well capacity specifies the maximum
number of photons that can be accumulated per pixel. Together with the imaging
noise level, the quantum well capacity determines the useful dynamic range of

i i

i i
 i i

i i

2.1 Acquisition 7

an imaging chip. In general, smaller pixels have a lower quantum well capacity
leading to a limited dynamic range of typically no more than eight bits. Due to
their different design, CMOS chips vary by fill factor, denoting the percentage
of light-sensitive area of each pixel in comparison to total chip area covered by
one pixel, while CCD chips differ in charge transfer efficiency, i.e, loss of signal
during image readout. While CMOS chips are cheaper to manufacture and easier
to control, so far, CCD chips are still superior with respect to imaging noise, light
sensitivity, and the fraction of “hot” (faulty) pixels. With the advent of mass-
produced CMOS-based webcams, however, CMOS imaging technology has been
constantly gaining ground on CCDs in recent years.

Commercial Cameras. Most VBR pioneering labs relied on the Sony DFW-
V500 camera [259, 208, 209]. At that time, it was about the only commercially
available digital color video camera that featured progressive scan mode and that
could be externally synchronized. In external synchronization mode, the Sony
camera achieves approximately 13 frames per second. It is fitted with a standard
C lens mount. The color images are recorded by a single-chip, 1/3-inch, 640 ×
480-pixel CCD chip using the Bayer mosaic technique [14]. All video cameras
used so far in VBR research record color using this approach. A Bayer mosaic
consists of a regular matrix of tiny red, green, and blue color filters right on top
of the CCD chip. Plate I depicts the filter arrangement. Two green, one red,
and one blue filter are arranged in a block of 2 × 2 pixels, following our visual
system’s emphasis on luminance information (approximately the green channel).
As a rule of thumb, the effective resolution of a Bayer mosaic camera corresponds
approximately to a full-color (e.g., 3-chip) camera with half as many pixels. On-
board the Sony DFW-V500, color information is automatically interpolated to
mimic full CCD-chip resolution. The camera outputs a YUV 4:2:2 digital video
signal, i.e., the luminance channel has (interpolated) 640 × 480-pixel resolution,
while the chrominance channels contain 320 × 240 pixels. Note that the output
signal requires 50 percent more bandwidth than was actually recorded by the chip.
The camera is connected to a host computer via the IEEE1394 (FireWireTM ) bus.
The bus bandwidth of 400 MBits/s allows the controlling of two cameras from
one host PC. The camera model features some additional on-board preprocessing,
such as gain control and white-balance adjustment. Different sets of parameter
values can be stored in camera memory for fast switching.
In recent years, other manufacturers have built externally triggerable video
cameras, some of which have already been employed in VBR research. The 3D
TV system [207] is based on the Basler A101fc camera model. It records 12
frames per second at 1300 × 1030-pixel resolution on a 2/3-inch CCD chip. The
camera can output raw pixel data, so transmission bandwidth of the FireWireTM

i i

i i
 i i

i i

8 Chapter 2. Prerequisite Techniques

resolution synchronized color format chip Ref.

[pixel] frame rate
Sony DFW-V500 640 × 480 13fps YUV 4:2:2 CCD [259, 208, 209]
Basler A101fc 1300 × 1030 12 fps raw / YUV 4:2:2 CCD [207]
PtGrey 1024 × 768 15 fps raw CCD [345]
Omnivision 8610 640 × 480 30 fps MPEG2 CMOS [312]

Table 2.1. Specifications of camera models used in VBR research.

bus is used efficiently, and the conversion from Bayer mosaic data to, e.g., RGB
color space can be controlled. The Basler models also feature the standard C lens
mount.
The acquisition set-up of Microsoft’s Video View Interpolation project [345]
consists of PointGrey cameras that deliver 1024 × 768-pixel color images at 15
frames per second [130]. The video images are downstreamed via fiber optics
cables to a custom-built storage system.
The use of CMOS imagers instead of CCD chips was pioneered in the “Stan-
ford Multi-Camera Array” [312]. The system consists of custom-built camera
heads using the Omnivision OV8610 CMOS imaging chip. The camera heads
record 640 × 480-pixel color images in YUV 4:2:2 format at 30 frames per sec-
ond. One control board per camera preprocesses the images and encodes the video
data as MPEG-2 bitstreams. Up to 26 compressed video streams are downlinked
via the IEEE1394 bus to one PC, where the bitstreams are stored on SCSI hard
drives. As the Stanford Multi-Camera Array provides MPEG-compressed im-
age data only, quantization noise and blocking artifacts deteriorate image quality,
posing a challenge to further processing algorithms.
Table 2.1 summarizes the technical specifications of different camera mod-
els used so far in VBR research. Of course, new camera models with improved
capabilities will continue to become available. The amount of data that can be
processed using conventional PC technology, however, puts a limit on manage-
able acquisition resolution, frame rate, and color depth. With consumer-market
PC memory, hard drive capacity, and CPU clock rate apparently levelling out in
recent years, it may be surmised that VBR recording resolution and frame rate
will not increase by orders of magnitude in the coming years from the level of the
latest camera models in Table 2.1.

The Lens. Besides camera electronics, it is the lens that determines recorded
image quality. No amount of processing on an image taken through an inferior
lens can achieve the image quality of an appropriate, first-grade lens objective.
The standard lens mounts for video cameras are the so-called C- and CS-
mounts for which a large palette of lenses are commercially available. To achieve
the best possible recording results, the appropriate lens must be selected for the

i i

i i
 i i

i i

2.1 Acquisition 9

Figure 2.1. A camera lens is characterized by its focal length f and its maximal free
aperture D, or minimum f-stop number F = D/f . To achieve the best recording results,
lens parameters must be matched to pixel pitch (pixel dimension) ∆x and overall imaging
chip extent N ∆x.

camera chip’s specifications. Figure 2.1 illustrates the most important parameters
of the lens-chip imaging system.
To avoid vignetting, the lens must be matched to the size of the camera’s CCD
sensor to evenly illuminate the entire CCD chip area N ∆x. Typical video sen-
sor sizes are 1/3-inch, 1/2-inch, and 2/3-inch, measured along the chip diagonal.
Video camera lenses are specifically designed for these different chip sizes, with
prices increasing from the small to the large illumination field. Lenses for larger
sensors can be used in conjunction with smaller CCD chips, but not vice versa.
To make full use of camera resolution, the lens must produce images that are
“as sharp” as can be imaged by the camera. In optical terms, the lens’s point
spread function (PSF) should approximately match the size of one pixel. For a
good lens, its Airy disk diameter A depends on wavelength λ and f-stop number F :

A = 2.44 λ F . (2.1)

The f-stop number, or f-stop, denotes the ratio of free aperture diameter D and fo-
cal length f of the lens, F = D/f . For green light (λ = 500 nm) and F = 2.0, a
first-grade lens concentrates most intensity into a disc of A = 2.44 µm in diame-
ter. Following the Rayleigh criterion, the smallest resolvable distance corresponds
to the case when two point light sources are imaged A/2 apart. To record at max-
imum resolution, the sampling theorem dictates that at least two pixels must fall
within this length. In summary, the largest permissible pixel dimension without
sacrificing any theoretically attainable resolution is ∆x = A/4. The f-stop of
a lens objective can typically be varied to adjust for different light levels, so the
Airy disk diameter increases with increasing f-stop number. If a lens is stopped
down too much, its resolution can become worse than the pixel resolution of the
camera, which would be a waste of available imaging resources. CCD pixel size
∆x therefore limits the range of reasonable f-stops: the larger the CCD pixels,

i i

i i
 i i

i i

10 Chapter 2. Prerequisite Techniques

the smaller the f-stop number may be. On the other hand, if the Airy disk A is
smaller than about four times the pixel size ∆x, the recorded image is not ad-
equately prefiltered, and aliasing artifacts occur. While the above argument is
based on a single wavelength, the lens must also be corrected for chromatic aber-
rations to record sharp color images, which is the main reason excellent camera
lenses are expensive.
The knife-edge technique constitutes a practical and convenient way to mea-
sure the effective resolution of a lens-sensor system [248]. It consists of recording
the image of a straight edge that is oriented at a slightly slanted angle with respect
to the CCD chip orientation. The slope of the imaged edge is determined, and all
image scan lines are registered into a single, super-resolution edge profile. This
edge profile is also referred to as the line spread function. The Fourier transform
of the line spread function is the optical system’s modulation transfer function
(MTF). It captures the imaging system’s response to (linear) spatial frequency.
The resolution limit of an optical system is conventionally said to be the fre-
quency at which the MTF has fallen to about 10 percent of its DC (maximum)
value [314].
Besides controlling the amount of light that falls onto the image sensor and
its effect on imaging resolution, the aperture stop (f-stop) has another important
influence on imaging quality. It determines the depth of field, i.e., the depth range
within which the scene is captured at full camera resolution. The depth range
towards, ∆min , and away from the camera, ∆max , that is still imaged sharply de-
pends on pixel size ∆x, focal length f , f-stop F , and distance d:
∆x F d2
∆min = ,
f2 + ∆x F d
∆x F d2
∆max = 2
.
f − ∆x F d
For example, a camera with pixel size ∆x = 5µm that is equipped with a lens
featuring f = 15 mm focal length, focused at d = 3 m distance, and stopped down
to F = 4.0 captures the depth range from d − ∆min = 3m − 0.63m = 2.37m to
d + ∆max = 3m + 1.09m = 4.09m at full resolution. For ∆x = 5µm, F = 4.0
is the largest f-stop number before sacrificing camera resolution at λ = 500 nm.
Some video objective lenses do not allow varying the focus. Instead, the focus
is set by the manufacturer at the hyperfocal distance dhf corresponding to some
f-stop F and pixel size ∆x:
f2
dhf = . (2.2)
∆x F
Such fixed-focus lenses give sharp images of objects at distances from about dhf /2
to infinity. However, because the correct hyperfocal distance depends on CCD

i i

i i
 i i

i i

2.1 Acquisition 11

pixel size ∆x, the lens must be specifically manufactured for that camera model.
Lenses with adjustable focal distance offer a wider range of applications, e.g.,
they can also be used for close-up recordings. On the other hand, such lenses
must be individually focused, which is a non-trivial task and can turn out to be
a tedious chore for recording scenarios with many cameras. Also, if the focus
changes between recordings, e.g., due to different room temperature or acciden-
tal touching, the cameras must be refocused, and potentially even re-calibrated
(Section 2.1.5), before each recording session.
The focal length f of the camera lens and overall CCD chip size N ∆x deter-
mine the imaged viewing angle,

N ∆x
α = 2 arctan .
2f
Typically, maximum distance from the scene, and therefore necessary viewing
angle, is determined by the size of the recording studio. Wide-angle lenses offer-
ing angles larger than 40◦ to 50◦ potentially exhibit substantial radial distortion,
which must be corrected for prior to VBR processing. Normal and telephoto
lenses show less distortion, which makes camera calibration considerably easier.
Zoom lenses with variable focal length are not recommended for VBR applica-
tions, simply because the cameras must be recalibrated whenever the focal length
is changed.
One issue to keep in mind is whether the imaging chip is already equipped
with an infrared-blocking (IR cut) filter. The silicon chip is highly sensitive to in-
frared radiation that is invisible to the human eye. If infrared light is not blocked,
the images depict wrong object colors, and color calibration is not possible. If
the camera is sensitive to IR, an infrared-blocking filter must be mounted onto the
camera lens.

2.1.2 Recording Set-Up

When setting up the recording environment, camera mounts should be highly
adjustable in order to optimally position and aim each camera at the scene. At the
same time, the cameras must be installed in a rugged, stable fashion so they do not
accidentally change position or orientation. This is because during acquisition, the
location and orientation of all video cameras must remain fixed in order to capture
calibrated image material. Frustrations and double work can be minimized by
selecting appropriate camera mounting equipment.
Two different VBR acquisition scenarios must be distinguished. To record
light field data for the small-baseline VBR techniques discussed in Chapter 3, the
video cameras must be grouped close together. In contrast, the VBR approaches

i i

i i
 i i

i i

12 Chapter 2. Prerequisite Techniques

presented in Chapters 4 to 6 require input images that are acquired in a wide-

baseline camera set-up.

Small-Baseline Camera Set-Up. To capture dense light field data of a dy-

namic scene, the synchronized video cameras are commonly arranged in a dense,
regular grid. Equal distances between cameras simplify light field querying and
interpolation later during rendering. Irregular camera spacings cannot later be
adjusted for since translational changes in camera position cause parallax effects
in the recorded images that cannot be corrected without scene depth information.
A simple and cost-efficient way to mount multiple cameras in close arrangement
was devised by Hartmut Schirmacher and his collaborators [259]. Their Lumi-
Shelf system consists of a simple bookshelf to which six Sony DFW-V500 cam-
eras are attached using clamps and conventional camera mounting heads. For
larger rigs and more flexibility, Wojciech Matusik’s 3D TV system [207] and the
Stanford Multi-Camera Array [312] built by Bennett Wilburn rely on a modu-
lar aluminum framing system [128]; see Figure 2.2. For individual camera head
alignment, the latter system employs precision mirror mounts that are typically
used in experimental optics [129].
To directly record the dynamic light field in the convenient two-plane light
field parameterization (Section 2.3.2), the optical axes of all cameras must be
aligned in parallel. However, exactly aligning the optical axes of many cameras is
a very time-consuming occupation. Also, to make optimal use of camera resolu-
tion, it is often desirable to record the scene in a converging camera set-up. Light

Figure 2.2. The Stanford Multi-Camera Array consists of one hundred CMOS camera
heads. The cameras can be arranged in a planar matrix with aligned optical axes to record
dynamic scenes in the two-plane light field parameterization. (Reprinted from [103].)

i i

i i
 i i

i i

2.1 Acquisition 13

field images that are not recorded with parallel optical camera axes can be rectified
after acquisition by applying a projective transform to each camera image. Steve
Seitz describes how to determine the projection transformation from point corre-
spondences, as well as how to warp and resample the light field images [263, 262].
Suitably implemented, e.g., on graphics hardware, image rectification can be car-
ried out on-the-fly at acquisition frame rates [332].

Wide-Baseline Camera Set-Up. While small-baseline VBR techniques con-

strain acquisition camera positions to be close together, optimal camera place-
ment is an important issue for wide-baseline VBR approaches. Because now, the
scene is recorded from only a few viewpoints spaced far apart, the acquired video
streams should contain as much VBR-relevant information as possible. If the
dynamic scene does not exhibit any invariant symmetry characteristics, or view-
points known a priori to be of little interest, available video cameras should be
distributed such that the hemisphere around the scene is evenly covered. One ex-
ample is the 3D Dome at Carnegie Mellon University’s Robotics Lab [247]. It
consists of a geodesic dome structure, measuring five meters in diameter, made of
metal struts and connectors. Fifty-one video cameras are mounted along the struc-
ture that are looking inward to record the stage area at the dome’s center. A later
version of the 3D Dome is the 3D Room, composed of 49 cameras mounted along
the four walls and the ceiling of a studio that measures 7 m × 7 m × 3 m [143].
Similar systems, albeit with fewer cameras, have also been built by other research
groups [24, 208, 309, 178, 183, 206, 325, 38].
If possible, the camera heads should be placed far from the scene for several
reasons:

• The use of wide-angle lenses is avoided.

• The cameras’ depth of field can cover the entire scene volume.

• Projected pixel size varies less over the scene volume.

In the confines of a studio room, maximum distance from the scene is limited.
Recording the scene from above can prove impossible if the ceiling height is that
of a normal office room. On the other hand, limited ceiling height allows the use
of telescope poles [200]. The poles can be jammed between the floor and ceiling
at arbitrary positions in the room to serve as mounting rigs for the cameras; see
Figure 2.3. This way, utmost camera positioning flexibility is achieved while
providing sufficient stability and alignment robustness, e.g., against accidental
bumps. To clamp the cameras to the telescope poles and to orient the cameras
in arbitrary directions, mounting brackets with three-degrees-of-freedom camera
heads can be used [200].

i i

i i
 i i

i i

14 Chapter 2. Prerequisite Techniques

Figure 2.3. Camera mounting: the photo industry offers telescope poles that can be
jammed between floor and ceiling, offering great flexibility in camera positioning. To affix
the cameras to the poles, freely orientable mounting brackets are used. ((left) Reprinted
from [291]. (middle, right) Reprinted from [176], courtesy of Ming Li.)

Mobile Set-Up. A studio room restricts the type of dynamic events that can
be acquired to indoor activities only. To record multi-video footage of events in
their natural environment, a multi-video recording system is needed that can be
folded up, transported to arbitrary locations, and set up almost anywhere without
too much effort. This requires a compact and adaptable system for synchronized
multi-video acquisition.
A prototype of a mobile multi-video acquisition system has been built by
Lukas Ahrenberg [3]. The system is composed of several autonomous, portable
laptop-camera modules that capture and store video data independent of any fur-

Figure 2.4. For a mobile multi-video acquisition system, each camera module must run
autonomously. Built from consumer-market components, each unit consists of a laptop,
camera, tripod, and battery pack. The complete module weighs less than 10 kg and fits
into a backpack for convenient transportation. (Reprinted from [3],

c 2004 IEE.)

i i

i i
 i i

i i

2.1 Acquisition 15

Figure 2.5. Modular acquisition system design: the laptop-camera units are controlled
and synchronized via wireless LAN. (Reprinted from [3],

c 2004 IEE.)

ther infrastructure; see Figure 2.4. The modules are built from off-the-shelf com-
ponents only. Each module consists of a laptop PC with wireless LAN capabili-
ties, a Sony DFW-V500 video camera, a 12V rechargeable battery, a FireWireTM
card adapter, and a tripod.
A number of issues arise when adapting the equipment for use in a stand-alone
system. One such challenge is the power supply for the camera. The Sony camera
model draws its current from the FireWireTM cable. Laptop FireWireTM cards,
however, do not exhibit the 12V output line that PC FireWireTM cards feature.
In addition, the camera’s energy consumption of about 4 watts would quickly
drain the laptop battery and severely limit operation time. So instead, a Card-Bus
adapter is inserted in the laptop’s FireWireTM port that enables feeding an external
power source to the FireWireTM cable. While the rechargeable 12V battery adds
extra pounds to the module, the total weight of the complete unit is still less than
10 kg.
To synchronize multi-video acquisition, the camera modules are not physi-
cally connected by cable. Instead, a radio-based wireless network is used; see
Figure 2.5. The 802.11 wireless local area network (WLAN) is run in ad-hoc
mode, so that additional camera modules can be added or removed without the
need to reconfigure the existing network. A client-server architecture is estab-
lished among the laptops. The master laptop broadcasts instructions to all client
modules via WLAN to remotely control the entire system. Due to limited avail-
ability of the drivers for the laptop’s hardware components, the system is imple-
mented using the non-real-time operating system Windows 2000.

i i

i i
 i i

i i

16 Chapter 2. Prerequisite Techniques

The most important feature of VBR acquisition is synchronized recording.

For the mobile system, camera triggering is accomplished via the wireless net-
work employing software synchronization. To keep video frame capture in step,
two different strategies can be pursued: either a triggering command is sent over
the network for every frame, or only the start of the recording sequence is synchro-
nized, after which each module must keep the pace by itself. The latter approach
minimizes dependency on the communication channel and reduces the risk of un-
predictable delays due to the non-real-time operating system. It turns out that the
laptop-camera units are able to keep to the frame rate very precisely. Starting the
acquisition for all units at the same moment, however, is critical. Synchroniza-
tion time offsets are predominantly due to differences in receive and application
time delay, i.e., the time it takes from the moment when a message arrives at the
network interface until the operating system passes it on to the application, as
well as the time it takes for the application to react to the message. These delays
are, in essence, not controllable if the acquisition system runs on a non-real-time
operating system. Repeated synchronization signal broadcast and feedback must
be used to minimize synchronization discrepancies. Alternatively, exact clock
synchronization can be achieved if each client laptop is equipped with a GPS re-
ceiver that provides an exact and absolute reference time signal. After having
synchronized all laptop clocks, a start time for image recording is sent from the
master to all client units. The client laptops wait until the specified time and only
then begin recording. This way, synchronization errors introduced by the network
are avoided altogether. Remaining synchronization differences are due to the ap-
plication time delay, which, fortunately, turns out to be tolerable if recording at
15 fps.
The system is not designed to allow for online processing and VBR display in
the field. Instead, each unit’s video stream is saved for later processing. Because
guaranteed continuous bandwidth to the laptop’s hard drive is not sufficient to
directly store the data, the video images are buffered in local memory. The laptops
feature 1 GB of RAM, which is sufficient to capture about 80 seconds of video at
640 × 480-pixel resolution and 15 frames per second.. After capture, the images
are losslessly compressed and written to the laptop’s hard drive. Back home, the
video streams are downloaded from the laptops to a central repository for further
VBR processing.
To evaluate overall usability, the mobile recording system must be tested in the
field. Plate II depicts the deployment of eight mobile camera units set up to record
a craftsman in his shop. The equipment can be easily transported in a normal car
and set up within two hours, including recording calibration sequences. Over a
period of two hours, multiple sequences of multi-video footage are acquired using
three different camera configurations. Set-up time to record in a new camera con-

i i

i i
 i i

i i

2.1 Acquisition 17

figuration takes about 20 minutes including calibration. When finished recording,

packing up the equipment takes another hour. In summary, 30 minutes of multi-
video footage employing three different camera configurations can be recorded in
five hours. VBR rendering results obtained from the recorded sequence are shown
in Plate III. Plate III(a) depicts original images of the multi-video data set. Using
volume-based visual-hull rendering (Section 4.1), the craftsman can be interac-
tively viewed performing his trade from arbitrary viewpoints; see Plate III(b).

2.1.3 Illumination
It is well known in photography that scene illumination has a strong impact on
object appearance. In television studios, theaters, or at movie sets, scene lighting
is the task of specialists. Remarkably, illumination has not yet been given serious
consideration in VBR acquisition, even though VBR imposes strict requirements
on scene lighting to ensure optimal acquisition:

• Intensity: scene foreground must be brightly lit to allow for short exposure
times, which may be necessary to avoid motion blur. A brightly lit scene is
also desirable to realize small internal video camera gain settings in order
to keep electronic noise to a minimum while exploiting the cameras’ full
dynamic range. Also, high illumination levels allow for higher f-numbers,
which increases the depth of field.

• Diffuse illumination: the lights should illuminate the foreground evenly

from all directions. This way, large shadowed object regions are avoided,
and shadows cast on the floor and walls are diminished.

• Placement: the light sources must be placed such that they do not cause
lens glare in any camera.

• Natural spectrum: the lights must lend the scene its natural color appear-
ance. Strong infrared emitters, such as incandescent light sources, or stan-
dard fluorescent tube light can falsify captured object colors.

Obviously, a large studio room with high ceilings is preferable because then light
sources and acquisition cameras can be positioned at the periphery. Light sources
are characterized by their output light intensity (luminous flux) and their color
rendering index (CRI). The color rendering index ranges from 0 to 100 and in-
dicates how well colors are reproduced by different illumination conditions in
comparison to a standard light source (e.g., daylight). A CRI value of 100 repre-
sents identical visual appearance, while cool white fluorescent lamps may have a
CRI value of as little as 60.

i i

i i
 i i

i i

18 Chapter 2. Prerequisite Techniques

Different types of light sources are available for stage lighting. Arc lamps as
well as tungsten-filament and halide light bulbs are based on thermal emission,
creating a continuous, broad spectrum. Unfortunately, such incandescent light
sources radiate excessive quantities of infrared light while emitting less energy in
the green and blue part of the spectrum. To avoid yellow-tinted object appearance
in the images, white balancing can be achieved by mounting appropriate filters
in front of the lights. Conventional fluorescent lamps emit “cold” light, such that
the red end of the spectrum is not suitably represented. Full-spectrum fluorescent
lamps are available; however, fluorescent tube lamps typically flicker with the
frequency of the power grid. Solid-state lights (LEDs, etc.) are just emerging
as light sources for stage illumination applications. Halide metal vapor lamps
(HMI) combine high illumination intensities with high CRI values. In an HMI
light bulb, a DC electric arc burns in an atmosphere of mercury intermixed with
halides of rare earth elements. HMI lamps exhibit a spectral energy distribution
that resembles natural sunlight, including a substantial ultraviolet component that
should be blocked via filtering. HMI lamps can deliver more than 105 lumens.
Because the light-emitting area within the HMI bulb is confined to a small spot, a
diffuser screen must be mounted in front of the light bulb to avoid sharp shadow
lines.

2.1.4 Network Infrastructure

Depending on the application, the acquired multi-video footage is either
processed on-the-fly for immediate display, or the images are stored on the hard
drive for later retrieval and offline processing. In either case, because all camera
models mentioned in Section 2.1.1 require a PC for control, multiple host comput-
ers must be integrated into one common network to provide sufficient bandwidth
for the continuous stream of image data. Figure 2.6 depicts the layout of a typical
set-up. Inter-PC communication can be conveniently realized via EthernetTM . For
hardware-synchronized (gen-locked) recording, a separate line feeds the frame
trigger signal directly into the cameras. A master PC sends out the synchroniza-
tion signal and controls the host PCs. This client-server architecture allows for
adding arbitrarily many cameras and PCs to the network.
The seemingly less demanding VBR scenario is to store the images for later
processing. The huge amount of continuously arriving image data, however, im-
poses specific demands on continuous bus bandwidth to the storage device. The
first VBR acquisition system at CMU recorded the video streams as analog sig-
nals on conventional video tapes [221]. Sustained write throughput of standard
PCI-bus, IDE-controller hard drives is not sufficient to store uncompressed VGA-
resolution images at video frame rates. The Stanford Multi-Camera Array relies

i i

i i
 i i

i i

2.1 Acquisition 19

Figure 2.6. Client-server studio set-up: the cameras are connected to host PCs and syn-
chronized via triggering cables. The PCs communicate with the server via EthernetTM .
(Reprinted from [291],
c 2003 Eurographics.)

on SCSI hard drives to store the video streams in compressed format [312]. A
custom multi-drive system using fiber optical connectors was built by PointGrey
Research Inc. for the Video View Interpolation system [345]. Storing uncom-
pressed, high-resolution video streams using conventional PC hardware remains
a challenge for VBR acquisition.
For online processing, data must be exchanged between client PCs and the dis-
play host. To keep the system scalable, as much computational load as possible
must be delegated from the display host to the client PCs. A distributed client-
server network facilitates on-line processing of the recorded multi-video imagery.
On the lowest level, each client PC controls, e.g., two synchronized video cam-
eras. Image resolution permitting, each client PC is able to perform low-level
processing on both incoming video streams at acquisition frame rate. In a hierar-
chical network, the processed data from every two clients are sent on to one PC
that processes the combined data further. The result is passed on to yet another
computer in the next-higher hierarchical layer of processing nodes, until at the
root of the hierarchical network the complete, processed information is available.
For n video cameras, such a binary tree network requires n − 1 computers. The
root node PC is the display server and renders the time-critical output image. At
the same time, it is able to control the network. To limit network traffic for video
texture transfer, the display server requests only those images from the respective
camera clients that contribute to the target view. This way, network traffic and
computational load are kept constant to accommodate arbitrarily many acquisition

i i

i i
 i i

i i

20 Chapter 2. Prerequisite Techniques

cameras. For VBR algorithms that can be parallelized to benefit from distributed
processing, interactive performance is achieved using commodity PC hardware in
conjunction with a standard 100 Mb EthernetTM LAN [208, 259, 172, 207].
All time-critical VBR algorithms discussed in Chapter 4 are experimentally
evaluated using a distributed set-up as shown in Figure 2.6. The network consists
of four 1.1 GHz Athlon client PCs and one P4 1.7 GHz display server. Four client
nodes each control two Sony DFW-500 cameras via the IEEE1394 FireWireTM
bus. Camera resolution is 320 × 240 pixels RGB, acquired at 13 fps. The client
nodes are directly connected to the display server via 100 Mb EthernetTM . While
different VBR algorithms may require different graphics boards on the display
server, the network infrastructure remains the same for all experiments.

2.1.5 Geometric Calibration

Multi-video footage by itself does not allow for much video-based rendering. To
recover scene geometry information from the acquired data, images from different
viewpoints must be related. This requires knowing camera locations and orien-
tations (extrinsic parameters), as well as internal camera imaging characteristics
(intrinsic parameters). The procedure to determine these parameters is known
as geometric camera calibration. Figuring out calibration parameters directly by
measuring the camera set-up, however, is not feasible. Instead, camera calibra-
tion is done by relating image projection coordinates of known 3D points. One
standard technique of estimating extrinsic and intrinsic camera calibration para-
meters was first proposed by Tsai [297]. An implementation in C is available from
Reg Willson’s web site [316]. Another elegant calibration approach is Zhengyou
Zhang’s method [339] (he also provides a Windows executable file on his web
site [340]). Because of the wide variety of possible camera configurations, the
camera calibration routine must typically be manually adapted to the specific
arrangement. Jean-Yves Bouguet has compiled a complete MATLAB toolbox
that includes Tsai’s and Zhang’s algorithms as well as several more calibration
algorithms suitable for various scenarios. It features a convenient user interface
and can be downloaded free of charge from his web site [26]. The only con-
straint is that the toolbox requires a valid MATLAB license on Windows, Unix,
or Linux. Alternatively, an implementation of the toolbox routines in C is in-
cluded in the OpenCV library, which is also available free of charge [270]. The
OpenCV library also features numerous additional routines, such as algorithms
for automated corner detection.

Small-Baseline Calibration. To calibrate a multi-camera set-up, one or more

calibration sequences are recorded prior to (or after) actual VBR scene acqui-

i i

i i
 i i

i i

2.1 Acquisition 21

sition. Because in small-baseline configurations the cameras’ respective fields

of view almost coincide, intrinsic and extrinsic camera parameters can be de-
termined from recordings of a single calibration pattern. The calibration object
exhibits multiple feature points that are easy to detect and to identify, and whose
3D positions are known exactly. To obtain accurate intrinsic parameter values,
especially concerning radial lens distortion, the calibration object must cover the
entire field of view of all cameras. Because the 3D calibration points are not sup-
posed to be coplanar, if a planar calibration pattern is used [339], its orientation
must be varied during calibration sequence acquisition.

Wide-Baseline Calibration. For wide-baseline camera calibration, in contrast,

it is impractical to construct a calibration object that is visible in all cameras and at
the same time fills the cameras’ field of view. Instead, intrinsic and extrinsic cam-
era parameters are determined separately. Intrinsic calibration is done for each
camera separately. As in small-baseline calibration, a sequence is recorded of a
calibration object filling the field of view of the camera, from which the camera’s
focal length, optical center coordinates, and radial lens distortion are determined
using only the intrinsic calibration part of any of the algorithms mentioned above.
For extrinsic parameter estimation, a second calibration object is placed in the
scene and is recorded from all cameras. With the already determined intrinsic
camera parameters, position and orientation of all cameras can be determined
from the calibration object’s known 3D feature point positions.

Mobile Set-Up Calibration. For accurate results, the extrinsic calibration ob-
ject should cover the entire visible scene. In a studio, the size of the stage is
preset, and a suitable calibration object can be custom-built. For a portable sys-
tem, however, camera arrangement and recorded scene size is different during
every deployment. A robust, quick, and easy-to-use camera calibration proce-
dure that performs well for arbitrary camera configurations and in a wide range
of recording environments is desirable. For such applications, the use of a virtual
calibration object has proven useful. A virtual calibration object is constructed
by swerving an easy-to-localize object, e.g., a flashlight or a brightly colored ball,
all around the scene volume [11]. A spherical marker object has the advantage
that it also works in daylight, it has the same appearance from all directions, and
its midpoint can be robustly determined from its image silhouette. If recorded in
sync, video images of the same time frame depict the calibration object at a dis-
tinct 3D position in space. This 3D position serves as one calibration point. Chen
et al. extend the virtual calibration object idea to the case of multiple unsynchro-
nized cameras [44]. In contrast to a rigid calibration object, however, absolute 3D

i i

i i
 i i

i i

22 Chapter 2. Prerequisite Techniques

1 7

rigid object
6
2

3 5
4

(a) (b)
Figure 2.7. Graph-based extrinsic camera calibration: (a) example for a graph with non-
empty sets S, Sk , S̄, and (b) the corresponding camera configuration. (Reprinted from
[125].)

1.6

1.4

1.2

0.8

0.6

0.4

0.2

−0.2

−0.4 −0.2 0 0.2 0.4

Figure 2.8. Top view of a reconstructed virtual calibration object (line segments) and the
recovered camera calibration (frustum pyramids).

i i

i i
 i i

i i

2.1 Acquisition 23

calibration point positions are not known, which leads to an indeterminate global
scale factor for the camera set-up.
The virtual calibration concept does not require all cameras to see the calibra-
tion marker object simultaneously. The only requirement regarding the marker
path is that the marker should be visible in at least two cameras at any time, and
that every camera should record the marker sometime during the calibration se-
quence.
Relative position and orientation between camera pairs can be determined di-
rectly from pairwise image correspondences. To register all cameras into a com-
mon reference frame, a graph-based visualization is useful [125].
The graph G = (V, E) reflects the relationship between cameras; see Fig-
ure 2.7(a). Graph nodes represent the cameras Ci ∈ V , while relative position and
orientation between pairs of cameras (Ci , Cj ) ∈ E are represented by a connect-
ing edge in the graph; see Figure 2.7(b). The graph is undirected since the relative
position and orientation (R, t) for camera pair (Ci , Cj ) automatically yields the
relative position and orientation of (Cj , Ci ) via (RT , −RT t). Once the graph is
constructed, it is searched for cyclic subsets Sk ⊆ S. The set S̄ := S \ (∪k Sk )
consists of all cameras that do not belong to any cycle.
First, the unknown scale factors for pairwise translation are determined in-
dependently for each Sk . Any cycle in the graph represents a closed curve in
three-dimensional space. By exploiting the constraint that the scaled translations
along any closed loop of the graph must sum to zero, a linear system of equa-
tions is set up for each cycle. The resulting linear system of equations is typically
over-determined and can be solved in a least-squares sense. Since the obtained
estimate is not directly related to the image-space measurements anymore, the re-
projection error of the solution is not necessarily optimal. The overall shape of
the set-up is, nevertheless, correctly recovered, and the result can be used as the
initial estimate for subsequent bundle adjustment also to optimize camera orien-
tation parameters [296, 109]. Using these partial registrations, parts of the virtual
calibration object (e.g., the path of the tracked marker object) are reconstructed.
The remaining step is to register all subsets Sk and all Ci ∈ S̄ with each other
to form one globally consistent calibration. Figure 2.8 depicts the reconstructed
object marker path and estimated camera positions and orientations from a real-
world calibration sequence.

2.1.6 Color Calibration

Two images of the same scene recorded from the identical viewpoint but with
two cameras are almost always at least slightly different; see Plate IV. If optimal
VBR results are to be obtained, this mismatch must be minimized prior to further

i i

i i
 i i

i i

24 Chapter 2. Prerequisite Techniques

processing and rendering. Conceptually, multi-camera color calibration consists

of first linearizing each camera’s individual response curve to obtain linear tris-
timulus values for each pixel. In a second step, individual camera color spaces
are matched either to some common color space derived for the given scene illu-
mination or to a standard reference color space.
A viable method to optimize internal camera settings and to calibrate color
across cameras is described in Neel Joshi’s report on radiometric calibration of the
Stanford Multi-Camera Array [140]. The approach is fully automated and takes
a couple of minutes prior to dynamic scene acquisition. It consists of two steps.
First, the internal settings for gain and offset of each camera are adjusted. Then,
sensor non-linearity, vignetting, and global color error minimization is performed
in software. The method aims at obtaining a uniform color response from all
cameras, not absolute color accuracy with respect to some color standard. Scene
illumination is assumed to be static. The calibration technique is designed for a
small-baseline multi-camera array such that a planar color calibration target can
be recorded simultaneously from all cameras.
Before actual VBR recording, a 24-color GretagMacbeth ColorCheckerTM
chart is placed in the middle of the scene and recorded from all cameras [126].
The color patches are automatically identified by affixing the Macbeth chart atop
a geometric calibration target. To reduce electronic noise, the pixels within each
identified color patch are averaged over respective patch area as well as over sev-
eral time frames. Internal gamma correction is turned off for calibration as well
as subsequent VBR acquisition.
To adjust internal camera gain and offset settings, the Macbeth chart is
recorded with different exposure times such that the white patch of the chart gets
digitized to intensity values covering the linear midrange of the imaging sensors.
For each camera, a straight line is fit to the recorded pixel values, separately for
each color channel. Iteratively, the camera’s internal gain and offset settings are
varied such that the (extrapolated) zero-exposure pixel value is mapped to a pre-
set minimum value (e.g., 12 pixel intensity units in all color channels). The white
value at optimal exposure is mapped to a preset maximum value (e.g., 220 pixel
intensity units). This way, the optimal exposure time corresponds to the case
where full use is made of the cameras’ dynamic range without clipping pixel
color values.
Having determined the internal camera settings to be used during actual VBR
acquisition, additional color calibration must be performed in software. To do so,
in a second step, individual camera response is first linearized at the low and high
end of the pixel value range. Again, the color chart’s white patch is recorded for a
range of exposure settings, and the recorded RGB pixel values are evaluated. As-

i i

i i
 i i

i i

2.1 Acquisition 25

suming that the exposure times are exact, the pixel values measured for short and
long exposures are mapped to the extrapolated linear response curve determined
from the mid-exposure times. Three look-up tables are established that map any
recorded red-, green-, and blue-channel value to the full, linear imaging range,
e.g., from 0 to 255 pixel intensity units.
To make use of all color patches, the radiometric falloff over the Macbeth
color chart due to lens vignetting and non-uniform illumination must be accounted
for. A large photographic gray card is placed in front of the Macbeth chart, cov-
ering the entire color chart. For each pixel, a scaling factor is computed from the
gray-card image to correct the color-chart recording.
To minimize difference in color reproduction between cameras, a 3 × 4 color
calibration matrix Mcolcal
i is determined for each camera i. The matrices are com-
puted by taking into account all 24 color patches j. The color chart is recorded
at the exposure time used later during VBR acquisition. For each color patch,
the recorded and falloff-corrected pixel values (rij , gij , bij ) are averaged over all
cameras i to yield average color-patch values (r̄j , ḡj , b̄j ). The color calibration
matrices are used to best match recorded color-patch pixel values to the average
color-patch value:
 
  rij
r̄j  gij 
 ḡj  = Mcolcal  
i  bij  . (2.3)
b̄j
1

The color calibration matrices Mcolcal

i are determined from this overdetermined
set of linear equations so as to minimize error in the least-squares sense, e.g., via
singular value decomposition (SVD). By representing recorded color values using
homogeneous coordinates, offset differences can be adjusted as well.
The VBR sequences are recorded using the optimal exposure time, applying
the internal camera gain and offset settings determined during the first calibration
step. Each recorded pixel value is looked up in the response linearization table and
replaced with the tabulated value. Finally, global color correction is performed via
Equation (2.3).
This approach is intended for small-baseline camera set-ups. If the color chart
cannot be recorded simultaneously by all cameras, such that the chart must be
recorded for each camera separately, chart illumination varies between cameras.
The illumination differences complicate global color calibration considerably,
suggesting matching patch colors to a ground-truth color standard. Calibration
to a color standard, in turn, requires calibrating first the illuminating light’s tem-
perature, or even determining the detailed spectral energy distribution of the illu-
minating light sources; see Section 2.1.3. To obtain images from widely spaced

i i

i i
 i i

i i

26 Chapter 2. Prerequisite Techniques

cameras that are, to first order, similar in color, Neel Joshi and his co-workers
advise to do only the first calibration step, placing the white target close to the
cameras and recording out-of-focus [140]. If this is not feasible, they suggest to
set internal camera gain and offset to the same values for all cameras instead of
relying on the cameras’ automatic gain and white balance feature.

2.1.7 Segmentation
Image pixel affiliation with either scene background or object foreground is a
valuable clue for geometry reconstruction. Silhouette-based methods rely entirely
on accurate image segmentation. To distinguish between fore- and background
pixels from image data only, segmentation must be based on pixel color.
In professional applications, segmentation is traditionally realized via
chroma-keying. The foreground is thereby recorded in front of a uniformly col-
ored backdrop whose color does not resemble any color occurring on the fore-
ground object. Typical backdrop colors are blue or green [309]. By labeling as
background all pixels that are similar in color to the backdrop, the foreground
can be quickly and robustly segmented. This simple method can be realized even
with analog technology and is used for live broadcasts. (For example, the nightly
TV weather forecast is commonly produced by recording the meteorologist in
front of a uniform backdrop and compositing his/her color-segmented silhouette
in real-time with the computer-generated weather chart.)
Particularly in small recording rooms, however, indirect illumination causes
the background color of the walls and floor to reflect off the foreground object,
resulting in an unnatural color tint of the object as well as segmentation inaccu-
racies. This effect is commonly referred to as color bleeding. Shadows cast by
the foreground onto the background are another potential source of segmentation
error. To avoid both problems, instead of using blue or green as the backdrop
color, the studio walls and floor can be covered with black molleton and carpet;
see Figure 2.9. This way, shadows become invisible, and no background color
can reflect off the foreground. On the other hand, illumination conditions must be
adjusted for the missing indirect illumination component from the walls and floor,
and the segmentation algorithm has to account for dark or black regions that can
also occur on the foreground object.
Retro-reflective fabric material is becoming popular to cover background
walls and floor. Blue or green ring lights mounted on all camera lenses strongly
reflect back from the material into the cameras, such that in the recorded video
images, the background stands out in a single color. Scene foreground remains
conventionally illuminated with bright (white) light sources. Because the retro-
reflective background requires only low ring light intensities, color bleeding ef-

i i

i i
 i i

i i

2.1 Acquisition 27

Figure 2.9. A recording studio, equipped with black curtains and carpet for robust image
segmentation. (Reprinted from [291],

c 2003 Eurographics.)

(a) (b)
Figure 2.10. Clean-plate segmentation: with the help of pre-acquired background im-
ages, (a) the dynamic foreground object can (b) be segmented based on statistical color
differences. (Reprinted from [176], courtesy of Ming Li.)

fects are avoided while shadows cast on the background from foreground lighting
drown in the retro-reflected, uni-color ring light.
If the background cannot, or is not supposed to, be manipulated, segmentation
must be based on comparing the recorded images to previously acquired images
of the background [17]. These additional clean plates depict the static background
and are recorded with the same cameras and from the identical positions as the
dynamic sequence; see Figure 2.10. Electronic noise causes the background pixel
values to vary slightly, especially in low-light conditions. To determine the aver-
age color and variance per pixel, a number of background images are recorded.
Mean color and variance are then used to compute two threshold values per pixel

i i

i i
 i i

i i

28 Chapter 2. Prerequisite Techniques

that are used to decide whether the pixel belongs to the foreground or the back-
ground [46]. If the pixel value is between both threshold values, no clear decision
can be made, which is still much more useful than a bogus classification.
In the dynamic image sequences, background appearance may not be com-
pletely static due to shadows cast by the foreground. From the observation that
scene regions do not, in general, change in color appearance when shadowed,
pixel classification is based on pixel hue instead of intensity level to obtain more
robust segmentation results. Because scene background is not controlled, simi-
lar colors can coincide in the foreground and the background, typically causing
holes in the silhouettes. The segmented silhouettes are therefore post-processed
employing a morphological dilate/erode operation [134]. Suitably implemented,
background subtraction and morphological filtering can be done on-the-fly during
multi-video acquisition.
Plate V depicts eight segmented reference images for one time frame. This is
the input data to all wide-baseline VBR algorithms discussed in Chapters 4 to 6.

2.2 Geometry Reconstruction from

Multiple Views
To render a real-world scene from arbitrary perspectives, its three-dimensional
structure must be known. Since only image data is available as input, 3D scene
geometry must first be reconstructed from the imagery. In the general case, un-
fortunately, 3D reconstruction is highly ambiguous: given a set of input images,
there can be many different scene geometries that are consistent with it. Actually,
if surface reflectance (more exactly, the bidirectional reflectance distribution func-
tion, BRDF) is left completely arbitrary, a set of images can come from a scene
of arbitrary geometry. An example are holograms whose physical geometry (a
planar piece of glass or film) can’t be recovered from images showing the content
of the hologram. Unconstrained multi-view geometry reconstruction is therefore
an ill-posed problem.
The vast majority of objects in nature, however, meet certain constraints that
allow us to reconstruct geometry that is at least close to their true shape. If the
input images can be segmented into object foreground and scene background,
silhouette-based reconstruction methods yield the object’s (approximate) visual
hull. The visual hull is the 3D shape that results if all the object silhouettes
are back-projected into the scene and intersected. The visual hull is silhouette-
consistent in that all 3D scene points within the visual hull volume project onto
the object silhouette, regardless of viewing direction. While the visual hull always

i i

i i
 i i

i i

2.2 Geometry Reconstruction from Multiple Views 29

envelops the object’s true geometry, it cannot recover local concavities because
concave regions do not affect the object silhouette.
Another constraint that is crucial for all but silhouette-based reconstruction
approaches is diffuse reflectance. Diffusely reflecting, i.e., Lambertian, sur-
faces exhibit the beneficial property that their appearance remains constant when
viewed under arbitrary orientation, as long as the illumination is static. This ap-
pearance invariance allows the establishing of correspondences between different
views. Fortunately, most materials in nature exhibit predominantly diffuse re-
flectance properties. Photo-consistent reconstruction approaches are based on the
assumption of inter-image similarity in pixel color and intensity. To decrease the
probability of false matches, color similarity is frequently measured not per pixel
but for a small patch of pixels. As similarity measures, the sum of absolute dif-
ferences (SAD), the sum of squared differences (SSD), or the normalized cross-
correlation (NCC) between rectangular image patches are commonly used. The
NCC measure (see Equation (3.2)) is the most robust, as it is invariant to differ-
ences in overall brightness. However, none of these low-level similarity measures
are invariant to projective transformation or rotation [109].
From known image recording positions, pixel correspondences directly yield
the 3D positions of scene surface points. But even for diffusely reflecting ob-
jects, photo-consistency remains ambiguous if surfaces show no color variation.
Reliable correspondences can be established only at discontinuities. For uniform
image regions, use can be made of the regularizing observation that constant im-
age regions typically also correspond to smooth object surfaces. The flat-shaded
regions are then plausibly interpolated from reliably established 3D points.
While silhouette-based approaches inherently yield only approximations to
the true geometry of general 3D shapes, photo-consistent approaches assume
diffuse reflectance and must rely on regularization. Accordingly, reconstructed
geometry cannot be expected to be exact. When considering a reconstruction
technique for a given camera set-up, two scenarios must be distinguished. If the
input images are recorded from nearby viewpoints such that they exhibit high sim-
ilarity, depth-from-stereo algorithms that aim at assigning a depth value to each
image pixel are applicable. For images recorded from widely spaced positions,
shape-from-silhouette techniques as well as photo-hull reconstruction methods,
both of which recover a full 3D model, can be applied. In the following, the
different reconstruction approaches will be described in more detail.

2.2.1 Depth from Stereo

Depth-from-stereo reconstruction from two or more images has been at the core
of computer vision research for decades. As input, two or more images are avail-

i i

i i
 i i

i i

30 Chapter 2. Prerequisite Techniques

able that depict the scene from similar perspectives, such that any point in the
scene is ideally visible in two or more images. For metric reconstruction, the
recording cameras must be calibrated so that the images can be related geometri-
cally [109]. Figure 2.11(a) illustrates the epipolar recording geometry for a pair
of stereo cameras C1,2 . A 3D scene point P visible in both images I1,2 estab-
lishes a correspondence between two pixels P1,2 from either image. In reverse,
a correspondence between two pixels from both images determines the 3D posi-
tion of the scene point. A pixel P1 in image I1 can have a corresponding pixel in
image I2 only along the respective epipolar line l2 , and vice versa. The epipolar
line l2 is the projection of the viewing ray from the center of projection of cam-
era C1 through P into image I2 , so the search space for pixel correspondences is
confined to the respective one-dimensional epipolar line.
To establish correspondence between pixels, image regions around the pixels
are commonly compared using sum of squared differences (SSD), sum of absolute
differences (SAD), or normalized cross-correlation (NCC) as similarity measures.
The normalized cross-correlation is generally more robust than SSD or SAD. The
NCC between two image regions I1 (Cp ) and I2 (Cq ) is defined by
  
¯ ¯
i I1 (pi ) − I1 (Cp ) I2 (qi ) − I2 (Cq )
C(p, q) =     , (2.4)
¯ 2 ¯ 2
i I (p
1 i ) − I (C
1 p ) i I (q
2 i ) − I (C
2 q )

where pi , qi denote region pixels, and I¯1 (Cp ), I¯2 (Cq ) are the mean pixel values
of each region.
For accelerated performance, stereo image pairs can be rectified prior to image
region comparison; see Figure 2.11(b). A projective transform takes both stereo
images I1,2 to a common image plane and aligns epipolar lines in parallel to image

P P

l2:epipolar line
p1 p’’1 l’’2:epipolar line
p2 p’’2
I1 I2
I’’1 I’’2

C1 Baseline Baseline
C2 C1 C2

(a) (b)
Figure 2.11. Stereo reconstruction: (a) The 3D coordinates of a scene point P can be
triangulated from its 2D projection coordinatesP1,2 in two non-parallel image planes I1,2 .
(b) For faster block-matching, stereo image pairs can be rectified such that epipolar lines
correspond to image scanlines. (Reprinted from [176], courtesy of Ming Li.)

i i

i i
Discovering Diverse Content Through
Random Scribd Documents
 Az asztalfőn, egy sarokban ültek ők ketten. A szoba lassankint
megtelt füsttel, ételgőzzel s a mint egyre több és több pálinkát
fogyasztottak, a jókedv is hangosabb és hangosabb lett. Simándy
egy jódarabig hallgatott, aztán hirtelen Florica kezére tette a kezét.
– Bizony, édes Florica, gyenge, bűnös ember vagyok én. Vajha az
Isten megbocsátaná, a mit ma a templomban ellene vétettem.
Florica ránézett és halkan suttogta:
– Mit?
– Nem is láttam az előttem álló jegyespárt, csak magára néztem
és magamra gondoltam.
– Ép’ úgy, mint én.
– Magának esküdtem.
– És én magának.
– S talán ezzel még azt a bűnt is elkövettem, hogy lelkemhez
lánczoltam a maga lelkét…
– Hát ezt bűnnek tekinti?
– Annak, mert az én lelkem össze van törve, beteg; s az én
életem a hullámokon hánykolódó rossz ladik, mely elsülyedésre van
szánva.
A lány megsimogatta Pali kezét.
– Ne beszéljen így. Tudom, hogy eddig szomorú élete volt, s én
annál jobban szeretem magát; de most majd következnek a fehér
napok.
– Fehér napok? Óh, Florica, ha tudná, hogy mennyi fekete nap
van az én elmult ifjúságomban. Én értem tengerbe ölte magát egy
szép, szőke hollandi angyal, a kinek szerelméről sejtelmem se volt; s
engem elhagyott első szerelmem, szép tavaszom legelső rügyeit
leforrázta a dér. Bús emlékek romjai és halottak sápadt arcza közt
kigyózik multam ösvénye. S ha az öregedés az átélt szenvedések
szerint történnék, én mint fehérhajú aggastyán, viaszsárga arczczal
és görbedt vállal állanék itt… Azért szeretem úgy magát, mert maga
mellett úgy érzem magamat, mint a vándor, a ki a hideg, havas,
sötét, végtelen pusztaságon lobogó pásztortűzre talál. S boldog
vagyok, mert puha kezének szorítását érzem. S szeretném, ha mi itt
összefonódva fává változnánk, s századokon át állnánk egymás
mellett… és suttogva, összehajló lombjaink közt boldog kis madarak
fészket raknának és szerelemről csicseregnének.
Így ömlött a szenvedélyes, szerelmes szavak patakja az ifjú
ajkáról… de nem egyszerre… lassan, halkan, sokáig, s a lány lelke
mohón szívta be, s koronkint megremegett az örömtől.
– Pali, édes Pali, – suttogott, – szeretlek, nagyon szeretlek.
– Vigyázz, Florica! Egy egész világ áll köztünk; te tán nem érted,
de tudd meg, hogy mi egymáséi nem lehetünk, ha csak az
előitéleteknek egész gonosz világát szét nem romboljuk.
Florica mind a két kezével megragadta Simándy kezét.
– Ha kiáltó szavadat hallanám az éjszakában, futva mennék
utánnad, nem törődve azzal, hogy kőbe botlom, tüskebokorba futok,
mélységbe zuhanok…
– Édes!
A füstből Todorescu vérfutotta arcza merült föl. A vén pap a
vadállat ösztönével mintha megérezte volna, hogy kölyke
veszedelemben forog, s megjelent.
– Papocskám, a lányomat mulattatod?
És a lányra rászólt:
– Florica, gyere, valamit akarok mondani.
A lány engedelmesen szállt ki. A pap karonragadta s elvonszolta.
 – Miért nem tánczolsz? – mordult rá odakint a tornáczon. – Mit
bujsz össze azzal a pogány tatárral? Mit suttogtok folyton? Mézes-
mázos szájával tán szerelemről beszél? (Itt eltorzult a pópa arcza.)
Ha ezt tudnám, azonnal megfojtanálak. Román lány vagy – érted?
Urilány vagy – érted? Művelt lány vagy – érted? Rád uri kényelem
vár, városi élet, gazdag férj. Ne busulj, majd eljön, én gondoskodom
róla – te oly okos kis lány, jó kis lány vagy, Florica, ne keserítsd öreg
apádat. Megfojtalak, ha másképp lesz. Érted? És most eredj
tánczolni!
A lány elfordult. Apja visszarántotta.
– Addig szóba se állj vele, míg oláh nem lesz. Majd ha mellettünk
térdel, velünk imádkozik, bőjtöl és vezekel, akkor adhatsz neki
nyájas szót. Eredj!
Florica panaszos hangon megszólalt:
– Apám, hazamegyek.
– Mi bajod?
– Megfájdult a fejem a nagy füstben.
Apja megragadta a lány két vállát, s merőn az arczába nézett.
– Csakugyan nagyon sápadt vagy. Mit beszélt neked az a ficzkó?
– Semmi rosszat, apám.
A pópa megfogott egy cselédet.
– Te, küldd ki a feleségemet.
Todorescuné kijött s gondjaiba véve a leányt, hazakisérte.
Todorescu nehéz léptekkel visszament a lakodalmas házba, szembe
ült a magyar pappal s az asztalra könyökölt. Sokáig farkasszemet
néztek egymással. Simándy szó nélkül meredt a pópa kivörösödött
ábrázatára, gondolatai egészen másfelé kalandoztak. Végre a pópa
megszólalt:
 – A tavaszszal a leány Szebenbe megy rokonaihoz. Örökké csak
nem ülhet itthon? Férjhez kell adni, arra való… A nyáron meg
Borszékre megy az anyjával… tán még bojár is elveszi… szép is, okos
is, művelt is… meg egy kis pénze is van.
Simándy nem felelt rá.
– Hát te nem házasodol meg, öcsém? Asszony kéne már neked is
a házhoz. Ez nem élet.
Simándy hallgatott.
– Nem felelsz? Min gondolkozol?
Simándy mélységes szomorúság rezgésével hangjában végre
megszólalt:
– Hadd abba, pópa, nem értesz te meg engem, én sem értelek
meg téged. Minek fáraszszuk magunkat üres zörgéssel?
Simándy azon gondolkozott, hogy ez az előtte álló ember mily
távol, mily idegenül áll ahhoz az emésztő szenvedélyhez, mely az ő
szivét eltölti. Pedig atyja a leánynak s ő nem tud képzelni olyan
esetet, hogy ez embernek a nyakába boruljon s megvallja, hogy a
leányát szereti. Sőt mikor az apa különös, nyugtalanító, czélzásokkal
telt beszédét hallotta, vad gyűlölet szállt föl lelke mélyéről s úgy
nézett a pópára, mintha az volna a mesebeli sárkány, melynek
körmei közül kincsét ki kell ragadnia.
A pópa fölugrott s otthagyta. Simándy is fölállt s a mint az asztalt
hátrább tolta, szeme valami csillogó tárgyat pillantott meg a földön.
Fölemelte: azonnal ráismert, Florica amuletje volt, az ismert kazáni
Szent Szűz, a gyermek Jézussal karján. Zsebébe rejtette.
Beállt az est, csöndes lett a falu és sötét, csak a lakodalmas
házból tört ki néha a vigasság zaja s a világosság. Florica barátságos
leányszobája csak egy síró és imádkozó gyermeket látott. Egyszerre
megzördült a kis kertre nyiló ablaka. A leány remegve ment oda s
félig kinyitotta.
 Egy mély hang megszólalt a sötétben:
– Florica, édes Florica, úgy rémlik, elfelejtettem neked
megmondani, hogy szeretlek.
– Csak mondd, csak mondd, édes.
– Csókolj meg, Florica!
S a vasrács közt megcsókolták egymást, oly erősen, oly hevesen,
hogy a szegletes rud véres sávot vont mindegyiknek homlokára.
– Kis leány, imádkoztál-e ma este a kazáni Szűz Máriához?
– Oh, Atyám, irgalmazz, elvesztettem az amuletemet.
– Nem vesztetted el, Florica, mert a sors úgy akarta, hogy
általam megkerüljön. Fogd! Imádkozzál mindenhez, a miben hiszel,
hogy elnyerd a boldogságot. Hisz én már a fényes csillagokat is
ostromolom könyörgéseimmel. Rózsás álmokat, édes, drága szivem!
S a kis leány egyszerre boldog, vidám lett, tapsolt, ugrált s
imádkozván a Szűz Máriához, szépen elaludt. A pap pedig késő
éjszakáig botorkált a faluban ide-oda, zúgó fejjel, nehéz szívvel,
megbomlott lelkiismerettel, összetört világgal, melyben csak egy ép,
egész érzelem volt: szerelme.
 XVII.

Különös az, mikor a tavasz hósírjából bontakozik. Az első zaj az,

mikor az ereszről megindul az olvadó hó egyhangú csöpögése.
Azután a hó fehérségét a mezőn nagy fekete foltok kezdik
megszakítani. Majd a patakok veszítik el jégkérgüket s vidám
csörtetéssel futnak végig medrükben. Rá következik a télen át
hallgatag verebek csiripelése s a házi szárnyasok barátságos
kukorékolása, kotkodácsolása, mintha tudakozódnának szomszédról-
szomszédra, hogyan töltötték társaik a telet. A bogarak zümmögése
is megindul a meleg konyhában. Most már kezd szinesedni is a föld.
A nagy fekete foltokból egész zöld táblák lesznek. Az erdőben
megjelenik az ibolya és a gyöngyvirág s már madarak is karicsolnak
itt-ott.
Simándy fásultan húzta az élet igáját. Minden héten elment egy
párszor Todorescuékhoz, de csak rövid látogatásra, csakhogy épen
Floricát láthassa; s ezek a látogatások lassankint beleszorították a
köznapi, egyszerű, nyárspolgári gondolkozás, életmód szűk
kereteibe. Kötelességeit, mint pap és tanító, rendesen teljesítette, de
azontúl csak a leánynyal és közös jövőjükkel foglalkozott. Majd
Todorescuék lassan megbarátkoznak vele s elfogadják vőnek.
Egy református papot hivat és Floricával megesküszik a saját
templomában; azután Todorescu rájuk adja az áldást, a maga
templomában. Mi volna ebben rossz? Miért nem volna szabad ezt
neki megtennie? Mit áldoz föl, ha ezt megteszi? Néha elboruló lelkén
villámként czikázott át egy pár rémes gondolat: hát ennek a földnek,
a testnek szenvedélyeitől, melyektől örökre mentnek hitte magát,
csakugyan nem tudott megszabadulni? Vajjon ő még mindig az a
pompéji praetoriánus, a ki nem mozdul az őrhelyről, mikor az egész
világ összeomlik? De hát letépheti-e magáról a húst, lelkének ezt az
utálatos börtönét, mely ide köti, lehúzza őt a többi féreg közé, kik
ember néven itt mászkálnak, míg rövid létük végső határa el nem
érkezik? A sas fölszáll a nap felé, a bogár kimászik a verőfényre, a
medve jóizűen hempereg a moszatban, a mohos pázsiton, a madár a
fészekben csicsereg a párjával… Csak épen ő legyen örök bánatra
verőfénytelen, sötét napokra kárhoztatva? Csak azért, mert az Alkotó
keze, mikor sárból kigyúrta, nemesebb, gyöngédebb lelket, e lélekkel
meleg érzéseket, hivatásáról és emberi méltóságáról emelkedettebb
fölfogást lehelt bele? Nem, nem, ezzel nem veszíthette el jogát a
boldog életre, az ő számára is van fény, melegség, nyugalom,
boldogság… szerelem.
Ezeken a gondolatokon keresztül alakult ki Simándyban egy új
életfelfogás, e fölfogás alapján aztán félretett mindent s teljesen
Floricának élt. A kis kertre nyiló ablak látta éjszakánkint, mikor nem
volt holdvilág, szenvedélyes csókjaikat és nagy esküvéseiket. Mikor
pedig mások jelenlétében találkoztak, ezer együgyü semmiségről
beszélgettek, a mi rájuk nézve mindmegannyi édes, rejtett czélzást
tartalmazott.
Valamelyik kora tavaszi reggelen, mikor még itt-ott hófoltok
fehérlettek s a dalos madár torka még nem nyilt meg, Simándy
fölkelt, hogy a Máslás-oldalt elborító bokrok kezdődő rügyezésében
gyönyörködjék. Halk zsongás, zümmögés hallatszott, a miből
kitetszett, hogy már a bogarak is kezdik bontogatni szárnyukat.
Simándy rendes szokása szerint fölhágott a Balintye-dombra, honnan
épen Todorescuék tornáczára látott. Itt szokott lenni Florica, a ki
fehér zsebkendőjével egyet-kettőt úgy suttyomban mindig intett a
fiúnak. Most még nem volt ott. Pali hátát egy fának vetve, merőn
nézett le a pópáék házára. Alulról mintha hidegség csapott volna rá;
most ment ki a föld fagya, nyilván azt érezte. Lassankint észrevette,
hogy a ház szokatlanul elhagyott. Ajtók, ablakok csukva maradnak,
nem járt ki a tornáczra senki, még cseléd se. Az udvaron néha
végigment egy-egy leány, de más nem mutatkozott. Balsejtelem
fogta Pali szivét. Itt valami történt. Egy darabig dermedten állt, aztán
nagy léptekkel megindúlt lefelé, egyenesen Todorescuék kerítésének.
Itt már oly türelmetlen volt, hogy egyszerűen átvetette magát s
futva haladt át a kerten. Valahonnan az ólak közül egy kóczos leány
bújt elő.
– Te, nincs idehaza senki?
– Nincs, instálom.
– Hová lettek?
– Még hajnalban elutaztak kocsin, a tisztelendő úr, a tisztelendő
asszony, meg a kisasszony.
– Hová?
– Nem tudom. De parasztszekér vitte utánuk a nagy pakkot.
Simándy elfehéredett arczczal nézett a néma házra. Tántorgó
léptekkel ment a kis kertbe. Florica odanyiló ablaka vastáblákkal volt
bezárva. Így találta már az éjjel is, azért nem is mert kopogtatni. A
vasrúd lakatja mellé egy kis bokréta ibolya volt tüzve, egészen friss
ibolya. Ezt csak Florica tehette oda. Simándy két kézzel kapott utána
és a tárczájába rejtette. Aztán lassú léptekkel, agyában mázsás
gondolatokkal, hazafelé indúlt. Semmi kétség, Floricát elrabolták
tőle. A vén pópa mindenre rájött s elhatározta, hogy egy elhatározó
lépéssel véget vet az egésznek. Pali izmai irtóztató erővel huzódtak
össze: rettentő, halálos ütést tudott volna adni mindenkinek, a kinek
része van a rablásban. Fogai csikorogtak s arczán a düh és a
fájdalom fölváltva kergették végig egymást. Levágta magát az ágyra
s gondolkozott. Aztán fölugrott, útra öltözködött, nagy görcsös botot
vett a kezébe s kiment a ház elé. Összevont szemöldökei alul vad
tekintetet vetett a völgyre, minden oly unott, oly üres, oly
közönséges volt előtte e pillanatban. Házát kietlennek, templomát
zordnak találta. Aztán nyersen hátat fordított az egésznek s
nekivágott a hegyi útnak. Baltavár felé. Egy félóra múlva, puha
talajon, friss keréknyomot talált. Ez a papék kocsija. A szelistyei
csárdánál megállott. A régi kocsmárosné pogácsával és pálinkával
kínálta. Gépiesen lemorzsolt egy pogácsát s ivott rá.
– Szintén a városba megy, tisztelendő úr?
– Oda.
– Ma hajnalban ment erre a papunk, az egész családjával.
Pali föleszmélt. Az igaz, hisz ez az asszony látta őket. Beszélni
lehetne vele.
– Ne mondja. Hova mentek?
– Baltavárra. Valami nagy mulatság lesz ott. A kocsistól
hallottam, a ki külön szekéren vitte a sok gyönyörű báli ruhát.
Pali megkönnyebbült. Hát csak mulatni viszik Floricát, nem
rabolják el végkép tőle. Hát vigyázni fog arra a leányra, csak
megtalálja. És jaj annak, a ki útjába mer állni?
– Beszélt a kisasszonynyal?
– Igenis, instálom.
– Mit?
– Azt kérdezte tőlem, emlékszem-e még arra, mikor ők itt a
garabói magyar pappal találkoztak?
– Azt kérdezte?
 – Azt. A kisasszony szegény bizony nagyon betegnek látszott.
Mintha csak temetésre ment volna.
– Igazán? – s Pali szive, az az önző, szerelmes szív, szinte ugrált
örömében, – hát még mit beszéltek?
– Többet nem, mert az édesanyja odajött s előtte, úgy látszik,
nem akart beszélgetni.
Pali tovább haladt az erdőben, megkönnyebült szívvel. De most
már súlyos eltökélés vonúlt föl szivében: azt a leányt kiragadja
onnan, magával hurczolja s ha nincs máshová: a vadonba, mint a
tigris a zsákmányt.
Késő délután ért be Baltavárra és egy városvégi korcsmában
meghuzódott, s ott nagy vörös plakátokról rögtön megtudta, hogy
miről van szó. A román szinpártoló egyesület tartotta évi közgyűlését
s erre Szebenből, Brassóból, Balázsfalváról összegyülekezett egy
csomó pap, tanár, tanító, ügyvéd. Lesz itt ünnepi istentisztelet,
szinielőadás, hangverseny, bál. Az Apaffy-fogadó előtt nagy tömeg
vidéki parasztság ácsorgott, őket is bevezényelték a dászkálok.
A mint besötétedett, Simándy is beosont a városba s egy sötét
pontról a fogadó kivilágított kapuját figyelte. Egyszerre csak
megdobbant a szive. Todorescut és a feleségét látta kijönni: tehát
Florica itt van és egyedül van fönt. A mint Todorescuék eltüntek a
homályban, két ugrással a kapu alatt termett s fölszaladt az
elsőemeleti folyosóra.
– Todorescuék melyik szobában laknak? – kérdé a szobalánytól.
– Kilencz.
Kopogtatott.
– Ki az?
Ez Florica hangja volt.
– Én vagyok.
 – Pali, édes Pali, az Isten áldjon meg, hát eljöttél?
– Nyisd ki az ajtót, Florica.
– Nem, édes szivem, nem lehet, magam vagyok.
– Florica, még ma nem mondhattam meg, hogy szeretlek. Hogy
érzed magad?
– Rosszul, mert nem látlak és nem csókolhatlak. Ne félj, csak rád
gondolok, mindig örökké… Eredj, mert apám Szebenbe visz, ha
megtudja, hogy utánunk jöttél. S akkor én meghalok.
– Édes Florica, itt leszek közel és vigyázok rád. Nyisd ki legalább
az ablakodat, hadd lássalak. Az ég áldjon meg!
Léptek hallatszottak. Pali egy sötét fülkébe vonta magát, aztán
leosont a fogadó előtt levő sáros térre. Néhány percz mulva kinyilt az
első emeleten egy ablak, fehérruhás női alak jelent meg s két rózsát
ledobott. Pali diadalmasan rárohant, fölemelte, megcsókolta s a
tárczájába tette. A leány odafönt egy pillanatra kihajolt, aztán eltünt
s az ablak becsukódott.
Így szedte föl ez a szegény bolond fiú a sárból Florica virágait. S
egy sötét sarokba állva, órákon keresztül dideregve nézte az ablakot,
mely mögött oly forró szívvel gondolt rá Florica, a havasi pap
szépséges szép virágszála. Így alakította át a mindenható szerelem
ezt a férfit ábrándozó diákká.
Később, mikor a románok már gyűlni kezdtek a szinielőadásra,
bement az Apaffy-fogadó sarkán lévő kocsmába, mely kávéház is
volt egyúttal. Itt egy asztalhoz vonult és sört ivott. Az egyik sarokban
egy pár magyar sörözött vacsora előtt, tanítók, hivatalnokok,
járásbiró, kereskedő s arról beszéltek, hogy a mai oláh mulatságra
még Bukarestből is jöttek vendégek. Az egyik tanító, a ki ismerte
Simándyt, megszólította, hogy ne búsuljon egymagában, hanem
üljön oda közéjük. Simándy odament és sorba bemutatkozott. Az
egyik úr különösen meglepetve nézett rá:
 – Ön Simándy Pál?
– Az.
– Az a Simándy Pál, a ki Hollandiában tanult Bótai Barnával?
– Az.
– Örvendek. Én, uram, Szentpáli Tamás vagyok, helybeli
járásbiró.
– Szentpáli Tamás, Bótai Anikó férje? – kiáltott meglepetve Pali.
– Az.
Pali élesen végignézte ezt a férfit, a kit most látott először
életében s a ki olyan végzetes szerepet játszott életében. De
tekintetében nem volt se harag, se gyűlölet: puszta emberi
kiváncsiság.
– De hisz ön ügyvéd volt?
– Átléptem a birói pályára.
– Hogy van a kedves neje? – s maga is elbámúlt, hogy ezt olyan
közömbösen tudja kérdezni. Ez a szó Anikó többé nem hozta
rezgésbe szivét.
– Köszönöm, jól. Ugyan jőjjön el ma hozzánk vacsorára. Az
asszonynak nagy örömet fog szerezni.
Simándy egy darabig habozott, azután halkan azt felelte:
– Nem bánom.
A járásbiró haza is üzente mindjárt, hogy kedves vendéget visz
vacsorára, de nem árulta el, hogy kit.
Nyolcz órakor eloszlott a társaság. Szentpáli is vitte haza a
vendéget. A mint közeledtek a házhoz, Pali szivében kezdtek
elevenedni a régi emlékek: találkozásai Anikóval, látogatásai Bótaiék
eklézsiájában, a parókia, a patak, a Bethlen Gábor nagy fája,
hollandi életük, Anikó fakó arczképe. Egy párszor nehéz sóhaj tört föl
a kebléből, de semmi különös izgatottságot nem érzett.
Szentpáli előre sietett. Már a tornáczról bekiáltott:
– El se képzeled, asszony, kit hozok.
– Nem én, – felelt vissza egy kedélyes hang.
Szentpáli előretolta Simándyt.
– Szent Isten. Jól látok-e? Hisz ez Simándy.
– Az vagyok.
– Hozta Isten.
– Kezét csókolom.
És megcsókolta a kezét. Így látták egymást viszont, hosszú idők
múlva, Simándy és az a leány, a ki egykor megölte a szegény kis
Derryt. Szentpáliné kissé elhizott asszony volt, csak a szemei voltak a
régi Anikó szemei. Nem lévén rajta füző, meglehetősen formátlanul
terjedt szét. Egész lénye arra mutatott, hogy a búsulásra,
szerencsétlenségre nincs semmi tehetsége. Szemeiből rokonszenv
sugárzott Simándy felé, de világos, hogy váratlan megjelenése
semmi különös indulatot nem keltett puha lelkében. Szerette
Simándyt, de a sors máshoz adta társul s lassankint egészen lezárta,
elfelejtette a mult aktáit. Lám, Simándy lelke szikla volt, melybe erős
kézzel volt bevésve Anikó és utána Derry emléke. És a sors ezt is le
tudta faragni onnan és ujat vésni bele. Hát még az ilyen
labdaruganyosságú asszonylélekről hogy lepattanhattak az
impressziók, még ha azok az első szerelem impressziói is. Simándy
nézte és eszébe jutott: vajjon ő boldog lett volna-e ezzel az
asszonynyal? Lehet. Hisz a férjtől függ, hogy milyen irányban
fejlődjék az asszony.
 – Rózsa, hozz egy kis szilvóriumot. Tamás piszkáld föl a kályhát.
Én kinézek a konyhára.
És elszaladt, Simándy ott állt maga a szoba közepén s azon
gondolkozott, hogy minek is jött ő ide.
Rózsa, Anikó vén-leány nénje bejött a pálinkával és Simándy
szivét egyszerre keserűség fogta el. Eszébe jutott a vén leány
Utrechtbe írt kegyetlen levelének minden sora. És eszébe jutott az ő
keserves nagypéntekje. Miért is jött ide, hogy életének kálváriáját
újra végigjárja.
– Jó estét kivánok.
– Jó estét.
– Tessék egy kis papramorgót inni.
– Köszönöm.
– Én a gyereket megyek huzogatni, különben fölébred és bömböl.
Ezzel rosszkedvűen a másik szobába ment.
– Rózsa mindig ilyen harapós, – szólt halkan Szentpáli, – ne
vegye tőle rossz néven.
– Oh, dehogy! – felelt Simándy s eszébe jutott, hogy ezekért
hozta az áldozatot és dobta oda Anikót.
Ekkor bejött az asszony.
– Látta már a kis fiamat?
– Nem.
Fölfogta az égő lámpást és bevezette Simándyt. Kis kocsijában
édesdeden szuszogva aludt egy kövér kis kölyök s Anikó ragyogó
arczczal nézegette.
– Rózsa, szívem, kérlek, légy szives tálalni, kész a vacsora.
 – Hát a Treszka mire való?
– Tudod, milyen ügyetlen és ostoba.
Simándy elfordult és visszament a szomszéd szobába. Unta az
alakokat, a jeleneteket és Floricára gondolt. Nagyon megbánta, hogy
idejött. Az emlékeket, a melyek s a az alakokat, a kik ma eléje
kerültek, régen eltemette már. Mire való neki a temetőben járkálni?
A szép virágos kertben látta utoljára az édes Anikót, karcsún,
kedvesen, fehér köténynyel, szelid remegéssel egész testében s
most itt áll előtte a folytatása: egy kövér, közönséges asszony, a ki
hol a nénjével, hol a cselédjével veszekszik s a csontot jóizüen
szopogatja.
… Közönséges, kövér… de boldog, – ezt súgta egy hang Simándy
szivében.
A vacsora meglehetősen egyhanguan folyt le, Szentpáli beszélt
csak sokat, helyi érdekű és járásbirósági eseményeket. Rózsa
mogorván hallgatott, az asszony ki-kinézett, vagy a konyhába, vagy
a gyermekhez s aztán a piacz drágaságáról, a cselédek gyarlóságáról
s arról kezdett panaszkodni, hogy ezen a télen mennyi fát elfütöttek.
Majd ismét azt emlegette, hogy itt Baltaváron soha sincs semmi
mulatság, az a pár szegény magyar hivatalnok se tart össze valami
csunya pletyka folytán, mely háborúságba vitte egymás ellen a
magyarságot. A szászok egészen külön vonulnak, az oláhok is, a
magyarok is; ők maguk csak egy házhoz járnak: Eránosz örmény
kereskedőhöz, a kinek a felesége erdővidéki s Anikónak leánykori
ismerőse. Az oláhok bezzeg minden esztendőben találnak valami
alkalmat összecsődülni s akkor egész esztendőre kimulatják
magukat.
Simándy hallgatagon nézte a beszédes asszonyt s igyekezett a
régi Anikóból fölfedezni egy vonást, vagy egy hangot. De nem
sikerült. Hanem abból, a mit az asszony pusztán a mulatságok
elmaradása s a társasélet hiánya szempontjából fölpanaszolt, egy
sötét képet rajzolt meg magának: az erdélyi társadalom züllöttségét.
A nép ismeretlen milliói fölött áll az intelligenczia, mely háromfelé
húz és nincs egy közös eszme, mely őket eltöltené. Szász, román,
magyar, ez a háromféle irány, valamennyi külön törekvést, külön
eszmekört, egy egészen külön világot képvisel. Csak az állam
vaspántjai tartják őket össze. S valamennyi közül a legmostohább ez
a szegény magyar, az egyetlen, a ki csakis ezt a hazát vallja
magáénak, az egyetlen, a kinek lelke az ország határánál
szárnyaszegetten lehull, mert tovább nincs mit keresnie, míg a szász,
a román lélektáplálékért vígan repül tovább – az egyik Berlin, a
másik Bukarest felé. A magyar ezeréves küzdelemben kifáradva,
vérevesztetten áll itt s napról-napra jobban koldusodva védi az egy
haza göröngyeit. Az asszony egyszer csak észrevette Simándy
arczának komorságát s erre elhallgatott.
– Én untatom magát, ugy-e, ezekkel az együgyü kisvárosi
dolgokkal?
Simándy nem felelt. Mit is feleljen? Egész másfelé jártak az ő
gondolatai. Kicsinységének érzete fogta el. Eszébe jutottak a nagy
álmok, melyek egykor hevítették s végiggondolta a mai napot,
melyen elköznapiasodott első ideálja mellett halad el oly
közönbösen, mint egy úszó jéghegy, ellenben a másik után szalad az
éjszakában, hidegben, mint egy kis kutya.
Valóban az volna ő? Fölállt, megsimította homlokát és távozni
készült. S ekkor észrevette, hogy Anikó az urát oldalba döfi s
valamire figyelmezteti. A férj csakugyan meg is szólalt:
– Igaz, tiszteletes úr, mi még köszönettel is tartozunk önnek.
– Miért?
– A mit szegény boldogult apósommal tett Bótai Barna halála
után. Hogy nem árulta el a halálát, sőt pénzt is küldött a magáéból…
– Vagy úgy? Kérem hagyja…
A kalapja már a kezében volt, kezet szorított mindnyájukkal s
elment. A férj lámpával kisérte a kapuig, ott még egyszer
elbúcsuztak és Simándy kisietett az utczára… Hideg volt, összehúzta
a kabátját. Vagy talán a lelke fázott? Lehet. Oly különös, oly
nevetséges volt elgondolni, hogy ő mit tett Bótaiékért… s
hozzágondolni ezt a mostani jelenetet, a mikor a baltavári királyi
járásbiró ezt neki sok idő mulva olyanformán köszöni meg, mintha
egy hordó ajándék-borról volna szó. Oly különös, oly nevetséges
volt, hogy a könnyei kicsordultak fájdalmában.
Csakhamar megpillantotta az Apaffy-fogadó kivilágított ablakait s
vére egyszerre fölforrt. Talán már azt a másikat is elvették tőle… A
kiért idefutott, mint a bolond… a kihez lopva fölkúszott, mint a
tolvaj… a kinek sáros virágait fölszedte a földről… a kinek száraz
ibolyáját itt rejtegeti a zsebében. Ott állott a téren s összeszorított
ököllel nézett a házra… Föl szerette volna gyújtani… Vagy berohanni
és a leányt a hajánál fogva kihurczolni onnan.
Ujra fölment. Megfogott egy pinczért s adott neki egy forintot,
hogy szerezzen neki olyan helyet, a honnan a bált nézheti. A pinczér
fölvezette a nagy terembe szolgáló erkélyre, melyen a czigányok
játszottak.
 Ott állott a téren…

Alatta javában állt a bál. Épen keringőt tánczoltak. Azonnal

fölfedezte Floricát, fehér ruhában, piros diszítésekkel, hajában is
fehér virággal. Egy elegáns, frakkos úrral tánczolt. Szorosan átölelve
tartották egymást s egyszer, kétszer… négyszer ötször
körülkeringőzték a termet. Azután jött egy másik, egy harmadik, egy
negyedik s Florica, a kinek arcza kipirult s telt keble viharosan
hullámzott, ragyogó arczczal ment, ment és fáradhatatlan volt.
Azután visszajött az elegáns frakkos úr s karonfogva sétálgattak. És
Florica nevetett, fehér fogai folyton villogtak… Azután újra karjára
fűzte őt az úr s tánczolva belerohantak a tömegbe; összeütköztek a
testek, az arczok egészen közel hajoltak egymáshoz s forró
leheletüket egymás szeme közé fújták… Bódító illat töltötte meg a
termet… Florica tánczosa vállára hajtva fejét, kibontakozva a
tömegből, röpült tovább.
S a sáros ruhájú, kuszált ábrázatú fiatalember onnan a czigányok
karzatáról sápadtan és merev szemekkel bámult le rá és mindig csak
rá. És lassankint egy iszonyú érzés lopódzott szivébe: ez a lány nem
az övé, nem is lehet az övé soha. Ez a lány más, mint odafönt a
nagy hegyek alatt, az ő csöndes völgyükben. Itt az arcza más, azon
az édes arczon most a kéjes érzelmek egész tömege ül. Ez a föld
lánya, a ki fényre, pompára, zajos társaságra született, ime, hogy
vonaglik királynői teste a férfi karjai közt… hogy mutatja újra meg
újra fehér fogait, mintha bele akarna harapni a hímbe, a ki vezeti…
Ez nem Anikó, a ki megtörik és eldurvul… de jó feleség és jó anya…
ez gazdaságra, nagyvilági életre született… ime, a mint lejön a
havasokról és beleveti magát az élet vidám zajába, egész
pompájában kifejlődik, mint egy virág, a mely csak most találta meg
igazi földjét, igazi éghajlatát. Erről mersz te álmodozni, száz léleknek
nyomorult papja? Két hold kukoriczaföldnek tulajdonosa?
Meghorkant benne egypárszor a nehezen járó lélekzet és végre
fölkelt (mintha egy világot emelne vállain!) kiosont, lefutott az
utczára. Vége, vége, Floricát is elvesztette, átok, nehéz átok
nyugszik rajta, az életében kinálkozó minden híves patak méreggé
válik, mikor ő szomjas ajkát feléje közelíti. Hideg kezét forró
homlokára szorította, s egy helyben állva, az égre bámult; de az ég
csillagtalan volt és sötét felhők borították.
 Florica a román bálban.

A sarokkocsmából, hol este söröztek, irtóztató lárma, verekedés

zaja hallatszott ki. Kinyilt az ajtó, s egy embert dobtak ki rajta, a ki
panaszos nyöszörgéssel fekve maradt a földön. Simándy odament.
– Megütötte magát?
– Az úr magyar? Áldja meg az Isten, vigyen haza.
– Mi baja?
– Magyar nótát akartam huzatni, aztán az oláhok véresre vertek
és kidobtak.
– Keljen föl.
 – Nem tudok, össze vagyok törve.
Simándy fölemelte, az ember csupa vér volt s keservesen
nyögött. Simándynak nyakába akasztotta a fél kezét s lassan,
biczegve elindult.
A tér sarkán megálltak, Simándy visszanézett. A fogadóból a vad
Hóra-táncz hangjait kisérő rivalgás idáig hallatszott. S ott járta
Florica, tán mint egy furia, azt a tánczot, melyet a régi gonosz
időkben Nagy-Enyed lángjai mellett, magyar asszonyok holttestei
fölött is jártak a fékevesztett vadállatok. S ő lehajtott fejjel, szivében
ezer hegyes tőrrel, vitte az éjben a véres, jajgató magyart… lelkében
pedig hurczolta a vérző hazát, a vérző hitet.
 XVIII.

Hazavitte a sebesültet, s még azon a hideg éjszakán, a vak

sötétségben, maga is elindult hazafelé. Annak az ismeretlen
embernek, a kit a sárból fölszedett, s a kinek az arczát se látta, fájó
nyöszörgése, szaggatott panaszkodása, a tehetetlen düh félig
visszafojtott kitöréseivel keverve: folyton a fülében hangzottak s
lelkét marczangolták. A mint gépiesen botorkált tova a sötét úton,
már messze haladva a várostól, még mindig érezte magán az
összetört ember súlyát, kezének görcsös kapaszkodását, s hallotta
nehéz sóhajait. Ő meg haladt előre a sötétben, a göröngyökön, a
víztócsákon, a gödrökön keresztül, – haza, a halálba, a pokolba, ki
tudja hová?
A pirkadó hajnal legalább a homály rémeit elűzte mellőle, s egy
kissé megnyugodott. A nap kibontakozott a felhők közül s
aranysugarai fénynyel, melegséggel töltötték meg a tájat. Simándy
megállt, körülnézett, s nagyot szítt a fényből, a melegségből. S a
mint vére egy kicsit megpezsdült, újra Florica jutott eszébe. Előtte
állt, a mint tánczolt, nevetett, fecsegett, kaczérkodott, jobbra-balra
hajladozva. Nem, ezt a leányt nem neki teremtette az Isten, ez nem
lehet osztályosa az ő fekete kenyerének, lakója az ő puszta házának,
követője az ő pompátlan vallásának. Ennek a lánynak hófehér
nyakán gyémántnak kell villognia. Kis lábai puha szőnyegbe kell hogy
süppedjenek. Kis kezein drágaköves gyürűk kell hogy csillogjanak –
különben boldogtalan lesz. S hol vegye ő a gyémántot, aranyat?
Végignézett magán. Csupa sár, sár végig… És a bal válla és a bal
karja csupa vér, vér… annak a szegény bolond, ismeretlen
magyarnak a vére, a ki Magyarországon magyar nótát akart huzatni.
S ennek a vérnek rajta száradt, fekete foltja a lelkét is égeti, ott
bent, hol egykor a nagy elhatározások keltek…
Vér!
Milyen különös gondolatokat sugal a vér. A vér, mely ruháján
száradt, annak a vérnek, mely ereiben lüktet.
Pap vagy, hiszed a túlvilági életet, öld meg magadat, ez a világ
nem a számodra teremtetett, talán a boldogság ott túl vár rád.
Tedd le egy gödörbe e szánalmas testet, a buta agyat, mely
mindig dolgozni, a gyönge szivet, mely mindig szeretni, a
könyörtelen gyomrot, mely mindig enni akar.
S az ő beteg vére visszafelelte: Nem! Öld meg a lányt, s lelkeitek
összeölelkezve fognak beröpülni az örök élet kapuján.
Már bent járt a havasok közt. Valami kis hegyi faluban halottra
kondítottak. E hangra magához tért. Köröskörül az őserdő oly néma
volt, mintha az is áhítattal hallgatná a harang által hirdetett
gyászjelentést. Vékony lélekharang volt: kis gyermeket siratott.
Boldog halandó! Kétszer boldog! Gyermek volt, tehát keveset
szenvedett; meghalt, tehát pihenhet.
Bandukolt tovább.
Igen meghalni. Fölébredni ebből a kínos álomból, elég volt már.
Ha van még benne erő tettre: csak ez van hátra.
 Fölemelte fejét. A tavasz fakadozott körülötte a márcziusi
levegőben, minden a megujhodásról, az életről beszélt, csak ő
hurczolta magában a halál sötét gondolatát.
 XIX.

Három napig tartott a baltavári román mulatság, s ez idő alatt a

városnak olyan képe volt, mintha Oláhország kellő közepén feküdt
volna. Floricának pompás dolga volt. Szépségével is uralkodott,
tánczával is hódított, modorával is elszédítette a fiatalságot. Megvolt
benne az a bizonyos francziás műveltség, melyet Bukarestben el
lehet sajátítani, de Párisban nem. Párisból viszik ugyan oda, de a
franczia kultura a keleti orthodox talajon egészen más virágokat
terem, mint otthon. Jó és kedves lány is volt Florica, de egy kicsit
elkényeztették. S bár finom iskolákban járt, szive mélyén ott
szunnyadtak a szenvedélyek, mócz parasztőseinek nyers
szenvedélyei, párosulva a havasi lakók heves képzeletével,
babonáival és zabolátlanságával. Simándy már az első pillanatban
megkapta érdeklődését, szemük az első találkozáskor összevillant s
Florica így szólt magában: ez tehát az ellenséges faj. Soha életében
magyar emberrel nem beszélt, iskoláiban, környezetében csak
rosszat hallott róluk. A kálvinistáról pedig éppen azt hirdették neki,
hogy az egy engesztelhetetlen, kemény, durva, pogány faj, mely
Erdélyben lábbal tapossa a szegény románt. Mindez fokozta
érdeklődését Simándy iránt, a kiről tudta, hogy pap, tehát benne
még fokozottabb mértékben meg kell hogy legyenek fajtájának
említett tulajdonságai. S első találkozásukkor mindjárt ebből a fiúból
költői lélek s bizonyos krisztusi szelidség sugárzott feléje, mikor a
virágokról regélt s hazája véres és szomorú történetéről, az elomló
romokról, az elhullott népről beszélt. S figyelmesen megvizsgálva
vonásait, fölfedezte arczán a nemességet, a férfias szépséget, s az a
benyomása támadt, hogy oly ember áll előtte, a ki sokat szenvedett.
S ha visszagondolt bukaresti, szebeni, tusnádi életére, az ugrifüles
bojárfiúkra, a csélcsap, vidám, felületes katonatisztekre: eszébe
jutott, hogy soha egy férfin se nyugodtak szemei olyan különös
érzéssel, mint Simándyn. S a zajos és tarka életből a magányba
jutva, unalmában is mindig visszatért arra a fiatalemberre, a ki vele
egy faluban lakott, s első benyomásai nemcsak megmaradtak,
hanem állandó gyökeret is vertek benne. Egyszer titokban megnézte
Simándy templomát s elámult, mikor a puszta falakat, a szuette
padokat látta. Micsoda hatalmas, bátor, önmagában bízó ember
lehet, a ki innen, e kietlen, zordon egyszerűségből egyenesen a
Mindenható Istenhez mer fordulni, semmi segítséget az övén kivül el
nem ismerve és semmi más segítségért az övén kivül nem
könyörögve… Azután valahányszor találkozott Simándyval, mindig
fokozódott az érdeklődése… Mikor apját a favágóktól megmentette, s
ott állt előtte nyugodtan, bátran, azt a hitet keltve másokban, hogy
ebben az emberben meg kell lenni az oroszlán erejének. Mikor
Gyorgye érdekében házuknál megjelent, akkor már a szerelem
kezdte benne bontogatni virágait, s mikor hideg, komédia nélkül való
egyszerűséggel nekivágott a hóviharnak, hogy megmentsen egy
emberéletet, mely a birkáénál kevesebbet ér: akkor már a szerető
szív rettegése fogta el, s azon a zivataros, álmatlan éjszakán,
imádság és sirás közt teljesen rabjává lett a feketeszemű,
sápadtképű ifjúnak, a ki talán azóta már valami mélység fenekén
összezúzott tagokkal aluszsza a halál örök álmát.
Így kezdődött, fejlődött és nőtt hatalmassá ez a szerelem, melyet
a lány szive legbelső rejtekébe zárt, úgy hogy szüleinek legalább
eleinte sejtelmük se volt róla… Később se tudtak meg semmit, de
Todorescu ösztöne megsúgta, az egészet a lány unatkozásának
tulajdonította, s azért örült neki, mikor alkalom kinálkozott arra, hogy
a baltavári nagy mulatságokra vigye, a hová jóformán szökve
mentek el.
Itt Florica egész életkedvvel vetette bele magát a zajos
társaságba. A szerelem nála úgy nyilvánult, hogy fölébresztette
érzékeit, s új vágyakat támasztott benne. Abban a perczben szünt
meg kislány lenni, mikor szive rabul esett. S mikor a zene kábító
hangja mellett egy sereg úrral keringőzött, félig behúnyt szempillái
előtt az a komoly, szép, férfias arcz jelent meg, mely csak az imént
állt vele szemben, esdve, vallva, forró szavakat suttogva egy bezárt
ajtón keresztül. S a lány ittasan gondolt erre a hatalmas, bátor,
nemes pogányra, a ki vele szemben oly szelid, jó és édes. A
virágillat, a zene, a leheletek párája, az emberi testek gőze, mind-
mind hozzájárult érzékeinek elzsibbadásához, s mikor reggeltájban
pihenésre tértek, csillogó tekintettel nézett körül, nézett ki az
ablakon a térre, hogy hátha megpillantaná őt, a kinek ölelésére,
csókjára csak most vágyott igazán, testének minden csöpp vérével.
De ő nem volt ott, s nem is jött elő s a lány érzékei tovább
tobzódtak a mulatságban. Todorescut úgy nevezték a románlakta
vidéken: a havasok püspöke, a mivel vagyonosságát akarták jelezni.
S a kit Florica bája, műveltsége nem vonzott, azt odacsalta a
vagyona; képzelhető tehát, hogy mennyire körülrajongták őt, a
bálkirálynét. Kézről-kézre adták s csak a harmadik napon, dél felé
indulhattak haza. Todorescu meg a felesége álmosan bóbiskoltak a
hintóban, Florica pedig nyitott szemmel álmodozott. Vajjon hova lett
Pali? Hiszen azt igérte, hogy itt marad és őrködni fog fölötte.
Megharagudott rá? De hisz ő nem vétett ellene semmit! Eh, majd
megtalálja otthon, azt nem kivánhatja tőle, hogy három napig ott
ácsorogjon az ablaka alatt… A szelistyei csárdánál, mint rendesen,
megpihentek. S Florica azonnal az erdőbe ment, hogy ibolyát
szedjen. Dalolva szökkent bokorról-bokorra, s Todorescu azt
dörmögte oda az anyjuknak, hogy lásd milyen jó volt bevinni. Itthon
már egészen megsavanyodott, s még az a féleszű magyar pap is
elcsavarta volna a fejét.
Florica pedig, a mint ide-oda röpködött, minden szál ibolyánál
arra a féleszű magyar papra gondolt, s lelke egészen nyugodt volt.
Olyan diadalokat aratott e napokban e férfiak fölött, hogy a felől a
garabói magyar pap felől is egészen nyugodt lehetett.
Sötétedéskor érkeztek haza a magányos faluba, Florica kihajolt a
kocsiból s jól láthatta még a református paplakot és templomot, de
Simándynak sehol nyoma. Teljes erejéből kiáltani szeretett volna,
hogy: Gyere elő, édes, itt vagyok ujra! De nem lehetett, s szivébe
nyomasztó érzés vonult.
A mint az udvarukba érkeztek, az első, a kit megpillantott,
Gyorgye volt. Petruval fát vágott.
– Te Gyorgye, – kérdé halkan, – itthon van a magyar pap?
– Nincs, instálom, elment Funtinelbe, a remetével.
– Mikor?
– Még tegnap.
Florica lassan, gondolkodva haladt föl a házba. Két keze
csüggetegen ereszkedett le. A mint a konyhába érkezett, a hatalmas
ibolyacsokrot egy heves mozdulattal a padkán égő nyitott tüzbe
dobta. Panaszosan pattogva hamvadtak el az üde, kis virágok, s
hullaszagot terjesztettek. A leány pedig bement egy sötét szobába, s
ajkát véresre harapta. Azt az ajkát, a melyet ma csókra nyujtott
volna Simándynak.
 XX.

Simándy hazatért, s tavaszi, meleg pompájában látta meg a

völgyet, hova ő egykor elrejtette magát, hogy teljesen azoknak a
nagy föladatoknak szentelhesse életét, melyeket maga elé tűzött. S
ebben a völgyben minden fa, minden ház, minden virágszál elkezdett
neki Floricáról beszélni. S ha a lányra gondolt úgy tünt föl előtte,
hogy az is tenger alatt nyugvó kincse már ő neki, melyet ő soha föl
nem hozhat erre a fényes napvilágra. Jó volna, ha már ő is
belefeküdnék a koporsóba, a többi halottak: a szétfoszlott ideálok, az
elpusztult kötelességérzet mellé. A haldokló ember érzésével bámult
maga körül, mint a ki már tudja, hogy a következő tavaszon a szép,
fehér virágok az ő sirján fognak fakadni, s az ég kék végtelensége
helyett talán egy más végtelenség fog szemei előtt kitárulni.
Lassú léptekkel ment a házába, melynek eresze alatt az első
fecskék építették már fészküket. És Sára asszony, látván sápadt
arczát, kuszált vonásait, az álmatlanságtól megduzzadt szemeit, nem
is mert hozzá szólni, csak a kezét csókolta meg alázatosan, s a sáros
ruháját kezdte kefélni. Simándy engedte átöltöztetni magát,
gépiesen megitta a kávéját, s csak akkor bátorkodott Sára asszony
jelenteni, hogy itt van Zalathnay Gábor, a funtinelli remete s tegnap
óta várja a tiszteletes urat.
– Hol van?

Simándy hazatért…

– Papp Mózesnél.
– Hivja el.
Nemsokára megjelent Zalathnay Gábor. Tárt karokkal, szives
köszöntéssel lépett be, de hirtelen megállt.