Understanding Deep Learning Simon Jd Prince

download

https://ebookbell.com/product/understanding-deep-learning-simon-
jd-prince-58267430

Explore and download more ebooks at ebookbell.com

Here are some recommended products that we believe you will be
interested in. You can click the link to download.

Understanding Deep Learning Simon Jd Prince

https://ebookbell.com/product/understanding-deep-learning-simon-jd-
prince-53071782

Understanding Deep Learning 1st Edition Simon Jd Prince

https://ebookbell.com/product/understanding-deep-learning-1st-edition-
simon-jd-prince-47887806

Applied Deep Learning A Casebased Approach To Understanding Deep

Neural Networks Umberto Michelucci

https://ebookbell.com/product/applied-deep-learning-a-casebased-
approach-to-understanding-deep-neural-networks-umberto-
michelucci-7182358

The Deep Learning With Keras Workshop An Interactive Approach To

Understanding Deep Learning With Keras 2nd Edition Matthew Moocarme

https://ebookbell.com/product/the-deep-learning-with-keras-workshop-
an-interactive-approach-to-understanding-deep-learning-with-keras-2nd-
edition-matthew-moocarme-11117634
Applied Deep Learning A Casebased Approach To Understanding Deep
Neural Networks Umbertomichelucci

https://ebookbell.com/product/applied-deep-learning-a-casebased-
approach-to-understanding-deep-neural-networks-
umbertomichelucci-7182594

Modern Computer Vision With Pytorch A Practical And Comprehensive

Guide To Understanding Deep Learning And Multimodal Models For
Realworld Vision Tasks 2nd Edition V Kishore Ayyadevarayeshwanth Reddy

https://ebookbell.com/product/modern-computer-vision-with-pytorch-a-
practical-and-comprehensive-guide-to-understanding-deep-learning-and-
multimodal-models-for-realworld-vision-tasks-2nd-edition-v-kishore-
ayyadevarayeshwanth-reddy-57684292

Deep Learning For Video Understanding 2024th Edition Zuxuan Wu

https://ebookbell.com/product/deep-learning-for-video-
understanding-2024th-edition-zuxuan-wu-58729834

Deep Learning For Video Understanding 1st Edition Zuxuan Wu Yugang

Jiang

https://ebookbell.com/product/deep-learning-for-video-
understanding-1st-edition-zuxuan-wu-yugang-jiang-58991852

Trends In Deep Learning Methodologies Algorithms Applications And

Systems Hybrid Computational Intelligence For Pattern Analysis And
Understanding Vincenzo Piuri Editor

https://ebookbell.com/product/trends-in-deep-learning-methodologies-
algorithms-applications-and-systems-hybrid-computational-intelligence-
for-pattern-analysis-and-understanding-vincenzo-piuri-editor-34072000
 Understanding Deep Learning

Simon J.D. Prince

July 2, 2024

If you enjoy this book, here are four ways you can help me:
1. Spread the word via social media. Posts in languages other than English par-
ticularly welcome. Tag me on LinkedIn or X and I’ll probably say hi.
2. Write me an Amazon review. Preferably positive, but all publicity is good
publicity...
3. Send me comments (see bottom of this page). I reply to everything eventually.
4. Buy a copy. I took 18 months completely off work to write this book and ideally
I’d like to make minimum wage (or better) for this time. Also, I’d like to write
a second edition, but I need to sell enough copies to do this. Thanks!

The most recent version of this document can be found at http://udlbook.com.

Copyright in this work has been licensed exclusively to The MIT Press,
https://mitpress.mit.edu, which released the final version to the public in December 2023.
Inquiries regarding rights should be addressed to the MIT Press, Rights & Permissions
Department.
This work is subject to a Creative Commons CC-BY-NC-ND license.

I would really appreciate help improving this document. No detail too small! Please contact
me with suggestions, factual inaccuracies, ambiguities, questions, and errata via github or by
e-mail at [email protected].
This book is dedicated to Blair, Calvert, Coppola, Ellison, Faulkner, Kerpatenko, Morris,
Robinson, Sträussler, Wallace, Waymon, Wojnarowicz, and all the others whose work is
even more important and interesting than deep learning.
Contents

Preface ix

Acknowledgements xi

1 Introduction 1
1.1 Supervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Unsupervised learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Reinforcement learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.4 Ethics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.5 Structure of book . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.6 Other books . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7 How to read this book . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

2 Supervised learning 17
2.1 Supervised learning overview . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 Linear regression example . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3 Shallow neural networks 25

3.1 Neural network example . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Universal approximation theorem . . . . . . . . . . . . . . . . . . . . . . 29
3.3 Multivariate inputs and outputs . . . . . . . . . . . . . . . . . . . . . . . 30
3.4 Shallow neural networks: general case . . . . . . . . . . . . . . . . . . . . 33
3.5 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

4 Deep neural networks 41

4.1 Composing neural networks . . . . . . . . . . . . . . . . . . . . . . . . . 41
4.2 From composing networks to deep networks . . . . . . . . . . . . . . . . 43
4.3 Deep neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.4 Matrix notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.5 Shallow vs. deep neural networks . . . . . . . . . . . . . . . . . . . . . . 49
4.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Draft: please send errata to [email protected].

iv Contents

5 Loss functions 56
5.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
5.2 Recipe for constructing loss functions . . . . . . . . . . . . . . . . . . . . 60
5.3 Example 1: univariate regression . . . . . . . . . . . . . . . . . . . . . . 61
5.4 Example 2: binary classification . . . . . . . . . . . . . . . . . . . . . . . 64
5.5 Example 3: multiclass classification . . . . . . . . . . . . . . . . . . . . . 67
5.6 Multiple outputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.7 Cross-entropy loss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
5.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

6 Fitting models 77
6.1 Gradient descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
6.2 Stochastic gradient descent . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.3 Momentum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
6.4 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.5 Training algorithm hyperparameters . . . . . . . . . . . . . . . . . . . . 91
6.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

7 Gradients and initialization 96

7.1 Problem definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
7.2 Computing derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.3 Toy example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7.4 Backpropagation algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . 103
7.5 Parameter initialization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.6 Example training code . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

8 Measuring performance 118

8.1 Training a simple model . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.2 Sources of error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
8.3 Reducing error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
8.4 Double descent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
8.5 Choosing hyperparameters . . . . . . . . . . . . . . . . . . . . . . . . . . 132
8.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

9 Regularization 138
9.1 Explicit regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
9.2 Implicit regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9.3 Heuristics to improve performance . . . . . . . . . . . . . . . . . . . . . . 144
9.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

10 Convolutional networks 161

10.1 Invariance and equivariance . . . . . . . . . . . . . . . . . . . . . . . . . 161
10.2 Convolutional networks for 1D inputs . . . . . . . . . . . . . . . . . . . . 163
10.3 Convolutional networks for 2D inputs . . . . . . . . . . . . . . . . . . . . 170

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
Contents v

10.4 Downsampling and upsampling . . . . . . . . . . . . . . . . . . . . . . . 171

10.5 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

11 Residual networks 186

11.1 Sequential processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
11.2 Residual connections and residual blocks . . . . . . . . . . . . . . . . . . 189
11.3 Exploding gradients in residual networks . . . . . . . . . . . . . . . . . . 192
11.4 Batch normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
11.5 Common residual architectures . . . . . . . . . . . . . . . . . . . . . . . 195
11.6 Why do nets with residual connections perform so well? . . . . . . . . . 199
11.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

12 Transformers 207
12.1 Processing text data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
12.2 Dot-product self-attention . . . . . . . . . . . . . . . . . . . . . . . . . . 208
12.3 Extensions to dot-product self-attention . . . . . . . . . . . . . . . . . . 213
12.4 Transformer layers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
12.5 Transformers for natural language processing . . . . . . . . . . . . . . . . 216
12.6 Encoder model example: BERT . . . . . . . . . . . . . . . . . . . . . . . 219
12.7 Decoder model example: GPT3 . . . . . . . . . . . . . . . . . . . . . . . 222
12.8 Encoder-decoder model example: machine translation . . . . . . . . . . . 226
12.9 Transformers for long sequences . . . . . . . . . . . . . . . . . . . . . . . 227
12.10 Transformers for images . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
12.11 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

13 Graph neural networks 240

13.1 What is a graph? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
13.2 Graph representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
13.3 Graph neural networks, tasks, and loss functions . . . . . . . . . . . . . . 245
13.4 Graph convolutional networks . . . . . . . . . . . . . . . . . . . . . . . . 248
13.5 Example: graph classification . . . . . . . . . . . . . . . . . . . . . . . . 251
13.6 Inductive vs. transductive models . . . . . . . . . . . . . . . . . . . . . . 252
13.7 Example: node classification . . . . . . . . . . . . . . . . . . . . . . . . . 253
13.8 Layers for graph convolutional networks . . . . . . . . . . . . . . . . . . 256
13.9 Edge graphs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
13.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

14 Unsupervised learning 268

14.1 Taxonomy of unsupervised learning models . . . . . . . . . . . . . . . . . 268
14.2 What makes a good generative model? . . . . . . . . . . . . . . . . . . . 269
14.3 Quantifying performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
14.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

15 Generative Adversarial Networks 275

Draft: please send errata to [email protected].

vi Contents

15.1 Discrimination as a signal . . . . . . . . . . . . . . . . . . . . . . . . . . 275

15.2 Improving stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
15.3 Progressive growing, minibatch discrimination, and truncation . . . . . . 286
15.4 Conditional generation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288
15.5 Image translation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
15.6 StyleGAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
15.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

16 Normalizing flows 303

16.1 1D example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
16.2 General case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
16.3 Invertible network layers . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
16.4 Multi-scale flows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
16.5 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
16.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320

17 Variational autoencoders 326

17.1 Latent variable models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
17.2 Nonlinear latent variable model . . . . . . . . . . . . . . . . . . . . . . . 327
17.3 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330
17.4 ELBO properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
17.5 Variational approximation . . . . . . . . . . . . . . . . . . . . . . . . . . 335
17.6 The variational autoencoder . . . . . . . . . . . . . . . . . . . . . . . . . 335
17.7 The reparameterization trick . . . . . . . . . . . . . . . . . . . . . . . . . 338
17.8 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
17.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

18 Diffusion models 348

18.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
18.2 Encoder (forward process) . . . . . . . . . . . . . . . . . . . . . . . . . . 349
18.3 Decoder model (reverse process) . . . . . . . . . . . . . . . . . . . . . . . 355
18.4 Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
18.5 Reparameterization of loss function . . . . . . . . . . . . . . . . . . . . . 360
18.6 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
18.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

19 Reinforcement learning 373

19.1 Markov decision processes, returns, and policies . . . . . . . . . . . . . . 373
19.2 Expected return . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377
19.3 Tabular reinforcement learning . . . . . . . . . . . . . . . . . . . . . . . . 381
19.4 Fitted Q-learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
19.5 Policy gradient methods . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
19.6 Actor-critic methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
19.7 Offline reinforcement learning . . . . . . . . . . . . . . . . . . . . . . . . 394
19.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
Contents vii

20 Why does deep learning work? 401

20.1 The case against deep learning . . . . . . . . . . . . . . . . . . . . . . . . 401
20.2 Factors that influence fitting performance . . . . . . . . . . . . . . . . . 402
20.3 Properties of loss functions . . . . . . . . . . . . . . . . . . . . . . . . . . 406
20.4 Factors that determine generalization . . . . . . . . . . . . . . . . . . . . 410
20.5 Do we need so many parameters? . . . . . . . . . . . . . . . . . . . . . . 414
20.6 Do networks have to be deep? . . . . . . . . . . . . . . . . . . . . . . . . 417
20.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418

21 Deep learning and ethics 420

21.1 Value alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
21.2 Intentional misuse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
21.3 Other social, ethical, and professional issues . . . . . . . . . . . . . . . . 428
21.4 Case study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
21.5 The value-free ideal of science . . . . . . . . . . . . . . . . . . . . . . . . 431
21.6 Responsible AI research as a collective action problem . . . . . . . . . . 432
21.7 Ways forward . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
21.8 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

A Notation 436

B Mathematics 439
B.1 Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
B.2 Binomial coefficients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441
B.3 Vector, matrices, and tensors . . . . . . . . . . . . . . . . . . . . . . . . . 442
B.4 Special types of matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
B.5 Matrix calculus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

C Probability 448
C.1 Random variables and probability distributions . . . . . . . . . . . . . . 448
C.2 Expectation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452
C.3 Normal probability distribution . . . . . . . . . . . . . . . . . . . . . . . 456
C.4 Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
C.5 Distances between probability distributions . . . . . . . . . . . . . . . . . 459

Bibliography 462

Index 513

Draft: please send errata to [email protected].

Preface

The history of deep learning is unusual in science. The perseverance of a small cabal of
scientists, working over twenty-five years in a seemingly unpromising area, has revolution-
ized a field and dramatically impacted society. Usually, when researchers investigate an
esoteric and apparently impractical corner of science or engineering, it remains just that
— esoteric and impractical. However, this was a notable exception. Despite widespread
skepticism, the systematic efforts of Yoshua Bengio, Geoffrey Hinton, Yann LeCun, and
others eventually paid off.
The title of this book is “Understanding Deep Learning” to distinguish it from vol-
umes that cover coding and other practical aspects. This text is primarily about the
ideas that underlie deep learning. The first part of the book introduces deep learning
models and discusses how to train them, measure their performance, and improve this
performance. The next part considers architectures that are specialized to images, text,
and graph data. These chapters require only introductory linear algebra, calculus, and
probability and should be accessible to any second-year undergraduate in a quantitative
discipline. Subsequent parts of the book tackle generative models and reinforcement
learning. These chapters require more knowledge of probability and calculus and target
more advanced students.
The title is also partly a joke — no-one really understands deep learning at the time of
writing. Modern deep networks learn piecewise linear functions with more regions than
there are atoms in the universe and can be trained with fewer data examples than model
parameters. It is neither obvious that we should be able to fit these functions reliably
nor that they should generalize well to new data. The penultimate chapter addresses
these and other aspects that are not yet fully understood. Regardless, deep learning will
change the world for better or worse. The final chapter discusses AI ethics and concludes
with an appeal for practitioners to consider the moral implications of their work.
Your time is precious, and I have striven to curate and present the material so you
can understand it as efficiently as possible. The main body of each chapter comprises
a succinct description of only the most essential ideas, together with accompanying
illustrations. The appendices review all mathematical prerequisites, and there should be
no need to refer to external material. For readers wishing to delve deeper, each chapter
has associated problems, Python notebooks, and extensive background notes.
Writing a book is a lonely, grinding, multiple-year process and is only worthwhile if
the volume is widely adopted. If you enjoy reading this or have suggestions for improving
it, please contact me via the accompanying website. I would love to hear your thoughts,
which will inform and motivate subsequent editions.

Draft: please send errata to [email protected].

Acknowledgments

Writing this book would not have been possible without the generous help and advice of these
individuals: Kathryn Hume, Kevin Murphy, Christopher Bishop, Peng Xu, Yann Dubois, Justin
Domke, Chris Fletcher, Yanshuai Cao, Wendy Tay, Corey Toler-Franklin, Dmytro Mishkin, Guy
McCusker, Daniel Worrall, Paul McIlroy, Roy Amoyal, Austin Anderson, Romero Barata de
Morais, Gabriel Harrison, Peter Ball, Alf Muir, David Bryson, Vedika Parulkar, Patryk Lietzau,
Jessica Nicholson, Alexa Huxley, Oisin Mac Aodha, Giuseppe Castiglione, Josh Akylbekov, Alex
Gougoulaki, Joshua Omilabu, Alister Guenther, Joe Goodier, Logan Wade, Joshua Guenther,
Kylan Tobin, Benedict Ellett, Jad Araj, Andrew Glennerster, Giorgos Sfikas, Diya Vibhakar,
Sam Mansat-Bhattacharyya, Ben Ross, Ivor Simpson, Gaurang Aggarwal, Shakeel Sheikh, Ja-
cob Horton, Felix Rammell, Sasha Luccioni, Akshil Patel, Alessandro Gentilini, Kevin Mercier,
Krzysztof Lichocki, Chuck Krapf, Brian Ha, Chris Kang, Leonardo Viotti, Kai Li, Himan Ab-
dollahpouri, Ari Pakman, Giuseppe Antonio Di Luna, Dan Oneat, ă, Conrad Whiteley, Joseph
Santarcangelo, Brad Shook, Gabriel Brostow, Lei He, Ali Satvaty, Romain Sabathé, Qiang Zhou,
Prasanna Vigneswaran, Siqi Zheng, Stephan Grein, Jonas Klesen, Giovanni Stilo, Huang Bokai,
Kevin McGuinness, Qiang Sun, Zakaria Lotfi, Yifei Lin, Sylvain Bouix, Alex Pitt, Stephane
Chretien, Robin Liu, Bian Li, Adam Jones, Marcin Świerkot, Tommy Löfstedt, Eugen Ho-
taj, Fernando Flores-Mangas, Tony Polichroniadis, Pietro Monticone, Rohan Deepak Ajwani,
Menashe Yarden Einy, Robert Gevorgyan, Thilo Stadelmann, Gui JieMiao, Botao Zhu, Mo-
hamed Elabbas, Satya Krishna Gorti, James Elder, Helio Perroni Filho, Xiaochao Qu, Jaekang
Shin, Joshua Evans, Robert Dobson, Shibo Wang, Edoardo Zorzi, Stanisław Jastrzębski, Pieris
Kalligeros, Matt Hewitt, Zvika Haramaty, Ted Mavroidis, Nikolaj Kuntner, Amir Yorav, Ma-
soud Mokhtari, Xavier Gabaix, Marco Garosi, Vincent Schönbach, Avishek Mondal, Victor
S.C. Lui, Sumit Bhatia, Julian Asilis, Hengchao Chen, Siavash Khallaghi, Csaba Szepesvári,
Mike Singer, Mykhailo Shvets, Abdalla Ibrahim, Stefan Hell, Ron Raphaeli, Diogo Tavares,
Aristotelis Siozopoulos, Jianrui Wu, Jannik Münz, Penn Mackintosh, Shawn Hoareau, Qianang
Zhou, Emma Li, Charlie Groves, Xiang Lingxiao, Trivikram Muralidharan, Rajat Binaykiya,
Germán del Cacho Salvador, Alexey Bloudov, Paul Colognese, Bo Yang, Jani Monoses, Adenil-
son Arcanjo, Matan Golani, Emmanuel Onzon, Shenghui Yan, Kamesh Kompella, Julius Aka,
Johannes Brunnemann, Varniethan Ketheeswaran, Alex Ostrovsky, Daniel Burbank, Gavrie
Philipson, Roozbeh Ehsani, Len Spek, Christoph Brune, Mohammad Nosrati, Bian Li, Runqi
Chen, Qifu Hu, Rasmi Elasmar, Ronaldo Butrus, Carles Mesado, Jeffrey Wolberg, Olivier Koch,
Edoardo Lanari, Fanmin Shi, Neel Maniar, Maksym Taran, Falk Langhammer, Reinaldo Lep-
sch, Max Talberg, Vishal Jain, Christian Arnold, Charles Hill, Nikita Panin, Steven Dillmann,
Suhas Mathur, Harris Abdul Majid, Guolong Lin, Charles Elkan, Benedict Kuester, Vladimir
Ivanov, Mohammad-Hadi Sotoudeh, Daniel Enériz Orta, Ian Jeffrey, Kwok Chun, Yu Liu, Tom
Vettenburg, Aravinda Perera, Daniel Gigliotti, Iftikhar Ramnandan, Adnan Siddiquei, Will
Knottenbelt, Valerio Di Stefano, Srikant Jayaraman, Goldie Srulovich, Rafał Rolczyński, An-
thony Ip, Andre Coelho, Roberto Martins, Alexander Nordin, Behbudiy Academy, Yun Zheng,

Draft: please send errata to [email protected].

xii Contents

and David Bissessar.

I’m particularly grateful to Daniyar Turmukhambetov, Amedeo Buonanno, Andrea Panizza,
Mark Hudson, and Bernhard Pfahringer, who provided detailed comments on multiple chapters
of the book. I’d like to especially thank Andrew Fitzgibbon, Konstantinos Derpanis, and Tyler
Mills, who read the whole book and whose enthusiasm helped me complete this project. I’d
also like to thank Neill Campbell and Özgür Şimşek, who hosted me at the University of Bath,
where I taught a course based on this material for the first time. Finally, I’m extremely grateful
to my editor Elizabeth Swayze for her frank advice throughout this process.
Chapter 12 (transformers) and chapter 17 (variational autoencoders) were first published
as blogs for Borealis AI, and adapted versions are reproduced with permission of Royal Bank
of Canada along with Borealis AI. I am grateful for their support in this endeavor. Chapter 16
(normalizing flows) is loosely based on the review article by Kobyzev et al. (2020), on which
I was a co-author. I was very fortunate to be able to collaborate on Chapter 21 with Travis
LaCroix from Dalhousie University, who was both easy and fun to work with, and who did the
lion’s share of the work.

Attribution
• Chessboard image in figure 1.13 adapted from http://tinyurl.com/yc2d54d4.
• Cogs image in figures 1.2, 1.4, 1.10 adapted from http://tinyurl.com/2c7tttr8.
• Penguin image in figures 19.1–19.5 and 19.6–19.9 adapted from http://tinyurl.com/ycx9je56.
• Fish image in figures 19.2–19.5, 19.7, 19.10–19.12 adapted from http://tinyurl.com/4ueyhtsu.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 Chapter 1

Introduction

Artificial intelligence, or AI, is concerned with building systems that simulate intelligent
behavior. It encompasses a wide range of approaches, including those based on logic,
search, and probabilistic reasoning. Machine learning is a subset of AI that learns to
make decisions by fitting mathematical models to observed data. This area has seen
explosive growth and is now (incorrectly) almost synonymous with the term AI.
A deep neural network is a type of machine learning model, and when it is fitted
to data, this is referred to as deep learning. At the time of writing, deep networks are
the most powerful and practical machine learning models and are often encountered
in day-to-day life. It is commonplace to translate text from another language using a
natural language processing algorithm, to search the internet for images of a particular
object using a computer vision system, or to converse with a digital assistant via a speech
recognition interface. All of these applications are powered by deep learning.
As the title suggests, this book aims to help a reader new to this field understand
the principles behind deep learning. The book is neither terribly theoretical (there are
no proofs) nor extremely practical (there is almost no code). The goal is to explain the
underlying ideas; after consuming this volume, the reader will be able to apply deep
learning to novel situations where there is no existing recipe for success.
Machine learning methods can coarsely be divided into three areas: supervised, unsu-
pervised, and reinforcement learning. At the time of writing, the cutting-edge methods
in all three areas rely on deep learning (figure 1.1). This introductory chapter describes
these three areas at a high level, and this taxonomy is also loosely reflected in the book’s
organization. Whether we like it or not, deep learning is poised to change our world,
and this change will not all be positive. Hence, this chapter also contains a brief primer
on AI ethics. We conclude with advice on how to make the most of this book.

1.1 Supervised learning

Supervised learning models define a mapping from input data to an output prediction.
In the following sections, we discuss the inputs, the outputs, the model itself, and what
is meant by “training” a model.

Draft: please send errata to [email protected].

 2 1 Introduction

Figure 1.1 Machine learning is an area

of artificial intelligence that fits math-
ematical models to observed data. It
can coarsely be divided into supervised
learning, unsupervised learning, and re-
inforcement learning. Deep neural net-
works contribute to each of these areas.

1.1.1 Regression and classification problems

Figure 1.2 depicts several regression and classification problems. In each case, there is a
meaningful real-world input (a sentence, a sound file, an image, etc.), and this is encoded
as a vector of numbers. This vector forms the model input. The model maps the input to
an output vector which is then “translated” back to a meaningful real-world prediction.
For now, we focus on the inputs and outputs and treat the model as a black box that
ingests a vector of numbers and returns another vector of numbers.
The model in figure 1.2a predicts the price of a house based on input characteristics
such as the square footage and the number of bedrooms. This is a regression problem
because the model returns a continuous number (rather than a category assignment).
In contrast, the model in figure 1.2b takes the chemical structure of a molecule as an
input and predicts both the freezing and boiling points. This is a multivariate regression
problem since it predicts more than one number.
The model in figure 1.2c receives a text string containing a restaurant review as input
and predicts whether the review is positive or negative. This is a binary classification
problem because the model attempts to assign the input to one of two categories. The
output vector contains the probabilities that the input belongs to each category. Fig-
ures 1.2d and 1.2e depict multiclass classification problems. Here, the model assigns the
input to one of N > 2 categories. In the first case, the input is an audio file, and the
model predicts which genre of music it contains. In the second case, the input is an
image, and the model predicts which object it contains. In each case, the model returns
a vector of size N that contains the probabilities of the N categories.

1.1.2 Inputs

The input data in figure 1.2 varies widely. In the house pricing example, the input is a
fixed-length vector containing values that characterize the property. This is an example
of tabular data because it has no internal structure; if we change the order of the inputs
and build a new model, then we expect the model prediction to remain the same.
Conversely, the input in the restaurant review example is a body of text. This may
be of variable length depending on the number of words in the review, and here input

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
1.1 Supervised learning 3

Figure 1.2 Regression and classification problems. a) This regression model takes
a vector of numbers that characterize a property and predicts its price. b) This
multivariate regression model takes the structure of a chemical molecule and
predicts its freezing and boiling points. c) This binary classification model takes a
restaurant review and classifies it as either positive or negative. d) This multiclass
classification problem assigns a snippet of audio to one of N genres. e) A second
multiclass classification problem in which the model classifies an image according
to which of N possible objects it might contain.

Draft: please send errata to [email protected].

 4 1 Introduction

Figure 1.3 Machine learning model. The model represents a family of relationships
that relate the input (age of child) to the output (height of child). The particular
relationship is chosen using training data, which consists of input/output pairs
(orange points). When we train the model, we search through the possible re-
lationships for one that describes the data well. Here, the trained model is the
cyan curve and can be used to compute the height for any age.

order is important; my wife ate the chicken is not the same as the chicken ate my wife.
The text must be encoded into numerical form before passing it to the model. Here, we
use a fixed vocabulary of size 10,000 and simply concatenate the word indices.
For the music classification example, the input vector might be of fixed size (perhaps
a 10-second clip) but is very high-dimensional. Digital audio is usually sampled at 44.1
kHz and represented by 16-bit integers, so a ten-second clip consists of 441, 000 integers.
Clearly, supervised learning models will have to be able to process sizeable inputs. The
input in the image classification example (which consists of the concatenated RGB values
at every pixel) is also enormous. Moreover, its structure is naturally two-dimensional;
two pixels above and below one another are closely related, even if they are not adjacent
in the input vector.
Finally, consider the input for the model that predicts the freezing and boiling points
of the molecule. A molecule may contain varying numbers of atoms that can be connected
in different ways. In this case, the model must ingest both the geometric structure of
the molecule and the constituent atoms to the model.

1.1.3 Machine learning models

Until now, we have treated the machine learning model as a black box that takes an input
vector and returns an output vector. But what exactly is in this black box? Consider a
model to predict the height of a child from their age (figure 1.3). The machine learning

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 1.1 Supervised learning 5

model is a mathematical equation that describes how the average height varies as a
function of age (cyan curve in figure 1.3). When we run the age through this equation,
it returns the height. For example, if the age is 10 years, then we predict that the height
will be 139 cm.
More precisely, the model represents a family of equations mapping the input to
the output (i.e., a family of different cyan curves). The particular equation (curve) is
chosen using training data (examples of input/output pairs). In figure 1.3, these pairs
are represented by the orange points, and we can see that the model (cyan line) describes
these data reasonably. When we talk about training or fitting a model, we mean that we
search through the family of possible equations (possible cyan curves) relating input to
output to find the one that describes the training data most accurately.
It follows that the models in figure 1.2 require labeled input/output pairs for training.
For example, the music classification model would require a large number of audio clips
where a human expert had identified the genre of each. These input/output pairs take
the role of a teacher or supervisor for the training process, and this gives rise to the term
supervised learning.

1.1.4 Deep neural networks

This book concerns deep neural networks, which are a particularly useful type of machine
learning model. They are equations that can represent an extremely broad family of
relationships between input and output, and where it is particularly easy to search
through this family to find the relationship that describes the training data.
Deep neural networks can process inputs that are very large, of variable length,
and contain various kinds of internal structures. They can output single real numbers
(regression), multiple numbers (multivariate regression), or probabilities over two or more
classes (binary and multiclass classification, respectively). As we shall see in the next
section, their outputs may also be very large, of variable length, and contain internal
structure. It is probably hard to imagine equations with these properties, and the reader
should endeavor to suspend disbelief for now.

1.1.5 Structured outputs

Figure 1.4a depicts a multivariate binary classification model for semantic segmentation.
Here, every pixel of an input image is assigned a binary label that indicates whether it
belongs to a cow or the background. Figure 1.4b shows a multivariate regression model
where the input is an image of a street scene and the output is the depth at each pixel.
In both cases, the output is high-dimensional and structured. However, this structure is
closely tied to the input, and this can be exploited; if a pixel is labeled as “cow,” then a
neighbor with a similar RGB value probably has the same label.
Figures 1.4c–e depict three models where the output has a complex structure that is
not so closely tied to the input. Figure 1.4c shows a model where the input is an audio
file and the output is the transcribed words from that file. Figure 1.4d is a translation

Draft: please send errata to [email protected].

6 1 Introduction

Figure 1.4 Supervised learning tasks with structured outputs. a) This semantic
segmentation model maps an RGB image to a binary image indicating whether
each pixel belongs to the background or a cow (adapted from Noh et al., 2015).
b) This monocular depth estimation model maps an RGB image to an output
image where each pixel represents the depth (adapted from Cordts et al., 2016).
c) This audio transcription model maps an audio sample to a transcription of
the spoken words in the audio. d) This translation model maps an English text
string to its French translation. e) This image synthesis model maps a caption to
an image (example from https://openai.com/dall-e-2/). In each case, the output
has a complex internal structure or grammar. In some cases, many outputs are
compatible with the input.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 1.2 Unsupervised learning 7

model in which the input is a body of text in English, and the output contains the French
translation. Figure 1.4e depicts a very challenging task in which the input is descriptive
text, and the model must produce an image that matches this description.
In principle, the latter three tasks can be tackled in the standard supervised learning
framework, but they are more difficult for two reasons. First, the output may genuinely
be ambiguous; there are multiple valid translations from an English sentence to a French
one and multiple images that are compatible with any caption. Second, the output
contains considerable structure; not all strings of words make valid English and French
sentences, and not all collections of RGB values make plausible images. In addition to
learning the mapping, we also have to respect the “grammar” of the output.
Fortunately, this “grammar” can be learned without the need for output labels. For
example, we can learn how to form valid English sentences by learning the statistics of a
large corpus of text data. This provides a connection with the next section of the book,
which considers unsupervised learning models.

1.2 Unsupervised learning

Constructing a model from input data without corresponding output labels is termed
unsupervised learning; the absence of output labels means there can be no “supervision.”
Rather than learning a mapping from input to output, the goal is to describe or under-
stand the structure of the data. As was the case for supervised learning, the data may
have very different characteristics; it may be discrete or continuous, low-dimensional or
high-dimensional, and of constant or variable length.

1.2.1 Generative models

This book focuses on generative unsupervised models, which learn to synthesize new
data examples that are statistically indistinguishable from the training data. Some
generative models explicitly describe the probability distribution over the input data and
here new examples are generated by sampling from this distribution. Others merely learn
a mechanism to generate new examples without explicitly describing their distribution.
State-of-the-art generative models can synthesize examples that are extremely plau-
sible but distinct from the training examples. They have been particularly successful
at generating images (figure 1.5) and text (figure 1.6). They can also synthesize data
under the constraint that some outputs are predetermined (termed conditional genera-
tion). Examples include image inpainting (figure 1.7) and text completion (figure 1.8).
Indeed, modern generative models for text are so powerful that they can appear intel-
ligent. Given a body of text followed by a question, the model can often “fill in” the
missing answer by generating the most likely completion of the document. However, in
reality, the model only knows about the statistics of language and does not understand
the significance of its answers.

Draft: please send errata to [email protected].

8 1 Introduction

Figure 1.5 Generative models for images. Left: two images were generated from
a model trained on pictures of cats. These are not real cats, but samples from a
probability model. Right: two images generated from a model trained on images
of buildings. Adapted from Karras et al. (2020b).

The moon had risen by the time I reached the edge of the forest, and the light that filtered through the
trees was silver and cold. I shivered, though I was not cold, and quickened my pace. I had never been
so far from the village before, and I was not sure what to expect. I had been walking for hours, and I
was tired and hungry. I had left in such a hurry that I had not thought to pack any food, and I had
not thought to bring a weapon. I was unarmed and alone in a strange place, and I did not know what
I was doing.

I had been walking for so long that I had lost all sense of time, and I had no idea how far I had come.
I only knew that I had to keep going. I had to find her. I was getting close. I could feel it. She was
nearby, and she was in trouble. I had to find her and help her, before it was too late.

Figure 1.6 Short story synthesized from a generative model of text data. The
model describes a probability distribution that assigns a probability to every
output string. Sampling from the model creates strings that follow the statistics
of the training data (here, short stories) but have never been seen before.

Figure 1.7 Inpainting. In the original image (left), the boy is obscured by metal
cables. These undesirable regions (center) are removed and the generative model
synthesizes a new image (right) under the constraint that the remaining pixels
must stay the same. Adapted from Saharia et al. (2022a).

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 1.2 Unsupervised learning 9

I was a little nervous before my first lecture at the University of Bath. It seemed like there were
hundreds of students and they looked intimidating. I stepped up to the lectern and was about to speak
when something bizarre happened.

Suddenly, the room was filled with a deafening noise, like a giant roar. It was so loud that I
couldn’t hear anything else and I had to cover my ears. I could see the students looking around, con-
fused and frightened. Then, as quickly as it had started, the noise stopped and the room was silent again.

I stood there for a few moments, trying to make sense of what had just happened. Then I realized that
the students were all staring at me, waiting for me to say something. I tried to think of something witty
or clever to say, but my mind was blank. So I just said, “Well, that was strange,’ and then I started my
lecture.

Figure 1.8 Conditional text synthesis. Given an initial body of text (in black),
generative models of text can continue the string plausibly by synthesizing the
“missing” remaining part of the string. Generated by GPT3 (Brown et al., 2020).

Figure 1.9 Variation of the human face. The human face contains roughly 42
muscles, so it’s possible to describe most of the variation in images of the same
person in the same lighting with just 42 numbers. In general, datasets of images,
music, and text can be described by a relatively small number of underlying
variables although it is typically more difficult to tie these to particular physical
mechanisms. Images from Dynamic FACES database (Holland et al., 2019).

1.2.2 Latent variables

Some (but not all) generative models exploit the observation that data can be lower
dimensional than the raw number of observed variables suggests. For example, the num-
ber of valid and meaningful English sentences is considerably smaller than the number
of strings created by drawing words at random. Similarly, real-world images are a tiny
subset of the images that can be created by drawing random RGB values for every pixel.
This is because images are generated by physical processes (see figure 1.9).
This leads to the idea that we can describe each data example using a smaller number
of underlying latent variables. Here, the role of deep learning is to describe the mapping
between these latent variables and the data. The latent variables typically have a simple

Draft: please send errata to [email protected].

10 1 Introduction

Figure 1.10 Latent variables. Many generative models use a deep learning model
to describe the relationship between a low-dimensional “latent” variable and the
observed high-dimensional data. The latent variables have a simple probability
distribution by design. Hence, new examples can be generated by sampling from
the simple distribution over the latent variables and then using the deep learning
model to map the sample to the observed data space.

Figure 1.11 Image interpolation. In each row the left and right images are real
and the three images in between represent a sequence of interpolations created
by a generative model. The generative models that underpin these interpolations
have learned that all images can be created by a set of underlying latent variables.
By finding these variables for the two real images, interpolating their values, and
then using these intermediate variables to create new images, we can generate
intermediate results that are both visually plausible and mix the characteristics
of the two original images. Top row adapted from Sauer et al. (2022). Bottom
row adapted from Ramesh et al. (2022).

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 1.3 Reinforcement learning 11

Figure 1.12 Multiple images generated from the caption “A teddy bear on a
skateboard in Times Square.” Generated by DALL·E-2 (Ramesh et al., 2022).

probability distribution by design. By sampling from this distribution and passing the
result through the deep learning model, we can create new samples (figure 1.10).
These models lead to new methods for manipulating real data. For example, consider
finding the latent variables that underpin two real examples. We can interpolate between
these examples by interpolating between their latent representations and mapping the
intermediate positions back into the data space (figure 1.11).

1.2.3 Connecting supervised and unsupervised learning

Generative models with latent variables can also benefit supervised learning models
where the outputs have structure (figure 1.4). For example, consider learning to predict
the images corresponding to a caption. Rather than directly map the text input to an
image, we can learn a relation between latent variables that explain the text and the
latent variables that explain the image.
This has three advantages. First, we may need fewer text/image pairs to learn this
mapping now that the inputs and outputs are lower dimensional. Second, we are more
likely to generate a plausible-looking image; any sensible values of the latent variables
should produce something that looks like a plausible example. Third, if we introduce
randomness to either the mapping between the two sets of latent variables or the mapping
from the latent variables to the image, then we can generate multiple images that are all
described well by the caption (figure 1.12).

1.3 Reinforcement learning

The final area of machine learning is reinforcement learning. This paradigm introduces
the idea of an agent which lives in a world and can perform certain actions at each time
step. The actions change the state of the system but not necessarily in a deterministic
way. Taking an action can also produce rewards, and the goal of reinforcement learning

Draft: please send errata to [email protected].

 12 1 Introduction

is for the agent to learn to choose actions that lead to high rewards on average.
One complication is that the reward may occur some time after the action is taken,
so associating a reward with an action is not straightforward. This is known as the
temporal credit assignment problem. As the agent learns, it must trade off exploration
and exploitation of what it already knows; perhaps the agent has already learned how to
receive modest rewards; should it follow this strategy (exploit what it knows), or should
it try different actions to see if it can improve (explore other opportunities)?

1.3.1 Two examples

Consider teaching a humanoid robot to locomote. The robot can perform a limited
number of actions at a given time (moving various joints), and these change the state of
the world (its pose). We might reward the robot for reaching checkpoints in an obstacle
course. To reach each checkpoint, it must perform many actions, and it’s unclear which
ones contributed to the reward when it is received and which were irrelevant. This is an
example of the temporal credit assignment problem.
A second example is learning to play chess. Again, the agent has a set of valid actions
(chess moves) at any given time. However, these actions change the state of the system
in a non-deterministic way; for any choice of action, the opposing player might respond
with many different moves. Here, we might set up a reward structure based on capturing
pieces or just have a single reward at the end of the game for winning. In the latter case,
the temporal credit assignment problem is extreme; the system must learn which of the
many moves it made were instrumental to success or failure.
The exploration-exploitation trade-off is also apparent in these two examples. The
robot may have discovered that it can make progress by lying on its side and pushing
with one leg. This strategy will move the robot and yields rewards, but much more slowly
than the optimal solution: to balance on its legs and walk. So, it faces a choice between
exploiting what it already knows (how to slide along the floor awkwardly) and exploring
the space of actions (which might result in much faster locomotion). Similarly, in the
chess example, the agent may learn a reasonable sequence of opening moves. Should it
exploit this knowledge or explore different opening sequences?
It is perhaps not obvious how deep learning fits into the reinforcement learning frame-
work. There are several possible approaches, but one technique is to use deep networks
to build a mapping from the observed world state to an action. This is known as a
policy network. In the robot example, the policy network would learn a mapping from
its sensor measurements to joint movements. In the chess example, the network would
learn a mapping from the current state of the board to the choice of move (figure 1.13).

1.4 Ethics
It would be irresponsible to write this book without discussing the ethical implications
of artificial intelligence. This potent technology will change the world to at least the

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
1.4 Ethics 13

Figure 1.13 Policy networks for reinforcement learning. One way to incorporate
deep neural networks into reinforcement learning is to use them to define a map-
ping from the state (here position on chessboard) to the actions (possible moves).
This mapping is known as a policy.

same extent as electricity, the internal combustion engine, the transistor, or the internet.
The potential benefits in healthcare, design, entertainment, transport, education, and
almost every area of commerce are enormous. However, scientists and engineers are often
unrealistically optimistic about the outcomes of their work, and the potential for harm
is just as great. The following paragraphs highlight five concerns.

Bias and fairness: If we train a system to predict salary levels for individuals based
on historical data, then this system will reproduce historical biases; for example, it will
probably predict that women should be paid less than men. Several such cases have
already become international news stories: an AI system for super-resolving face images
made non-white people look more white; a system for generating images produced only
pictures of men when asked to synthesize pictures of lawyers. Careless application of
algorithmic decision-making using AI has the potential to entrench or aggravate existing
biases. See Binns (2018) for further discussion.

Explainability: Deep learning systems make decisions, but we do not usually know
exactly how or based on what information. They may contain billions of parameters,
and there is no way we can understand how they work based on examination. This has
led to the sub-field of explainable AI. One moderately successful area is producing local
explanations; we cannot explain the entire system, but we can produce an interpretable
description of why a particular decision was made. However, it remains unknown whether
it is possible to build complex decision-making systems that are fully transparent to their
users or even their creators. See Grennan et al. (2022) for further information.

Weaponizing AI: All significant technologies have been applied directly or indirectly
toward war. Sadly, violent conflict seems to be an inevitable feature of human behavior.
AI is arguably the most powerful technology ever built and will doubtless be deployed
extensively in a military context. Indeed, this is already happening (Heikkilä, 2022).

Draft: please send errata to [email protected].

14 1 Introduction

Concentrating power: It is not from a benevolent interest in improving the lot of the
human race that the world’s most powerful companies are investing heavily in artifi-
cial intelligence. They know that these technologies will allow them to reap enormous
profits. Like any advanced technology, deep learning is likely to concentrate power in
the hands of the few organizations that control it. Automating jobs that are currently
done by humans will change the economic environment and disproportionately affect the
livelihoods of lower-paid workers with fewer skills. Optimists argue similar disruptions
happened during the industrial revolution and resulted in shorter working hours. The
truth is that we simply do not know what effects the large-scale adoption of AI will have
on society (see David, 2015).
Existential risk: The major existential risks to the human race all result from tech-
nology. Climate change has been driven by industrialization. Nuclear weapons derive
from the study of physics. Pandemics are more probable and spread faster because in-
novations in transport, agriculture, and construction have allowed a larger, denser, and
more interconnected population. Artificial intelligence brings new existential risks. We
should be very cautious about building systems that are more capable and extensible
than human beings. In the most optimistic case, it will put vast power in the hands
of the owners. In the most pessimistic case, we will be unable to control it or even
understand its motives (see Tegmark, 2018).

This list is far from exhaustive. AI could also enable surveillance, disinformation,
violations of privacy, fraud, and manipulation of financial markets, and the energy re-
quired to train AI systems contributes to climate change. Moreover, these concerns are
not speculative; there are already many examples of ethically dubious applications of
AI (consult Dao, 2021, for a partial list). In addition, the recent history of the inter-
net has shown how new technology can cause harm in unexpected ways. The online
community of the eighties and early nineties could hardly have predicted the prolifera-
tion of fake news, spam, online harassment, fraud, cyberbullying, incel culture, political
manipulation, doxxing, online radicalization, and revenge porn.
Everyone studying or researching (or writing books about) AI should contemplate
to what degree scientists are accountable for the uses of their technology. We should
consider that capitalism primarily drives the development of AI and that legal advances
and deployment for social good are likely to lag significantly behind. We should reflect
on whether it’s possible, as scientists and engineers, to control progress in this field and
to reduce the potential for harm. We should consider what kind of organizations we
are prepared to work for. How serious are they in their commitment to reducing the
potential harms of AI? Are they simply “ethics-washing” to reduce reputational risk, or
do they actually implement mechanisms to halt ethically suspect projects?
All readers are encouraged to investigate these issues further. The online course
at https://ethics-of-ai.mooc.fi/ is a useful introductory resource. If you are a professor
teaching from this book, you are encouraged to raise these issues with your students. If
you are a student taking a course where this is not done, then lobby your professor to
make this happen. If you are deploying or researching AI in a corporate environment,
you are encouraged to scrutinize your employer’s values and to help change them (or
leave) if they are wanting.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 1.5 Structure of book 15

1.5 Structure of book

The structure of the book follows the structure of this introduction. Chapters 2–9 walk
through the supervised learning pipeline. We describe shallow and deep neural networks
and discuss how to train them and measure and improve their performance. Chap-
ters 10–13 describe common architectural variations of deep neural networks, including
convolutional networks, residual connections, and transformers. These architectures are
used across supervised, unsupervised, and reinforcement learning.
Chapters 14–18 tackle unsupervised learning using deep neural networks. We devote
a chapter each to four modern deep generative models: generative adversarial networks,
variational autoencoders, normalizing flows, and diffusion models. Chapter 19 is a brief
introduction to deep reinforcement learning. This is a topic that easily justifies its own
book, so the treatment is necessarily superficial. However, this treatment is intended to
be a good starting point for readers unfamiliar with this area.
Despite the title of this book, some aspects of deep learning remain poorly under-
stood. Chapter 20 poses some fundamental questions. Why are deep networks so easy
to train? Why do they generalize so well? Why do they need so many parameters? Do
they need to be deep? Along the way, we explore unexpected phenomena such as the
structure of the loss function, double descent, grokking, and lottery tickets. The book
concludes with chapter 21, which discusses ethics and deep learning.

1.6 Other books

This book is self-contained but is limited to coverage of deep learning. It is intended to

be the spiritual successor to Deep Learning (Goodfellow et al., 2016) which is a fantastic
resource but does not cover recent advances. For a broader look at machine learning, the
most up-to-date and encyclopedic resource is Probabilistic Machine Learning (Murphy,
2022, 2023). However, Pattern Recognition and Machine Learning (Bishop, 2006) is still
an excellent and relevant book.
If you enjoy this book, then my previous volume, Computer Vision: Models, Learning,
and Inference (Prince, 2012), is still worth reading. Some parts have dated badly, but it
contains a thorough introduction to probability, including Bayesian methods, and good
introductory coverage of latent variable models, geometry for computer vision, Gaussian
processes, and graphical models. It uses identical notation to this book and can be found
online. A detailed treatment of graphical models can be found in Probabilistic Graphical
Models: Principles and Techniques (Koller & Friedman, 2009), and Gaussian processes
are covered by Gaussian Processes for Machine Learning (Williams & Rasmussen, 2006).
For background mathematics, consult Mathematics for Machine Learning (Deisen-
roth et al., 2020). For a more coding-oriented approach, consult Dive into Deep Learning
(Zhang et al., 2023). The best overview for computer vision is Szeliski (2022), and there
is also the impending book Foundations of Computer Vision (Torralba et al., 2024).
A good starting point to learn about graph neural networks is Graph Representation
Learning (Hamilton, 2020). The definitive work on reinforcement learning is Reinforce-

Draft: please send errata to [email protected].

 16 1 Introduction

ment Learning: An Introduction (Sutton & Barto, 2018). A good initial resource is
Foundations of Deep Reinforcement Learning (Graesser & Keng, 2019).

1.7 How to read this book

Most remaining chapters in this book contain a main body of text, a notes section, and
a set of problems. The main body of the text is intended to be self-contained and can be
read without recourse to the other parts of the chapter. As much as possible, background
mathematics is incorporated into the main body of the text. However, for larger topics
that would be a distraction to the main thread of the argument, the background material
is appendicized, and a reference is provided in the margin. Most notation in this book is
Appendix A
Notation standard. However, some conventions are less widely used, and the reader is encouraged
to consult appendix A before proceeding.
The main body of text includes many novel illustrations and visualizations of deep
learning models and results. I’ve worked hard to provide new explanations of existing
ideas rather than merely curate the work of others. Deep learning is a new field, and
sometimes phenomena are poorly understood. I try to make it clear where this is the
case and when my explanations should be treated with caution.
References are included in the main body of the chapter only where results are de-
picted. Instead, they can be found in the notes section at the end of the chapter. I do
not generally respect historical precedent in the main text; if an ancestor of a current
technique is no longer useful, then I will not mention it. However, the historical develop-
ment of the field is described in the notes section, and hopefully, credit is fairly assigned.
The notes are organized into paragraphs and provide pointers for further reading. They
should help the reader orient themselves within the sub-area and understand how it re-
lates to other parts of machine learning. The notes are less self-contained than the main
text. Depending on your level of background knowledge and interest, you may find these
sections more or less useful.
Each chapter has a number of associated problems. They are referenced in the margin
of the main text at the point that they should be attempted. As George Pólya noted,
“Mathematics, you see, is not a spectator sport.” He was correct, and I highly recommend
that you attempt the problems as you go. In some cases, they provide insights that will
help you understand the main text. Problems for which the answers are provided on the
associated website are indicated with an asterisk. Additionally, Python notebooks that
will help you understand the ideas in this book are also available via the website, and
these are also referenced in the margins of the text. Indeed, if you are feeling rusty, it
Notebook 1.1
Background might be worth working through the notebook on background mathematics right now.
mathematics Unfortunately, the pace of research in AI makes it inevitable that this book will be a
constant work in progress. If there are parts you find hard to understand, notable omis-
sions, or sections that seem extraneous, please get in touch via the associated website.
Together, we can make the next edition better.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 Chapter 2

Supervised learning

A supervised learning model defines a mapping from one or more inputs to one or more
outputs. For example, the input might be the age and mileage of a secondhand Toyota
Prius, and the output might be the estimated value of the car in dollars.
The model is just a mathematical equation; when the inputs are passed through this
equation, it computes the output, and this is termed inference. The model equation also
contains parameters. Different parameter values change the outcome of the computa-
tion; the model equation describes a family of possible relationships between inputs and
outputs, and the parameters specify the particular relationship.
When we train or learn a model, we find parameters that describe the true relationship
between inputs and outputs. A learning algorithm takes a training set of input/output
pairs and manipulates the parameters until the inputs predict their corresponding out-
puts as closely as possible. If the model works well for these training pairs, then we hope
it will make good predictions for new inputs where the true output is unknown.
The goal of this chapter is to expand on these ideas. First, we describe this framework
more formally and introduce some notation. Then we work through a simple example
in which we use a straight line to describe the relationship between input and output.
This linear model is both familiar and easy to visualize, but nevertheless illustrates all
the main ideas of supervised learning.

2.1 Supervised learning overview

In supervised learning, we aim to build a model that takes an input x and outputs a
prediction y. For simplicity, we assume that both the input x and output y are vectors
of a predetermined and fixed size and that the elements of each vector are always ordered
in the same way; in the Prius example above, the input x would always contain the age
of the car and then the mileage, in that order. This is termed structured or tabular data.
To make the prediction, we need a model f[•] that takes input x and returns y, so:

y = f[x]. (2.1)

Draft: please send errata to [email protected].

 18 2 Supervised learning

When we compute the prediction y from the input x, we call this inference.
The model is just a mathematical equation with a fixed form. It represents a family
of different relations between the input and the output. The model also contains param-
eters ϕ. The choice of parameters determines the particular relation between input and
output, so we should really write:

y = f[x, ϕ]. (2.2)

When we talk about learning or training a model, we mean that we attempt to find
parameters ϕ that make sensible output predictions from the input. We learn these
parameters using a training dataset of I pairs of input and output examples {xi , yi }. We
aim to select parameters that map each training input to its associated output as closely
as possible. We quantify the degree of mismatch in this mapping with the loss L. This
is a scalar value that summarizes how poorly the model predicts the training outputs
from their corresponding inputs for parameters ϕ.
We can treat the loss as a function L[ϕ] of these parameters. When we train the
model, we are seeking parameters ϕ̂ that minimize this loss function:1
h i
ϕ̂ = argmin L [ϕ] . (2.3)
ϕ

If the loss is small after this minimization, we have found model parameters that accu-
rately predict the training outputs yi from the training inputs xi .
After training a model, we must now assess its performance; we run the model on
separate test data to see how well it generalizes to examples that it didn’t observe during
training. If the performance is adequate, then we are ready to deploy the model.

2.2 Linear regression example

Let’s now make these ideas concrete with a simple example. We consider a model y =
f[x, ϕ] that predicts a single output y from a single input x. Then we develop a loss
function, and finally, we discuss model training.

2.2.1 1D linear regression model

A 1D linear regression model describes the relationship between input x and output y
as a straight line:

y = f[x, ϕ]
= ϕ0 + ϕ1 x. (2.4)
1 More properly, the loss function also depends on the training data {x , y }, so we should
i i
write L [{xi , yi }, ϕ], but this is rather cumbersome.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 2.2 Linear regression example 19

Figure 2.1 Linear regression model. For

a given choice of parameters ϕ =
[ϕ0 , ϕ1 ]T , the model makes a predic-
tion for the output (y-axis) based on
the input (x-axis). Different choices
for the y-intercept ϕ0 and the slope ϕ1
change these predictions (cyan, orange,
and gray lines). The linear regression
model (equation 2.4) defines a family of
input/output relations (lines) and the
parameters determine the member of the
family (the particular line).

This model has two parameters ϕ = [ϕ0 , ϕ1 ]T , where ϕ0 is the y-intercept of the line
and ϕ1 is the slope. Different choices for the y-intercept and slope result in different
relations between input and output (figure 2.1). Hence, equation 2.4 defines a fam-
ily of possible input-output relations (all possible lines), and the choice of parameters
determines the member of this family (the particular line).

2.2.2 Loss

For this model, the training dataset (figure 2.2a) consists of I input/output pairs {xi , yi }.
Figures 2.2b–d show three lines defined by three sets of parameters. The green line
in figure 2.2d describes the data more accurately than the other two since it is much
closer to the data points. However, we need a principled approach for deciding which
parameters ϕ are better than others. To this end, we assign a numerical value to each
choice of parameters that quantifies the degree of mismatch between the model and the
data. We term this value the loss; a lower loss means a better fit.
The mismatch is captured by the deviation between the model predictions f[xi , ϕ]
(height of the line at xi ) and the ground truth outputs yi . These deviations are depicted
as orange dashed lines in figures 2.2b–d. We quantify the total mismatch, training error,
or loss as the sum of the squares of these deviations for all I training pairs:

X
I
2
L[ϕ] = (f[xi , ϕ] − yi )
i=1
X
I
2
= (ϕ0 + ϕ1 xi − yi ) . (2.5)
i=1

Since the best parameters minimize this expression, we call this a least-squares loss. The
squaring operation means that the direction of the deviation (i.e., whether the line is

Draft: please send errata to [email protected].

20 2 Supervised learning

Figure 2.2 Linear regression training data, model, and loss. a) The training data
(orange points) consist of I = 12 input/output pairs {xi , yi }. b–d) Each panel
shows the linear regression model with different parameters. Depending on the
choice of y-intercept and slope parameters ϕ = [ϕ0 , ϕ1 ]T , the model errors (orange
dashed lines) may be larger or smaller. The loss L is the sum of the squares of
these errors. The parameters that define the lines in panels (b) and (c) have large
losses L = 7.07 and L = 10.28, respectively because the models fit badly. The
loss L = 0.20 in panel (d) is smaller because the model fits well; in fact, this has
the smallest loss of all possible lines, so these are the optimal parameters.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
2.2 Linear regression example 21

Figure 2.3 Loss function for linear regression model with the dataset in figure 2.2a.
a) Each combination of parameters ϕ = [ϕ0 ,ϕ1 ]T has an associated loss. The re-
sulting loss function L[ϕ] can be visualized as a surface. The three circles repre-
sent the lines from figure 2.2b–d. b) The loss can also be visualized as a heatmap,
where brighter regions represent larger losses; here we are looking straight down
at the surface in (a) from above and gray ellipses represent isocontours. The best
fitting line (figure 2.2d) has the parameters with the smallest loss (green circle).

above or below the data) is unimportant. There are also theoretical reasons for this
choice which we return to in chapter 5.
The loss L is a function of the parameters ϕ; it will be larger when the model fit is
Notebook 2.1
poor (figure 2.2b,c) and smaller when it is good (figure 2.2d). Considered in this light, Supervised
we term L[ϕ] the loss function or cost function. The goal is to find the parameters ϕ̂ learning
that minimize this quantity:

h i
ϕ̂ = argmin L[ϕ]
ϕ
" I #
X 2
= argmin (f[xi , ϕ] − yi )
ϕ i=1
" I #
X 2
= argmin (ϕ0 + ϕ1 xi − yi ) . (2.6)
ϕ i=1

There are only two parameters (the y-intercept ϕ0 and slope ϕ1 ), so we can calculate Problems 2.1–2.2
the loss for every combination of values and visualize the loss function as a surface
(figure 2.3). The “best” parameters are at the minimum of this surface.

Draft: please send errata to [email protected].

 22 2 Supervised learning

2.2.3 Training

The process of finding parameters that minimize the loss is termed model fitting, training,
or learning. The basic method is to choose the initial parameters randomly and then
improve them by “walking down” the loss function until we reach the bottom (figure 2.4).
One way to do this is to measure the gradient of the surface at the current position and
take a step in the direction that is most steeply downhill. Then we repeat this process
until the gradient is flat and we can improve no further.2

2.2.4 Testing

Having trained the model, we want to know how it will perform in the real world. We
do this by computing the loss on a separate set of test data. The degree to which the
prediction accuracy generalizes to the test data depends in part on how representative
and complete the training data is. However, it also depends on how expressive the model
is. A simple model like a line might not be able to capture the true relationship between
input and output. This is known as underfitting. Conversely, a very expressive model
may describe statistical peculiarities of the training data that are atypical and lead to
unusual predictions. This is known as overfitting.

2.3 Summary

A supervised learning model is a function y = f[x, ϕ] that relates inputs x to outputs y.

The particular relationship is determined by parameters ϕ. To train the model, we
define a loss function L[ϕ] over a training dataset {xi , yi }. This quantifies the mismatch
between the model predictions f[xi , ϕ] and observed outputs yi as a function of the
parameters ϕ. Then we search for the parameters that minimize the loss. We evaluate
the model on a different set of test data to see how well it generalizes to new inputs.
Chapters 3–9 expand on these ideas. First, we tackle the model itself; 1D linear
regression has the obvious drawback that it can only describe the relationship between the
input and output as a straight line. Shallow neural networks (chapter 3) are only slightly
more complex than linear regression but describe a much larger family of input/output
relationships. Deep neural networks (chapter 4) are just as expressive but can describe
complex functions with fewer parameters and work better in practice.
Chapter 5 investigates loss functions for different tasks and reveals the theoretical
underpinnings of the least-squares loss. Chapters 6 and 7 discuss the training process.
Chapter 8 discusses how to measure model performance. Chapter 9 considers regular-
ization techniques, which aim to improve that performance.

2 This iterative approach is not actually necessary for the linear regression model. Here, it’s possible

to find closed-form expressions for the parameters. However, this gradient descent approach works for
more complex models where there is no closed-form solution and where there are too many parameters
to evaluate the loss for every combination of values.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
Notes 23

Figure 2.4 Linear regression training. The goal is to find the y-intercept and slope
parameters that correspond to the smallest loss. a) Iterative training algorithms
initialize the parameters randomly and then improve them by “walking downhill”
until no further improvement can be made. Here, we start at position 0 and move
a certain distance downhill (perpendicular to the contours) to position 1. Then
we re-calculate the downhill direction and move to position 2. Eventually, we
reach the minimum of the function (position 4). b) Each position 0–4 from panel
(a) corresponds to a different y-intercept and slope and so represents a different
line. As the loss decreases, the lines fit the data more closely.

Notes

Loss functions vs. cost functions: In much of machine learning and in this book, the terms
loss function and cost function are used interchangeably. However, more properly, a loss function
is the individual term associated with a data point (i.e., each of the squared terms on the right-
hand side of equation 2.5), and the cost function is the overall quantity that is minimized (i.e.,
the entire right-hand side of equation 2.5). A cost function can contain additional terms that
are not associated with individual data points (see section 9.1). More generally, an objective
function is any function that is to be maximized or minimized.

Generative vs. discriminative models: The models y = f[x, ϕ] in this chapter are discrim-
inative models. These make an output prediction y from real-world measurements x. Another
Problem 2.3
approach is to build a generative model x = g[y, ϕ], in which the real-world measurements x
are computed as a function of the output y.
The generative approach has the disadvantage that it doesn’t directly predict y. To perform
inference, we must invert the generative equation as y = g−1 [x, ϕ], and this may be difficult.
However, generative models have the advantage that we can build in prior knowledge about how
the data were created. For example, if we wanted to predict the 3D position and orientation y

Draft: please send errata to [email protected].

24 2 Supervised learning

of a car in an image x, then we could build knowledge about car shape, 3D geometry, and light
transport into the function x = g[y, ϕ].
This seems like a good idea, but in fact, discriminative models dominate modern machine
learning; the advantage gained from exploiting prior knowledge in generative models is usually
trumped by learning very flexible discriminative models with large amounts of training data.

Problems
Problem 2.1 To walk “downhill” on the loss function (equation 2.5), we measure its gradient with
respect to the parameters ϕ0 and ϕ1 . Calculate expressions for the slopes ∂L/∂ϕ0 and ∂L/∂ϕ1 .

Problem 2.2 Show that we can find the minimum of the loss function in closed form by setting
the expression for the derivatives from problem 2.1 to zero and solving for ϕ0 and ϕ1 . Note that
this works for linear regression but not for more complex models; this is why we use iterative
model fitting methods like gradient descent (figure 2.4).

Problem 2.3∗ Consider reformulating linear regression as a generative model, so we have x =

g[y, ϕ] = ϕ0 + ϕ1 y. What is the new loss function? Find an expression for the inverse func-
tion y = g−1 [x, ϕ] that we would use to perform inference. Will this model make the same
predictions as the discriminative version for a given training dataset {xi , yi }? One way to es-
tablish this is to write code that fits a line to three data points using both methods and see if
the result is the same.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 Chapter 3

Shallow neural networks

Chapter 2 introduced supervised learning using 1D linear regression. However, this model
can only describe the input/output relationship as a line. This chapter introduces shallow
neural networks. These describe piecewise linear functions and are expressive enough
to approximate arbitrarily complex relationships between multi-dimensional inputs and
outputs.

3.1 Neural network example

Shallow neural networks are functions y = f[x, ϕ] with parameters ϕ that map multivari-
ate inputs x to multivariate outputs y. We defer a full definition until section 3.4 and
introduce the main ideas using an example network f[x, ϕ] that maps a scalar input x to
a scalar output y and has ten parameters ϕ = {ϕ0 , ϕ1 , ϕ2 , ϕ3 , θ10 , θ11 , θ20 , θ21 , θ30 , θ31 }:

y = f[x, ϕ]
= ϕ0 + ϕ1 a[θ10 + θ11 x] + ϕ2 a[θ20 + θ21 x] + ϕ3 a[θ30 + θ31 x]. (3.1)
We can break down this calculation into three parts: first, we compute three linear
functions of the input data (θ10 + θ11 x, θ20 + θ21 x, and θ30 + θ31 x). Second, we pass the
three results through an activation function a[•]. Finally, we weight the three resulting
activations with ϕ1 , ϕ2 , and ϕ3 , sum them, and add an offset ϕ0 .
To complete the description, we must define the activation function a[•]. There are
many possibilities, but the most common choice is the rectified linear unit or ReLU:
(
0 z<0
a[z] = ReLU[z] = . (3.2)
z z≥0
This returns the input when it is positive and zero otherwise (figure 3.1).
It is probably not obvious which family of input/output relations is represented by
equation 3.1. Nonetheless, the ideas from the previous chapter are all applicable. Equa-
tion 3.1 represents a family of functions where the particular member of the family

Draft: please send errata to [email protected].

 26 3 Shallow neural networks

Figure 3.1 Rectified linear unit (ReLU).

This activation function returns zero if
the input is less than zero and returns
the input unchanged otherwise. In other
words, it clips negative values to zero.
Note that there are many other possi-
ble choices for the activation function
(see figure 3.13), but the ReLU is the
most commonly used and the easiest to
understand.

Figure 3.2 Family of functions defined by equation 3.1. a–c) Functions for three
different choices of the ten parameters ϕ. In each case, the input/output relation
is piecewise linear. However, the positions of the joints, the slopes of the linear
regions between them, and the overall height vary.

depends on the ten parameters in ϕ. If we know these parameters, we can perform

inference (predict y) by evaluating the equation for a given input x. Given a training
dataset {xi , yi }Ii=1 , we can define a least squares loss function L[ϕ] and use this to mea-
sure how effectively the model describes this dataset for any given parameter values ϕ.
To train the model, we search for the values ϕ̂ that minimize this loss.

3.1.1 Neural network intuition

In fact, equation 3.1 represents a family of continuous piecewise linear functions (fig-
ure 3.2) with up to four linear regions. We now break down equation 3.1 and show why
it describes this family. To make this easier to understand, we split the function into
two parts. First, we introduce the intermediate quantities:

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 3.1 Neural network example 27

h1 = a[θ10 + θ11 x]
h2 = a[θ20 + θ21 x]
h3 = a[θ30 + θ31 x], (3.3)

where we refer to h1 , h2 , and h3 as hidden units. Second, we compute the output by

combining these hidden units with a linear function:1

y = ϕ0 + ϕ1 h1 + ϕ2 h2 + ϕ3 h3 . (3.4)

Figure 3.3 shows the flow of computation that creates the function in figure 3.2a.
Each hidden unit contains a linear function θ•0 + θ•1 x of the input, and that line is
clipped by the ReLU function a[•] below zero. The positions where the three lines cross
zero become the three “joints” in the final output. The three clipped lines are then
weighted by ϕ1 , ϕ2 , and ϕ3 , respectively. Finally, the offset ϕ0 is added, which controls
the overall height of the final function.
Problems 3.1–3.8
Each linear region in figure 3.3j corresponds to a different activation pattern in the
hidden units. When a unit is clipped, we refer to it as inactive, and when it is not
clipped, we refer to it as active. For example, the shaded region receives contributions
from h1 and h3 (which are active) but not from h2 (which is inactive). The slope of
each linear region is determined by (i) the original slopes θ•1 of the active inputs for this
region and (ii) the weights ϕ• that were subsequently applied. For example, the slope in
the shaded region (see problem 3.3) is θ11 ϕ1 + θ31 ϕ3 , where the first term is the slope in
panel (g) and the second term is the slope in panel (i).
Each hidden unit contributes one “joint” to the function, so with three hidden units,
Notebook 3.1
there can be four linear regions. However, only three of the slopes of these regions are Shallow networks I
independent; the fourth is either zero (if all the hidden units are inactive in this region)
or is a sum of slopes from the other regions. Problem 3.9

3.1.2 Depicting neural networks

We have been discussing a neural network with one input, one output, and three hidden
units. We visualize this network in figure 3.4a. The input is on the left, the hidden units
are in the middle, and the output is on the right. Each connection represents one of the
ten parameters. To simplify this representation, we do not typically draw the intercept
parameters, so this network is usually depicted as in figure 3.4b.

1 For the purposes of this book, a linear function has the form z ′ = ϕ +
∑
0 i ϕi zi . Any other type of
function is nonlinear. For instance, the ReLU function (equation 3.2) and the example neural network
that contains it (equation 3.1) are both nonlinear. See notes at end of chapter for further clarification.

Draft: please send errata to [email protected].

28 3 Shallow neural networks

Figure 3.3 Computation for function in figure 3.2a. a–c) The input x is passed
through three linear functions, each with a different y-intercept θ•0 and slope θ•1 .
d–f) Each line is passed through the ReLU activation function, which clips neg-
ative values to zero. g–i) The three clipped lines are then weighted (scaled) by
ϕ1 , ϕ2 , and ϕ3 , respectively. j) Finally, the clipped and weighted functions are
summed, and an offset ϕ0 that controls the height is added. Each of the four
linear regions corresponds to a different activation pattern in the hidden units.
In the shaded region, h2 is inactive (clipped), but h1 and h3 are both active.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 3.2 Universal approximation theorem 29

Figure 3.4 Depicting neural networks. a) The input x is on the left, the hidden
units h1 , h2 , and h3 in the center, and the output y on the right. Computation
flows from left to right. The input is used to compute the hidden units, which are
combined to create the output. Each of the ten arrows represents a parameter
(intercepts in orange and slopes in black). Each parameter multiplies its source
and adds the result to its target. For example, we multiply the parameter ϕ1
by source h1 and add it to y. We introduce additional nodes containing ones
(orange circles) to incorporate the offsets into this scheme, so we multiply ϕ0 by
one (with no effect) and add it to y. ReLU functions are applied at the hidden
units. b) More typically, the intercepts, ReLU functions, and parameter names
are omitted; this simpler depiction represents the same network.

3.2 Universal approximation theorem

In the previous section, we introduced an example neural network with one input, one
output, ReLU activation functions, and three hidden units. Let’s now generalize this
slightly and consider the case with D hidden units where the dth hidden unit is:

hd = a[θd0 + θd1 x], (3.5)

and these are combined linearly to create the output:

X
D
y = ϕ0 + ϕd hd . (3.6)
d=1

The number of hidden units in a shallow network is a measure of the network capacity.
With ReLU activation functions, the output of a network with D hidden units has at
Problem 3.10
most D joints and so is a piecewise linear function with at most D + 1 linear regions. As
we add more hidden units, the model can approximate more complex functions.
Indeed, with enough capacity (hidden units), a shallow network can describe any
continuous 1D function defined on a compact subset of the real line to arbitrary precision.
To see this, consider that every time we add a hidden unit, we add another linear region to
the function. As these regions become more numerous, they represent smaller sections
of the function, which are increasingly well approximated by a line (figure 3.5). The
universal approximation theorem proves that for any continuous function, there exists a
shallow network that can approximate this function to any specified precision.

Draft: please send errata to [email protected].

 30 3 Shallow neural networks

Figure 3.5 Approximation of a 1D function (dashed line) by a piecewise linear

model. a–c) As the number of regions increases, the model becomes closer and
closer to the continuous function. A neural network with a scalar input creates
one extra linear region per hidden unit. The universal approximation theorem
proves that, with enough hidden units, there exists a shallow neural network that
can describe any given continuous function defined on a compact subset of RDi
to arbitrary precision.

3.3 Multivariate inputs and outputs

In the above example, the network has a single scalar input x and a single scalar output y.
However, the universal approximation theorem also holds for the more general case
where the network maps multivariate inputs x = [x1 , x2 , . . . , xDi ]T to multivariate output
predictions y = [y1 , y2 , . . . , yDo ]T . We first explore how to extend the model to predict
multivariate outputs. Then we consider multivariate inputs. Finally, in section 3.4, we
present a general definition of a shallow neural network.

3.3.1 Visualizing multivariate outputs

To extend the network to multivariate outputs y, we simply use a different linear function
of the hidden units for each output. So, a network with a scalar input x, four hidden
units h1 , h2 , h3 , and h4 , and a 2D multivariate output y = [y1 , y2 ]T would be defined as:

h1 = a[θ10 + θ11 x]
h2 = a[θ20 + θ21 x]
h3 = a[θ30 + θ31 x]
h4 = a[θ40 + θ41 x], (3.7)

and

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 3.3 Multivariate inputs and outputs 31

Figure 3.6 Network with one input, four hidden units, and two outputs. a)
Visualization of network structure. b) This network produces two piecewise linear
functions, y1 [x] and y2 [x]. The four “joints” of these functions (at vertical dotted
lines) are constrained to be in the same places since they share the same hidden
units, but the slopes and overall height may differ.

Figure 3.7 Visualization of neural net-

work with 2D multivariate input x =
[x1 , x2 ]T and scalar output y.

y1 = ϕ10 + ϕ11 h1 + ϕ12 h2 + ϕ13 h3 + ϕ14 h4

y2 = ϕ20 + ϕ21 h1 + ϕ22 h2 + ϕ23 h3 + ϕ24 h4 . (3.8)

The two outputs are two different linear functions of the hidden units.
As we saw in figure 3.3, the “joints” in the piecewise functions depend on where the
initial linear functions θ•0 + θ•1 x are clipped by the ReLU functions a[•] at the hidden
units. Since both outputs y1 and y2 are different linear functions of the same four hidden
Problem 3.11
units, the four “joints” in each must be in the same places. However, the slopes of the
linear regions and the overall vertical offset can differ (figure 3.6).

3.3.2 Visualizing multivariate inputs

To cope with multivariate inputs x, we extend the linear relations between the input
and the hidden units. So a network with two inputs x = [x1 , x2 ]T and a scalar output y
(figure 3.7) might have three hidden units defined by:

Draft: please send errata to [email protected].

32 3 Shallow neural networks

Figure 3.8 Processing in network with two inputs x = [x1 , x2 ]T , three hidden
units h1 , h2 , h3 , and one output y. a–c) The input to each hidden unit is a
linear function of the two inputs, which corresponds to an oriented plane. Bright-
ness indicates function output. For example, in panel (a), the brightness repre-
sents θ10 + θ11 x1 + θ12 x2 . Thin lines are contours. d–f) Each plane is clipped by
the ReLU activation function (cyan lines are equivalent to “joints” in figures 3.3d–
f). g-i) The clipped planes are then weighted, and j) summed together with an
offset that determines the overall height of the surface. The result is a continuous
surface made up of convex piecewise linear polygonal regions.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 3.4 Shallow neural networks: general case 33

h1 = a[θ10 + θ11 x1 + θ12 x2 ]

h2 = a[θ20 + θ21 x1 + θ22 x2 ]
h3 = a[θ30 + θ31 x1 + θ32 x2 ], (3.9)

where there is now one slope parameter for each input. The hidden units are combined
to form the output in the usual way:

y = ϕ0 + ϕ1 h1 + ϕ2 h2 + ϕ3 h3 . (3.10)

Figure 3.8 illustrates the processing of this network. Each hidden unit receives a linear
Problems 3.12–3.13
combination of the two inputs, which forms an oriented plane in the 3D input/output
space. The activation function clips the negative values of these planes to zero. The Notebook 3.2
clipped planes are then recombined in a second linear function (equation 3.10) to create Shallow networks II
a continuous piecewise linear surface consisting of convex polygonal regions (figure 3.8j).
Each region corresponds to a different activation pattern. For example, in the central Appendix B.1.2
Convex region
triangular region, the first and third hidden units are active, and the second is inactive.
When there are more than two inputs to the model, it becomes difficult to visualize.
However, the interpretation is similar. The output will be a continuous piecewise linear
function of the input, where the linear regions are now convex polytopes in the multi-
dimensional input space.
Note that as the input dimensions grow, the number of linear regions increases rapidly
(figure 3.9). To get a feeling for how rapidly, consider that each hidden unit defines a
hyperplane that delineates the part of space where this unit is active from the part
Notebook 3.3
where it is not (cyan lines in 3.8d–f). If we had the same number of hidden units as Shallow network
input dimensions Di , we could align each hyperplane with one of the coordinate axes regions
(figure 3.10). For two input dimensions, this would divide the space into four quadrants.
For three dimensions, this would create eight octants, and for Di dimensions, this would
create 2Di orthants. Shallow neural networks usually have more hidden units than input
dimensions, so they typically create more than 2Di linear regions.

3.4 Shallow neural networks: general case

We have described several example shallow networks to help develop intuition about how
they work. We now define a general equation for a shallow neural network y = f[x, ϕ]
that maps a multi-dimensional input x ∈ RDi to a multi-dimensional output y ∈ RDo
using h ∈ RD hidden units. Each hidden unit is computed as:
" #
X
Di
hd = a θd0 + θdi xi , (3.11)
i=1

and these are combined linearly to create the output:

Draft: please send errata to [email protected].

34 3 Shallow neural networks

Figure 3.9 Linear regions vs. hidden units. a) Maximum possible regions as a
function of the number of hidden units for five different input dimensions Di =
{1, 5, 10, 50, 100}. The number of regions increases rapidly in high dimensions;
with D = 500 units and input size Di = 100, there can be greater than 10107
regions (solid circle). b) The same data are plotted as a function of the number of
parameters. The solid circle represents the same model as in panel (a) with D =
500 hidden units. This network has 51, 001 parameters and would be considered
very small by modern standards.

Figure 3.10 Number of linear regions vs. input dimensions. a) With a single input
dimension, a model with one hidden unit creates one joint, which divides the axis
into two linear regions. b) With two input dimensions, a model with two hidden
units can divide the input space using two lines (here aligned with axes) to create
four regions. c) With three input dimensions, a model with three hidden units
can divide the input space using three planes (again aligned with axes) to create
eight regions. Continuing this argument, it follows that a model with Di input
dimensions and Di hidden units can divide the input space with Di hyperplanes
to create 2Di linear regions.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
 3.5 Terminology 35

Figure 3.11 Visualization of neural net-

work with three inputs and two out-
puts. This network has twenty param-
eters. There are fifteen slopes (indicated
by arrows) and five offsets (not shown).

X
D
yj = ϕj0 + ϕjd hd , (3.12)
d=1

where a[•] is a nonlinear activation function. The model has parameters ϕ = {θ•• , ϕ•• }.
Figure 3.11 shows an example with three inputs, three hidden units, and two outputs.
Problems 3.14–3.17
The activation function permits the model to describe nonlinear relations between
input and the output, and as such, it must be nonlinear itself; with no activation func-
tion, or a linear activation function, the overall mapping from input to output would
be restricted to be linear. Many different activation functions have been tried (see fig-
ure 3.13), but the most common choice is the ReLU (figure 3.1), which has the merit
Notebook 3.4
of being easily interpretable. With ReLU activations, the network divides the input Activation
space into convex polytopes defined by the intersections of hyperplanes computed by functions
the “joints” in the ReLU functions. Each convex polytope contains a different linear
function. The polytopes are the same for each output, but the linear functions they
contain can differ.

3.5 Terminology

We conclude this chapter by introducing some terminology. Regrettably, neural networks

have a lot of associated jargon. They are often referred to in terms of layers. The left of
figure 3.12 is the input layer, the center is the hidden layer, and to the right is the output
layer. We would say that the network in figure 3.12 has one hidden layer containing
four hidden units. The hidden units themselves are sometimes referred to as neurons.
When we pass data through the network, the values of the inputs to the hidden layer
(i.e., before the ReLU functions are applied) are termed pre-activations. The values at
the hidden layer (i.e., after the ReLU functions) are termed activations.
For historical reasons, any neural network with at least one hidden layer is also called
a multi-layer perceptron, or MLP for short. Networks with one hidden layer (as described
in this chapter) are sometimes referred to as shallow neural networks. Networks with
multiple hidden layers (as described in the next chapter) are referred to as deep neural
networks. Neural networks in which the connections form an acyclic graph (i.e., a graph
with no loops, as in all the examples in this chapter) are referred to as feed-forward
networks. If every element in one layer connects to every element in the next (as in
all the examples in this chapter), the network is fully connected. These connections

Draft: please send errata to [email protected].

 36 3 Shallow neural networks

Figure 3.12 Terminology. A shallow network consists of an input layer, a hidden

layer, and an output layer. Each layer is connected to the next by forward con-
nections (arrows). For this reason, these models are referred to as feed-forward
networks. When every variable in one layer connects to every variable in the
next, we call this a fully connected network. Each connection represents a slope
parameter in the underlying equation, and these parameters are termed weights.
The variables in the hidden layer are termed neurons or hidden units. The values
feeding into the hidden units are termed pre-activations, and the values at the
hidden units (i.e., after the ReLU function is applied) are termed activations.

represent slope parameters in the underlying equations and are referred to as network
weights. The offset parameters (not shown in figure 3.12) are called biases.

3.6 Summary

Shallow neural networks have one hidden layer. They (i) compute several linear functions
of the input, (ii) pass each result through an activation function, and then (iii) take a
linear combination of these activations to form the outputs. Shallow neural networks
make predictions y based on inputs x by dividing the input space into a continuous
surface of piecewise linear regions. With enough hidden units (neurons), shallow neural
networks can approximate any continuous function to arbitrary precision.
Chapter 4 discusses deep neural networks, which extend the models from this chapter
by adding more hidden layers. Chapters 5–7 describe how to train these models.

Notes

“Neural” networks: If the models in this chapter are just functions, why are they called
“neural networks”? The connection is, unfortunately, tenuous. Visualizations like figure 3.12
consist of nodes (inputs, hidden units, and outputs) that are densely connected to one another.
This bears a superficial similarity to neurons in the mammalian brain, which also have dense
connections. However, there is scant evidence that brain computation works in the same way
as neural networks, and it is unhelpful to think about biology going forward.

This work is subject to a Creative Commons CC-BY-NC-ND license. (C) MIT Press.
Random documents with unrelated
content Scribd suggests to you:
 Mert nem elég jó játékosnak, nem elég szerencsésnek lenni,
hanem az a feladat, kitalálni, hogy mikor, és kinél érvényesüljön a
tudomány és a szerencse? – számítani az indulatokkal, a
szenvedélyekkel, a temperamentumokkal, a nemzeti sajátságokkal, –
a külesemények befolyásával, a szerencsés szerelem, az elkeseredés,
megcsalatás, a nagy öröm, a heves indulat mind igen nagy tényező
a l’hombre-asztalnál.
A ki a l’hombrenak szentelte az életét, az épen oly nagy és
minden erőt igénybevevő feladatot vállalt magára, mint a ki azt tette
fel, hogy egész életén át a vámpolitikát fogja tanulmányozni, vagy a
jogcodificálásba merül bele. Azzal az apparátussal, a mely az embert
jó l’hombre-játékossá teszi, bátran miniszterré lehet akárki. Lesz is
akárhány.
De még mindez nem elég.
Még egy fődolog van hátra.
A «zóna».
Tudjuk, hogy a szeszélyes istenasszony a földgömböt gurigázza a
lába alatt. Ezen vannak a zónák. Az egyik zóna alatt teremnek csak a
garasok, a másik alatt a tallérok, aztán az aranyak, de a legfelső
alatt a százezrek. Ide bejutni, ebbe a zónába, ez a mesterség, ez a
polaris expeditio. Azt nagy jégtengerek veszik körül!
Mert mit ért Orpheusnak, hogy olyan jó muzsikus volt, mint
Paganini, ha csak a vadállatokat gyűjtötte össze publikumnak, a kik
nem fizetnek belépti díjat. Sőt még Plutó is csak aprópénzzel fizette
ki. Nem elég a nagy talentum, a terrenum a fődolog. A genienek
zóna kell.
Csakhogy ebbe a legfelső zónába nagyon nehéz eljutni.
Mivelhogy a l’hombre fenséges művészetének nemcsak olyan
emberek szentelik az életüket, a kik valaha miniszterré lehetésről
álmodoznak, hanem olyanok is, a kiknek egyenes életfeladatuk ebből
az egy tudományból megélni.
 Azért ezen zónának a lakói nagyon válogatók és kizárólagosak.
Mivelhogy az igazi gentlemant az utánzottól olyan nehéz mai nap
megkülönböztetni, mint az aranyat a similortól.
Az, hogy valaki tylburin jár, s szerecsen inast tart, nem bizonyít
semmit; az érdemrendek, a szalag a gomblyukban tréfadolog, még
az ajánlólevelek sem érnek semmit, azok mellett lehet valaki
világcsaló, kalandor, professionátus kártyás. Az ilyen professorokra
vigyázni kell, hogy valamikép a high life szentélyeibe be ne vehessék
magukat.
Jó szerencse, hogy e kizárólagos körök bennszülötteinek van
valami ösztönszerű tapintata, a mivel a jött-ment kalandort, a maguk
fajtája közül ki tudja ismerni, épen mint az omagua indiánok
kiismerik a közéjük lopózott cheeppewas indiánt – a szagáról. – Van
valami neme az impertinentiával párosult modestiának (furcsa
hybridum), a mibe bele kellett élni az embernek magát, hogy
autochtonnak lássék. A ki ezt otthon az apai kastélyban meg nem
tanulta, ha utánozni akarja, elárulja magát. Hiába nevezteti magát
az inasával grófnak, hiába udvarol a kis tánczosnőnek, hiába tart
versenyparipákat, hiába osztogat louisdorokat borravalónak, azok
odafenn megérzik rajta, hogy nem közéjük való. A kávéházban, a
turfon, a bettinghousban, ott szóba állnak vele, tartják a tételeit,
játszanak vele makaot, carambolt, ahhoz minden idegen
hozzáférhet, a nyilvános játéktermekben nincs rangkülönbség, senki
sem restelli, ha olyan pénzt nyert el, a mit valaki a közpénztárból
suvasztott el, vagy a párisi kloakák bérletéből kapart jelő. –
Gazember volt-e a játék előtt, öngyilkos lesz-e a játék után az
ismeretlen partner? senki sem kérdezi. Ha incorrectnek találta a
játékát, fölkel és ott hagyja, még jó éjszakát se kell hogy kivánjon
neki. Hanem, hogy valaki az igazi high lifeból azt mondja valakinek
az ismeretlenek közül: «uram, ha tud ön l’hombret játszani, lépjen
be ezzel a névjegyemmel a rue de Rivolii palotába», ehhez kell, hogy
megérezzék rajta az, a miről az omagua indiánok megismerik
egymást.
 Ez az elővigyázat annyival inkább parancsolva volt ezekben az
időkben, mert Páris a kerek világ minden kalandorainak gyűlhelye
volt ekkor, tele idegenekkel, a kik nemcsak Párisra, de egymásra
nézve is idegenek. A számüzetésből visszatóduló franczia
arisztokráczia maga is annyi nagyhangzású czímet hozott egyszerre
forgalomba, hogy az ember szinte szégyenlette magát, ha a neve
előtt nem volt valami gróf, vagy marquis, ellenben az igazi herczegek
sem átalltak minden lépten-nyomon olyan vállalatokba kezdeni, a
mik nagyon közel rokonok a szédelgéshez. Alchymia, perpetuum
mobile, repülő léggömb, bölcsek köve, jövendőmondás s más efféle
világbolondítás egyenesen a legfelsőbb aristocratia légkörében
nyerte származását, úgy hogy az igazi úrnak még a saját osztálya
iránt is nagyon óvakodónak kellett lenni.
Ezt a bűvkört törte keresztül Metell. Megtalálta a Behring-szorost
a legfelsőbb jégzónába.
Az, a mit a carambol-partienál tett, az az omaguának az illata a
maga őserdejében. Azt csak igazi vegyületlen kék vér teszi meg,
hogy egy egész tőkepénzt, a mi már a kalapjába be van seperve, s a
mit egész korrekt módon tett tulajdonává, minden segítsége nélkül a
vak szerencsének – nem utána járva, de felhivatva, hogy ezt
visszaöntse megint az asztalra, még pedig oly modorban, mely az
ellenfél büszkeségét meg nem sérti; ez egy olyan vonás, mely a
nemes ember alakját kiegészíti, s grand seigneur-ré üti.
Ez nem tartja azt a tele kalap aranyat elég egyenértéknek azért,
hogy aztán a másik perczben az egész társaság háttal forduljon felé
és azontúl minden ember elnézzen a feje fölött, a kivel
összetalálkozik. Ez tudatni akarja, hogy ő igazi úr!
És czélt ért vele. Meghivták a rue de Rivoli-i palotába s azontúl
otthon volt benne.
Itt volt az aristokrata körök zárt játékklubbja.
A Palais Royalban szoktak játszani mulatságból, a rue de
Rivoliban a játék volt a czél. Itt nem voltak se kaczér világszépségek,
se frissitőt körülhordó női apródok, se római canephorák, ide nem
volt másnak bejárása, csak férfinak, s nem míveltek mást, mint a
játékot, nagy pénzben.
Metell nem tünt fel különös szerencséje által, hol nyert, hol
vesztett; s azt tartották felőle, hogy igen szépen játszik.
Gyakran játszott magánál gyöngébb játékosokkal, s nem
mérgelődött rajta, ha azok megverték. Ilyenformán a rokonszenvek
kezdtek feléje hajolni. A kisebb erők csoportot képeztek a nagyobb
körül, a kik előharczosuknak kezdték tekinteni. – Volt ott egy orosz
herczeg, a nevét nem jegyezte fel a krónikánk, a ki impertinens
szerencsével játszott s nem is restelte, hogy érzik a præpotentiáját.
Ez addig tartott, míg Metell össze nem akadt vele, azontúl vége
volt a prestigenek. A magas klub egész érdekkel kisérte azt a tusát,
mely elvégre e két erős champion között kifejlődött. Remek tornák
folytak le a zöld asztalnál, a miknek a vége az lett, hogy az orosz
herczegnek nagyon rossz kedve volt.
Mi volt Metellnek a nyeresége? azt nem lehetett tudni, mert
ebben a klubban nem raktak készpénzt az asztalra. Egy névjegy
hátára irta fel mindenki az összeget, a mivel veszteségben maradt, s
azt másnap délig beváltatá. A veszteségét igazi gentleman nem
szokta elpanaszolni; arról pedig, hogy mennyit nyert, még a nem
gentleman sem örömest beszél. – Az orosz sokkal gazdagabb volt,
mintsem megszokott fényüző életmódján a kártyaveszteség valami
változtatást tett volna, – és épen úgy nem lehetett másfelől Metell
szokásain észrevenni, hogy kedvezett neki a szerencse.
Visszahuzódva élt, bár a kényelmet és jó izlést nem tagadta meg
magától. A hol kellett, adakozó és bőkezű is volt; résztvett a
mulatságokban, azt kereste a mi jó és drága, de a mi a legdrágább,
azt kikerülte, az asszonyt.
Pedig az a lélektani tapasztalás régóta meg van állapítva, hogy az
a négy hölgy (a kártyában) mindig az ötödik számára keres. Tiszta
hazugság az, hogy «a ki az egyikben szerencsés, az a másikban
szerencsétlen», – a ki a játékban szerencsés, akad szerencséje
annak a szerelemben is.
Metellnek nem volt ez a szenvedélye. Pedig ezek ikrek! Sok
elhihetetlen történik az életben. Azoknak a sorába tartozik az a
csodaeset, hogy egy fiatal, életteljes, keleti véralkatú dalia
felkerüljön (mondjuk, hogy) Babylonba; a hol a Mylitta-cultus
templomaiban áldozik a világ minden népe, azokat mind sorra járja,
s úgy jöjjön ki belőlük, mint József Potifárnétól, – annyival jobban
még, hogy a köpenyegét sem hagyja ott.
– Kőből vagy te? kérdezék tőle gyakran gentleman czimborái.
– Nem én. Csakhogy én még nem találtam asszonyt, a ki nekem
igazán megtetszett volna.
Ez is valami új! Egy férfi, a ki drágára tartja magát.
Futnak utána, kerítgetik, csábbal körülhálózzák, – de nem hagyja
magát elfogni.
Talán valami ábrándos szerelem tartja igézete alatt? Talán
hűséget esküdött valakinek s azt megtartja? – Vagy talán olyan
titokban tudja vinni a dolgát, hogy senki se jöhet rá?
Találgathatták azt Arra, hogy miért rakja félre a
szerencsejátékban nyert pénzt egy úri légkörben növekedett fiatal
gavallér, soha sem jött rá magától senki.
… És hátha egyszer csakugyan rá talál arra az asszonyra, a ki
igazán megnyeri a tetszését?
Megválik, mi lesz belőle?
 LADY ADAMINA.
A rivoli-utczai l’hombreclub, az csak a «hivatal» volt: bizonyos
órákban, beavatott habituék számára nyitva; ott nem volt
hölgytársaság, ott szódavizen kívül egyebet nem ittak. Ez a komoly
hivatás palotája volt, épen mint a börze. A l’hombre és a börzejáték
között külömben is sok hasonlatosság van. A börze ebben az időben
szintén a Palais Royalban volt, egyenesen a tatár táborba lehetett
belőle kilépni. Az igazi mulatság mégis csak itt volt virágjában. Ez
volt a Mohamed paradicsoma. Ugyanazok az alakok, a kik a
l’hombrenél, meg a börzecoulisseoknál végezték a nehéz munkát,
egyenesen oda siettek a Palais Royal játéktermeibe, azt a munkát,
gyönyörre felmagasztosítva folytatni. Itt mindjárt talált az ember
vesztesége esetén feledtető vigasztalást, s a nyeresége számára
kellemetes elhelyezési módot.
Metell is mindennapos látogatója volt a tatár tábor
gyönyörbarlangjainak. De csak ízlelgetni látszott a poharat.
Úgy tudott járni a veszedelmes tündérraj közepett, mint a
szakértő méhész a méhei közt: egy sem csípte meg. S ennek a
tündérméhnek a csípése veszedelmes.
Leghirhedettebb alakja volt a tatár tábornak a restauratió első
éveiben a rejtélyes lady Adamina, teljes czime szerint lady Adamina
Sidney-Abba. Összetett név: egy angolból, meg egy keletindiaiból.
Némelyek szerint leánya egy keletindiai nábob családdal
összeházasodott angol lordnak, mások szerint özvegye. Fényüzése
után hozzávetve akármelyik lehet. Fogatai feltünők, lovagláshoz
angol és arab paripákat tart. Mikor angol ménen lovagol, női
nyeregben, akkor fátyol takarja az arczát, mikor meg arab paripát ül
meg, akkor keleties öltözetet visel, a turbán paradicsom-madara csak
árnyékozza, de nem takarja arczát; olyankor ez arcz a maláji faj
epedő olajbarna szinét mutatja; a sétányon, a nappali toilettehez ki
van festve liliom- és rózsa-szinre; este szinházban néha a sötét
ruhához márványfehér arczot visel, máskor meg tiszta fehér
ruhához, fehér csipkefátyolhoz meghagyja a természetes barna
arczszínét. Mindegyikkel elveszi az embereknek az eszét.
Pedig nincs neki semmi szüksége az imádóinak az eszére, a
magáéval sem tud hová lenni; minden bolondságot, a mi a közönség
izgalmára szolgál, ő talál ki, s mire a többiek utána csinálják, akkorra
ő másikat indít meg.
Maga talál ki exoticus divatokat, mikben első nap kinevetik, de
második nap már megtapsolják. Látni a fején Stuart-főkötőt, lófarkas
sisakot, turbánt, prémes kucsmát, orosz gyöngyös pártát, s mind jól
illik neki. De legjobban meglepő akkor, mikor semmit se tesz fel a
fejére, hanem férfiasan felborzolja a haját, s magas kravátlit köt.
Ilyenkor tökéletes lord Byron-arcza van, a kihez külömben is
meglepő hasonlatossággal bir.
Hanem a termet, az arczvonások tökélye, a feltünő megjelenés, a
pazar pompa még mind nem igazolná a varázst, a mit lady Adamina
az egész tatár tábor férfi-közönségére gyakorol, hanem ezek a
szemek! Egyetlen fekete gyémánt van a világon (az is Párisban van),
de annak a tüze nem szokatlanabb, mint ezeké a szemeké. S hogy
tud velük játszani! Minden tudományát az asszonyi varázsnak
könyvnélkül tudják ezek. Meggyujtanak és megfagyasztanak.
Villámaikkal a szívig tudnak lőni; a ki a sugáraik közé tévedt, mintha
a pókhálóba keveredett volna, ki nem szabadúl többé. S mikor ezzel
a lankatag epedéssel árasztanak egész delejfolyamot, az képes egy
szentet a lábáról elejteni.
S lady Adamina bőven használja a varázs hatalmát. Nem titkolja,
hogy hódító hadjáratot visel az egész férfinem ellen. Nincs olyan
rétege a társaságnak, a mit felzavaratlanul hagyna. A herczegektől a
diákokig mindenütt keresi a maga őrültjeit. S minden izléshez tudja
alkalmazni magát. Tud ábrándozó lenni, mikor olyan bolondja van,
kinek ez tetszik, s aztán megint szilaj bordalokat énekelni s
carmagnolet tánczolni, mikor másforma bolondok közé kerül.
S a kit egyszer hálójába keríthetett, azt azután tökéletesen
ruinálja. Egy fiatal elsassi diák főbe lőtte magát miatta. Egy porosz
báró elvált érte feleségétől. Egy orosz herczeg rá költötte a fél
vagyonát. S a varázsló szépség az egyiket kifosztogatja, a másikra
elpazarolja, de boldoggá nem teszi egyiket sem. Még azzal senki
sem dicsekedhetik, hogy meghódította volna. Tudja magát
mindenképen védelmezni. Annyira mindenképen, hogy egy westfáliai
gróf, a ki megunta a tréfát s komolyan vette az ostromot, egy
ökölcsapást kapott tőle, hogy két hétig viselhette a szeme alatt a
nefelejtset.
Azt mondják, hogy nincsen szive.
A mesebeli ördög, mikor asszonyi alakot vesz föl.
Telhetetlenebb hódító Attilánál.
Vagy talán az van vele, a mi már annyiszor megtörtént, hogy
még nem jött elő az a férfi, a ki megtalálja a szívéhez való kulcsot?
Pedig mindenik azt hiszi, hogy hátha ő nála van.
Ahhoz is nagy bolondság kell, hogy valaki a lutriba rakja be a
pénzét, abban a hitben, hogy hátha az ő száma jön ki; de még
nagyobb bolondság kell ahhoz, hogy valaki egy szép asszony lelkére
bizza a lelkét, azt képzelve, hogy hátha az övét tartja meg.
Lady Adamina mindennapos látogatója volt a rouge et noir
banknak s maga is résztvett a játékban. Az arczán soha sem lehetett
észrevenni a változást, akár nyert, akár vesztett.
Itt találkozott vele legelőszőr Metell.
Muszka barátja mutatta be neki. Ezt találta a bosszuállás
legsikeresebb nemének a klubban szenvedett veszteségeiért.
– Melyik szinre szokott ön tenni? kérdezé lady Adamina.

É
 – Én mindig a veresre.
– Akkor én a feketére teszek.
Azzal odatolták az aranyaikat a játékasztalra.
– Néze ön, milyen jó gondolat ez, mondá lady Adamina,
odamutatva egy ékszerkereskedő kirakatára.
A játékterem két oldalán egyúttal apró boltocskák voltak, a
mikben ékszereket, ritkaságokat, csemegéket és virágokat árultak. A
szerencse kegyenczei mindjárt közel találhatták, a mit vásároljanak
és azt is, a kinek azt elajándékozzák.
Az a jó gondolat, a mi lady Adaminának a tetszését úgy
megnyerte, egy eleven szegfűcsokor volt, a minek a tartóját egy
kigyó képezte: remeke az ötvösművészetnek; az egész
smaragdokból összeállítva, a két szeme rózsaszinű gyémánt.
Az ékszerész azt állította, hogy az a mű antik, a középkorból való.
Lady Adamina ellenben azt vitatta, hogy az keletindiai mű, ráismer a
zománczozatáról.
Metell bebizonyította, hogy szakértő, ő ehhez hasonlót tud
valahol, csakhogy az gyík, de a zománczozás épen ilyen,
németalföldi munka. E közben egészen elfeledkeztek a tételeikről ott
a rouge et noir asztalon.
Egyszer aztán egy pipacsszinű selyemruhás hölgy megérinti a
legyezőjével Metell vállát, s azt mondja neki halkan:
– Uram, önnek már tizenhatezer frankra gyűlt a tétele.
(Az asztalon hagyott tétel minden fordulónál megduplázódik, ha
folyvást annak a színe jön elő a kártyában.)
Metell azt mondta: «Köszönöm, madame». S tovább fűzte az
érdekes eszmecserét lady Adaminával és az ékszerészszel.
 Néhány percz múlva már a kabátja szárnyánál fogva rántotta
meg a piros ruhás hölgy.
– Uram, legyen önnek esze! A tétele harminczkétezer frank.
– Bánom is én! – Azt is megtudnám mondani, szólt ismét lady
Adaminához fordulva, hogy kinek a műterméből került ki az ékszer.
Egyszer csak nagy zaj, zúgás támadt a hátuk mögött. Kaczagnak,
szörnyűködnek. A bank a mai napra megszünteti a játékot. Metell
otthagyott téte hatvannégyezer frankra sokszorozódott, s ezzel a mai
pénztár szét van robbantva. Metellnek jelenti a croupier, hogy a pénz
ott az asztalon, mind az övé.
– Hát csak csomagolják össze, majd rendelkezem vele.
S hátra sem néz. Hanem azt kérdi az ékszerésztől:
– Mi ennek a szegfűcsokornak az ára?
– A szegfűcsokornak?
– No igen. Ha eladó.
– Itt minden eladó. Azért van kitéve.
– Hát mit fizetek érte?
– A szegfűért? Tiz soust.
Metell kivett egy francos darabot, s visszaadatott magának fél
francot.
– Szabad önt megkinálnom a csokorral mylady?
S lady Adamina elfogadta a szegfűcsokrot és odatűzte a ruhája
fodrai közé.
Még így nem látták a szemeit lángolni, mint ebben a pillanatban.
És ettől fogva mindennap szegfűcsokrot viselt a keblére tüzve.
 – Ugyan mivel hódítottad meg ezt a hölgyet? kérdezé tőle pár hét
mulva a muszka.
– Azzal, hogy nem hódolok neki.
 A DRÁGA FÜTTY.
Sok embert ismerünk, a ki magát tönkre juttatta a játékon. De
ugyan ismer-e valaki egyetlen egy olyan embert, a ki a játékon
vagyont szerzett?
Pedig azt a pénzt, a mit valaki elvesztett, más valakinek okvetlen
el kellett nyerni.
Ennek bizony az a titka, hogy a ki százezer frankot nyert, az
kétszázezeret szokott elkölteni. A kártyanyereség éget. Nem enged
aludni. Aztán a kinek a játékban lángesze van, az az életben
szórakozott; itt mindenkinek kész préda, rászedi az ékszerész,
kárpitos, a kocsigyáros, a tiszttartó, a cselédjei, szeretői. Megvétetik
vele ékszerekben az újat antik gyanánt, s szerelemben az antikot új
gyanánt.
Az egyik felizgatott szenvedély nem hagyja elszunnyadni a
másikat.
Egy olyan ritka madár, a kivel mindez nem történt meg, volt
Metell.
Feltünő szerencséje volt minden játékban, arról mindenki beszélt
már, de a mellett nagyon óvatos volt. Nem fösvénykedett, úri módon
élt, de nem pazarolt. Annak az aranyozott társaságnak, mely keblébe
fogadta, minden dáridóiban részt vett, de valami híres bolondság
elkövetésére nem hagyta magát elragadtatni.
Mesemondáshoz hasonlít ez. Külömben más emberek nem azért
szoktak Párisba sietni, hogy ott az erényes életből a magasabb
tanfolyamot bevégezzék.
 Találgatták is a rejtélyét az úri czimborák. A muszka ezt a
magyarázatot adta neki: Ez a Babiagorai Riparievich, a mint a neve
mutatja, valami orthodox hitű magyar. Ezeknél gyakran előfordúl az,
hogy valami fogadalmat tesznek, s azt aztán fanatikus szigorral
megtudják állni. Ha az oláh megfogadja, hogy két esztendeig nem
fog pálinkát inni s erre a papja előtt, két égő gyertya mellett
megesküszik, hát akkor nincs az a hatalom, a mi két esztendő
lefolyása alatt egy csepp pálinkát bele tudjon diktálni. Hanem aztán,
a mint a két esztendő letelt, akkor beül a kocsmába, addig ki se jön
onnan, míg mindazt, a mit elmulasztott, le nem itta. Ilyenforma
fogadalma lehet tán Metellnek is.
Az angol más magyarázatot talált. Metell praktikus ember. Tudja
jól, hogy az asszonyt a hideg tartózkodás hódítja meg
legbiztosabban. Ez az ő látszólagos közönye ravasz kiszámítás, a
minek a sikere már is észrevehető. Lady Adamina egészen
átváltozott, a mióta Metell igézete alatt áll. Eddig ő uralkodott a
férfiakon, most az uralkodik ő rajta. Utána jár, minden szavával
elárulja, hogy ő a meghódított. A sok bolondos divat helyett most oly
öltözetben jár, mely minden idomot eltorzít s hozzá széles karimájú
bolivárt visel, a mitől még az arczába sem lehet látni. Komoly,
mélázó igyekezik lenni. Szép ezt a játékot messziről nézni. – Vajjon
melyik marad a végén a győztes? Metellnek sikerül-e a tündéri
Adaminát odabűvölni, hogy az megkérje őt férjül? vagy pedig lady
Adaminának, hogy Metell kérje meg őt feleségül? Az első esetben
Metell ér czélt, mert egy mesés gazdaságú feleséget kap, a
másodikban pedig lady Adamina, mert akkor a szeme közé fog
nevetni Metellnek: «hiszen csak ezt akartam!» s azzal egygyel több
bolondja van a gyüjteményében.
Egyik sem járt közel a valóhoz.
Ki találhatná azt ki, hogy ennek a mosolytalan arczú ifjunak a
szeme előtt szüntelen ott áll egy árnykép: mikor a kártyát osztja,
mikor a poharát megtölti, mikor a szép asszonyok szemeibe néz,
mikor a világ minden bolondsága körül rajozza, egy leánynak
árnyképe; a ki egyedül, magában jár egy puszta, elhagyott
várkastély toronyszobájában, s hallgatja a tenger mormogását, a
sirokko zúgását, a hojszák síkoltását és számlálja a napok jöttét és
lementét, örömtelenűl, félelmek, rettegések között és nem
gondolkozik egyébről, mint hogy mikor jön vissza a bátyja őt e
rettenetes magányból megváltani? Milióra árnyképe áll szüntelen
közötte és a világ minden örömei között!
Meglehet, hogy ő is azt mondja magában a lüktető vérnek: «Várd
végét a fogadalomnak: ha letelik az időm, akkor majd úszszunk
abban a gyönyörben, a mit most nyelvhegygyel sem ízlelünk!»
Hanem addig őrzi magát, vigyáz, megtakarít és szivéhez nem enged
senkit közelíteni.
A tatár tábor közepett volt egy circus, a miben a restauratio
korszaka alatt látványos színdarabokat szoktak előadni. Fából épűlt,
mint a tatártábor többi része. Külömben egész más volt a czélja,
mint a színi előadás. A krónikairók azt jegyezték fel róla, hogy olyan
jól érezte magát benne az ember, mintha a kalifák háremébe jutott
volna. A páholyokban, a színfalak közt virágzott az igazi költészet, a
mihez nem kell se jámbus, se rím. Botrány is volt elég, s azok miatt
eleget főtt a feje a rendőrfőnöknek; már az a fenyegetés is
hallatszott, hogy lebontatják az egész barakot.
Sok ideig adták benne azt a mythologiai szinművet: «Ariadne
Naxosban», a mi az aranyfiatalságnak kedvencz darabja volt. A
színigazgatónak minden este más Ariadnét kellett fölléptetni, mert a
tegnapinak rendesen akadt egy Bacchusa (az előadás után), a ki
Naxos szigetéről elszöktesse, azonban volt készletben mindig elég.
E fölött nagyon sok tréfa támadt: az erkölcs őrének, a policzájnak
ugyanannyi hivatalos boszúság. Hanem hát nem tehetett ellene. A
mi az isteneknek szabad, azt az embereknek talán csak nem lehet
bűnül felróni.
Egyszer aztán a színigazgató, hogy compromittált reputatióját
helyrefényesítse, új darabot hirdetett, a miről bizonyos lehetett, hogy
azzal mind a közönségnek, mind a kormányköröknek teljes
megelégedését fogja kivivhatni. A darab czíme volt: «Bonaparte
szerelmi kalandjai.» (A szerző nevét nem jegyezte fel a historia.)
«Bonaparte szerelmi kalandjai.»
Még élt a világrendítő óriás, ott Szent Ilona szigetén, s már
komédiát játszottak róla Páris városában, a francziák előtt. Komédiát
az ő kicsúfolására, s annak az egész csodákkal teljes korszaknak, a
mit lánglelke alkotott, gyalázattá, nevetséggé prostituálására. –
Lehetett ez? Hihető ez?
Hát ha lehető volt az, hogy nehány lépéssel odább, magában a
dicsőséges Theátre Françaisban, melynek művészei egyedül voltak
kivéve az egyházi anathema alól, a kiknek kizárólagos szabadalmuk
volt minden franczia szinész fölött, hogy ha meghalnak egyházi
szertartás mellett, s szentelt földbe legyenek eltemetve; hát ha
ebben a fenkölt csarnokban megtörténhetett az, hogy Mars
kisasszony egy este violákkal diszített öltönyben lépett fel a
színpadra, s arra őt, a múzsák választottját, a franczia művészet
csillagát oly általános fütyülés, tombolás fogadta, hogy vissza kellett
vonulnia az öltöző szobájába, levetni a violás öltönyt s felvenni egy
másikat liliomokkal s abban jelenni meg a szinpadon. Akkor aztán
végnélküli taps fogadta. – Fordult a világ. – Az ibolya a Napoleonidák
kedvencz virága, a liliom a Bourbonoké. Most a liliom évadja van. No
hát, ha ez a Theâtre Françaisban megtörténhetett, mi nem eshetik
még akkor meg a tatár tábor deszka bódéjában?
A palais royali circus csak annyiban felelt meg a nevének, hogy
körönd volt, de nem egyúttal porond is. Azt a tért, a hol más
circusban a lovak szoktak futni, s az acrobatai erőmutatványok
csodái mennek végbe, támlás padsorok foglalták el, a karzatok
páholyokká voltak szakgatva, a miknek az előszobáiban vacsorálni is
szoktak, s a mikből rendesen oly dévaj lárma, nevetés, feleselés
szokott az előadás közé vegyülni, hogy a jó földszinti közönség
válogathatott benne, hogy melyik szindarabot élvezze: azt-e, a mit a
színpadon adnak, vagy azt, a mi a páholyokban folyik. Abban az
egyben mégis megtartotta az előadás circusi természetét, hogy
bevett szokás volt egyik páholyból a másikba átugrálni, vagy a
földszinti páholyból fölmászni az emeletibe az oszlopok díszitésein.
Ezt a gymnastikát produkálták nem csak az urak, de a hölgyek is. –
A játszó személyzetre bonbonokat hajigálni egészen a bon tonhoz
tartozott. A proscenium-páholyból megkinálni egy pohár pezsgővel a
primadonnát, mikor az áriáját végezte, a courtoisie legildomosabb
kifejezése volt. Hogy a közönség beleénekeljen az előadásba (néha
egészen mást, mint a mit a színpadon zengedeznek), az volt a
mindennapi külön élvezet. Az énekelt szöveg lefordíthatatlan volt –
még francziára is. A rendőrségnek erős rendelete volt, hogy
botrányok kikerülése végett hölgyeknek nem szabad a földszinti
nézőhelyre menni. Annálfogva a parterre tele volt hölgyekkel, a kik
férfiruhában jöttek. Így aztán nem volt botrány.
Néha-néha pedig az történt meg, hogy a legérdekesebb jelenet
közepett a közép erkélyt elfoglaló klubbpáholyból egy stentori hang
lekiáltott egy jelszót a közönség közé, például ilyenformát: «a
kamara megszavazta a miniszteriumnak az ujoncztörvényt!» – vagy
pedig ezt: «az aacheni congreszus leszállította az egy milliárd hadi
kárpótlást kétszáznegyven millióra!» Akkor aztán az egész közönség
felkeveredett: az egyik hírnél elkezdtek az emberek egymással
ölklöződni (a royalisták dühösek voltak, hogy katonamentességi
kiváltságuk megdült), a másik hirnél pedig egymás nyakába borultak
és tapsoltak, kaczagtak, ellenben mind a két körülmény között tódult
minden ember a kijáratoknak, szerencsére köröskörül ajtó, ablak volt
a circus, s törte magát okos, bolond, a börze csarnokai felé, a mik
ott voltak a szomszédban, a Palais Royal másik udvarában s sietett el
nem maradni az arany borju körüli tánczból. Az első hírre nagy lett a
baisse, a másikra még nagyobb a hausse; a nézőtér olyan üres lett,
mintha tüzi lárma söpörte volna ki; a szinészek azért csak játszották
tovább a darabot; de a mint végezte a coupletjét valamelyik,
kikiáltott a színfalak közt ácsorgó börzesenzálnak: «végy!» – «adj
el!» s az orchestrumban összevissza ment a muzsikálás, mert a
zenészek nem a taktust számlálták, hanem az agiót.
 Az egyik prosceniumpáholy rendesen lady Adamináé volt, még
pedig az, a melyiknek a mellvéd párkánya olyan alacsony, hogy a
szinpadra könyököl ki A csodálatos asszonyi tünemény nagyobb
vonzerővel húzta a közönséget a cirque royaleba, mint maga az
előadás. Az ő szüntelen izgó-mozgó alakja, az ő villámszóró szemei,
merész mozdulatai, kaczajjal vegyülő fenhangú fecsegése, az ő
minden emberi fantáziát megszégyenítő öltözetei, néha-néha a
darab közé szórt élczes, szúrós, sikamlós calembourgjai, a páholyába
tóduló dandykkal való morikálása, óriási virágcsokrai, a magával
hordott kis kutyája, a kit néha (ha egy kedve elleni szinész
debutirozott) közbe ugattatott a játéknak: olyan megszokott
kiegészítő része volt mind a cirque royale előadásainak, hogy azok
nélkül a közönség élvezete nem is lett volna tökéletes.
Ezen az estén azonban sajátszerű meglepetést szerzett lady
Adamina a közönségnek.
Először is már a darab kezdete előtt beült a páholyába, nem jött,
mint szokás, az előadás folyama alatt, lármázó kiséretével, ott kinn
kezdett discursust folytatva, ismerőseit az átelleni páholyokban
üdvözölve, ananászait kosár számra maga után hozatva, a miket
előadás alatt kezeivel szokott tisztogatni s a héjával a muzsikusok
orrát czélba hajigálni. A húzó harmonikáját sem hozta el ezúttal,
pedig igen szépen tudott rajta muzsikálni; de a mi egészen meglepő
volt, oly egyszerű toilletteben jött, a minőt megint senki sem visel
egész Párisban: Stuart Mária sapakot a fején, állig begombolt
merino-derekat könyökig érő keztyükkel, még azonfelül egy
velenczei csipkekendő a mellén keresztül kötve, a haja mind
felszorítva a sapak alá, csak két göndör tincs lóg le elől a füle előtt
az arczára, a mi annak nagyon komoly kifejezést ad; nincs kifestve, a
rendes emberi halványságot természetes pír derengi át orczáin,
hiányoznak még a kaczér legyecskék is: szépségflastrom fekete
pontjai.
S aztán egész egyedül jön, a páholya ajtaját bezárja maga után,
s a színpad felé forduló karszékbe helyezkedik el, a honnan alig
veheti észre jelenlétét a közönség.
 Ma azzal akar feltűnni, hogy szépen viseli magát.
Új darabot adnak. Ezt komolyan kell nézni. A közönség ma
élvezni akarja az új szellemi tápot, ezt nem szabad elrontani. Lady
Adamina maga is figyelemmel akarja hallgatni az előádást, s kizárja
a háborgató társaságot ez estére a páholyából.
Egy ember számára azonban mégis kivétel van téve. Az
bizonyosan birja azt a titkos koczogtatási utasítást, a melyre az ajtót
felnyítják a számára. Ez Metell.
– Sokra vitte a dolgát! mondogatják, a kik meglátják őt lady
Adamina páholyában az úrnővel szemközt leülni. – Ez már kiváltság!
– Nagy megkülömböztetés! – Mást mindenkit ott kinn marasztanak,
egyedűl ennek szabad a myladyvel egy eau de mille fleurst szívni. –
No igen, mert Metell igen jól tud hallgatni s ma ez érdem. –
Nézzétek, milyen komoly arczot tud csinálni! – A világért el nem
mosolyodnék, akármi furcsát szólnak, tesznek a színpadon. – Nem is
nézi, nem is hallja talán? Úgy bámul maga elé merev szemekkel,
mintha valami szigetet keresne az oczeánon…
… Hát talán épen azt is keresett? Azt a tengerektől elrejtett
szigetet, a minek emlékét mi annyiszor lerajzoltuk
gyermekkorunkban. Két egymás mellett álló szomorúfűz, a miknek a
derekai között a sötét kéreg körvonalaiból egy fehér szellemalak
támad elő, mellén összefont karokkal, szegletes kalappal a fején. De
sok helyen lehetett ezt feltalálni nálunk, rajzban, himzésben!
Pedig hát mi volt nekünk a szentilonai száműzött? Egy hatalmas
ellenség, a ki ellen apáink rég pihenő kardjaikat újra kiköszörülték.
Azért mégis róla ábrándoztunk; mink és valamennyi zúgolódó
népe a világnak, fel a hipperboræok névtelen nemzetéig, a kik mind
az ő képét tartogatják szentképeik között, s várják visszatértét.
Egy alak, a kit emberi mértékkel nem lehet megmérni; a
világtörténet minden kolosszai között a legmagasabb: nem ember
többé, hanem egy eszme, mely halhatatlan! Maga egy egész
korszak, s ez a korszak a csodatörténetek összessége.
S ezt a bálványt, ezt a félistent, ezt a hitrege hősét gúnykaczaj
között hurczolták végig a tatár tábor circusában, Francziaország
szivében s a sziv kamaráját képező Palais Royalban.
Kikomédiázták, mint egy nevetséges kalandort, a ki a hét főbűnt
egyesíté magában s mind a hétnek a parodiája lett.
A közönség tombolt és üvöltött! Igen is: tapsoltak. A hazatért
emigransok, a kik ott folytatták, a hol húsz év előtt elhagyták, s azt
hitték, hogy egy egész új világalkotást el lehet a helyéből kaczagni; a
francziák, a kik harczoltak az idegen zászlók alatt s visszatértek, a
kozákok, a poroszok árnyékában; azok most őrületes tapsolást
miveltek a komédiabódéban, a hol minden fényes alakját az
ellenséges multnak, s a nemzeti dicsőségnek, silány komédiás
banda, röhögő uri csőcselék mulattatására seprüzte végig a
porondon, s cancant járatott a nemzeti szentekkel.
Ez ő nekik tetszett.
Mentől tiszteletreméltóbb volt az alak, mentől gyalázatosabb a
szinpadi maszk rajta, annál nagyobb volt a szini hatás. Történelmi
magas catastrophák, hálószobai csetepatévá lealjasítva nagy sikert
arattak. Utálatos nóták, hősök és martyrok szájába adva, ismétlés
diadalában részesültek; maga a főalak Bonaparte Napoleon, kéjencz
és kalandor, nőcsábító és iszákos, a vétek, nevetség, rossz indulatok,
gyávaság minden torzalakjaiban kificzamítva jött, ment, sunnyogott,
bujkált, futva futott, siránkozott, csapodárkodott, és a mi mind ennél
megbocsáthatlanabb, deklamált irtóztató rossz verseket.
De azért tetszettek azok.
Ez volt az, a mi Metell arczának azt a kifejezést adta, mintha
valamennyi embernek a feje fölött egy távol tengereken uszó
szigetet keresne a szemeivel.
 Az idegenek, a kik az óriást legyőzték, nem gyönyörködtek ebben
a parodiában.
A legyőzött csodahőst csak a saját honfitársai rugdalják meg a
földön fekve; az ellenség tiszteli benne saját győzedelmét. – Angol,
német, orosz nem tudott ennek tapsolni.
A darab nő-alakjai között, a kik a megcsufolt hőst, bolond módra
ránczigálták végig a botrányok remekművén, ott volt madame
Hamelin is.
Az a tüneményes alak, a kinek naparanyozta creol arcza három
korszakot ragyogott be, a directoriumot, a consulatust és a
császárságot, s fényéből sohasem vesztett. Istennője volt a
társaságnak. Második uralkodója Francziaországnak; szelleme, bájai,
szive által. Most ezt is a szinpadra hozták.
Személyesítőjeül szereztek valahol egy igazi creolnőt.
Annak a szerepe is csupa förtelem volt, a mit nem is igen
iparkodott művészi finomsággal enyhiteni. Sőt szándékosan-e, vagy
véletlenből, egész álczájában, viseletében, modorában hasonlított
lady Adaminához.
A közönség ezt észrevette, s kezdett neki annál jobban tapsolni.
Metell nem ügyelt rá. Szemei folyvást azokat nézték, a mik távol
vannak. Az elhagyott kastélyt az adriai sziklaparton, – a búsongó
leányt az egyetlen olajfa alatt, – a Marguerita emberarcztalan
rémalakjait, füleiben zúgott a bóra fütyülése, a tenger csattogása, a
rovinai élő halottak állathangjai. Képzeletében megalkotta azt a
jelenetet, a mikor délczeg vitorlahajójával ki fog kötni a puszta vár
alatt, s Miliórát lehozza az ölében az elátkozott toronyból, hogy soha
vissza ne térjen többet. Lady Adamina már másodszor legyinti meg a
lehuzott keztyűjével, hogy nézzen csak oda a szinpadra, mi történik
ott?
Folytatása annak, a mi eddig történt.
 Leirhatatlan jelenet egy férfi és egy nő között, a kik közül az
egyik Bonaparte Napoleonnak, a másik madame Hamelinnak van
álczázva.
Metell nézte a jelenetet egy darabig. És aztán mentől tovább
bámult, annál jobban fellázadt egész lelke. A visszás érzések a láz
egész paroxismusával rohanták meg idegeit. Undor, harag, düh,
viszketeg, csábulás váltakozott a jelenet fordulatainál kedélyében. –
Napoleon jön Waterloo után madame Hamelinhez, dühöng mint egy
őrült, rendeleteket oszt, hogy a lőporraktárt fel kell gyujtani s Párist
a szövetségesek fejére dönteni. (A borzalom torzképe.) Azután
következik az idyll parodiája a bukott hős és a creolnő között. Azt
félbeszakítják a kozákok, a kik meglepik a kéjházat s betörnek
fáklyával a kezükben, keresni Napoleont. Azt a hölgy elbujtatja a
karszék alá, melyen maga ül. A kozákok ott találják meg, s
gallérjánál fogva húzzák elő az asszony szoknyája mögül. Napoleon
rimánkodva könyörög, a royalista had a parterren tombolva tapsol és
kaczag…
Metell nem birt magával tovább, hirtelen szájába dugta a két
ujját, s két olyan hatalmas füttyöt bocsátott közre, hogy keresztül
hasította a tapsvihart és kozák kardalt.
Olyan hatalmas fütty volt az, hogy félbe is szakadt rá rögtön a
taps is, a nóta is, közönség és komédiáshad egy pillanatra elmeredt
a bámulattól e kolosszális vakmerőség felett.
Lady Adamina felugrott a helyéről, s megragadta Metell kezét.
– Hiszen te «egy egész» férfi vagy! – Kiálta fel. – No hát én is
«az» vagyok! – Gyere, verjük szét a szinpadról ezt az egész
komédiáshadat!
Azzal felugrott a páholy mellvédére, felkapta a szoknyája
szegélyét s az övéhez tűzte be: szarvasbőrnadrág volt rajta, s a
másik perczben már a szinpadon volt, egy szökéssel a comparzeria
között, kikapta az egyik kozák kezéből az égő fáklyát, s elkezdte
azzal a többit püfölni. Metell ugyanazt mivelte a másik oldalon. A
kezébe kapott szurokfáklyával annak a komédiásnak, a ki Napoleont
parodiázta, egy olyan égő csillagot nyomott a hátára, hogy az ordítva
futott a szinfalak közé s vitte magával a lángját a hátán. Ketten két
fáklyával szétverték az egész szövetséges ármádiát.
Hanem a közönség egy részének ez a fordulat a drámában
sehogy sem akart tetszeni. A royalisták, a mouchardok interveniáltak
s az orchestrumon keresztül segélyére rohantak a szinpadi vert
seregnek.
– Ne hagyd magad! «Ketten» vagyunk! kiálta lady Adamina. Vagy
ki tudja, ki volt már akkor? a nőruha le volt tépve róla; fejéről a
Stuart Mária sapka és álhaj lehullott, arcza, alakja férfié.
Nem is kellett Metellnek nagy biztatás, ha már egyszer benne volt
a dühében; s ha csak magával a petit maitre haddal lett volna
dolguk, ők ketten az egész publikum ellen meg tudták volna védeni a
hadi állásukat. A dandyseregnek nem tetszett a sziporka szóró
fáklyák püfölése, sajnálták a szép ábrázatjukat, meg a calicotikat, a
kinek a szikra a tászlis czopfjába akadt, annak füstöt vetett a haja! A
páholyok közönsége pedig biztatta a vakmerő ellenállókat, azoknak
tetszett ez a tréfa. Hanem egyszer aztán a fegyveres rendőrség is
belevegyült a szinpadi harczba, s egy ilyen nagyhatalomnak az
interventiójára minden eszes hadvezér capitulálni szokott.
Csakhogy ezek ketten rég búcsút vettek már az eszüktől, az
egyiknek talán soha nem is volt.
– Ne hátrálj Metell! Dugd bele a fáklyád abba a nagy ládába
ottan.
S Metell olyan bolond volt, hogy szót fogadott.
Abban a ládában pedig azok a tüzijátékhoz való készletek voltak
felhalmozva, a minek a darabot be kellett volna fejezni, ábrázolván
Páris ostromoltatását a szövetséges seregek által.
Egy pillanat mulva lobogott, ropogott, süstörékelt valamennyi
tűznap, római fáklya, bengáli fény, az elsülő röppentyűk iramodtak
szerteszéjjel, alá, fel, földszint, haránt, a publikum közé, fel a
páholyokba, általános riadalmat költve mindenfelé; a vége az lett a
tréfának, hogy meggyuladt a szinpad, s leégett az egész circus. –
Szerencsére emberélet nem esett áldozatul. – Harmadszor égett le
már azon a helyen a szinház harmincz év alatt. – Előre gondoskodva
volt felőle, hogy elég nyilás legyen az oldalain, a hol a közönség
kimenekülhessen, s aztán elég tüzifecskendő a közelben, hogy az
égő circus az egész tatár tábort s vele együtt a Palais Royalt is fel ne
gyújtsa.
A két hóbortost természetesen galléron csipték a rendőrök s
nehogy a feldühödött royalisták széttépjék őket, hirtelen beültették
egy zárt bérkocsiba s a rendőrségi palotához hajtattak velük.
– No ez tiszta munka volt, mondá a leálczázott lady Adamina
Metellnek. De mit mondunk a rendőrfőnöknek majd, ha kiváncsi lesz
kérdezősködni?
– Én megmondom nyiltan és nyugodtan, hogy engemet, az
idegen nemzet fiát, lelkem mélyéig felháborított az a merénylet,
hogy Francziaország fővárosában a franczia nemzet dicsőségét
bemocskolják. Nem tűrhettem, hogy egy óriási alakot, a ki nekem
ellenségem volt, de azért az egész világnak bálványa, fejével lefelé
fordítva mutogassanak. Én is harczoltam ellene; verekedtem lovag
módra, legyőzött. A ki győztes ellenfelemet meggyalázza, engem
kétszeresen meggyaláz. Nemes ember vagyok. Nem tűröm a piszkot.
– Hahaha! Nevetett lady Adamina. No ez ugyan szép védekezés
lenne. Ezért bizony mind a kettőnket kivinnének a csillagásztorony
sétányára s letérdepeltetnének egy kicsit arra a helyre, a hol sokszor
találni a kavics között ólomgolyókat, a mik félre mentek a czéltól.
Már most csak hagyj engemet beszélni majd, te csak mindenre azt
mondd, hogy «sacrebleu!»
A mint hogy a legelső dolga az is volt lady Adaminának, hogy a
rendőrségi palota foglári szobájában minden bútort és ablakot
összetörjön, s a porkolábot felpofozza, s azután is pogány
szitkozódást kövessen el, a míg csak a rendőrfőnök elé nem vezetik.
Az pedig sokára került elő, mert neki is a tüzet kellett nézni.
Egész kormos volt még a képe, s azzal is haragosabb kifejezést
öltött, a mint a két hátrakötött kezű gonosztevőt eléje vezették.
– Monsieur et madame! horkantott rájuk.
– Messieurs! s’il vous plait! kiálta fel lady Adamina.
– Lépjen elé az «úr!» mondá a rendőrfőnök, Metellhez fordulva.
Lady Adamina a sarkával visszarugta Metellt.
– Czoki! Én vagyok az úr! – S azzal kevélyen odaplántálva magát
a rendőrfőnök elé, büszkén felemelt fővel mondá: «Az én nevem,
lord Adam of Camelborough; Wellington herczeg unokaöcscse; a
térdszalagrend lovagja!» – s hogy annál nagyobb nyomatékot adjon
a szavának, felrugta a térdével a himzett cotillonját (a saluppe már
rég le volt tépve) s a lábát feltéve a rendőrfőnök iróasztalára,
láthatóvá tette a térde fölött átkötött rendszalagot, a himzett
jelmondattal.
Erre a névre egyszerre megváltozott a rendőrfőnök hangulatja.
– Vegyék le ő lordsága kezeiről a bilincseket! parancsolá rögtön a
porkolábnak.
Ezt a kegyelmet természetesen Metellre is ki kellett terjeszteni, a
mylord ő helyette is felelt, átölelve szabaddá lett karjával Metell
nyakát: «ez pedig az én barátom, Babiagoriai Riparievich Metell,
raguzai knéz, nem tud, csak dalmátul».
– Hein! mondá a rendőrfőnök meghökkenve ettől a franczia
orthographiával leirhatatlan névtől.
– Elhiszem azt. Magamnak is két hétbe került ezt a nevet
megtanulnom. Hát aztán? Akar ön még egyebet is megtudni?
 – A patvarba is! Hogyne akarnék! önök nyilvános lázadást
csináltak, s fölgyujtották a Cirque Royalet?
– Fogadásból történt. A fogadást megnyertük. A kárt kifizetjük. S
azzal vége van az ismeretségünknek.
– Azzal nincs vége, mylord, önök flagrans bűntényt követtek el.
– No no, csak semmi komédiajátszás. Mi szerfölött leköteleztük a
kormányt azáltal, hogy megszabadítottuk ettől a spelunkától, a mit
az örökös botrányok miatt maga is le akart romboltatni. Köszönő
leiratot várunk a minisztertől. Tessék megcsináltatni a számlát, mivel
tartozunk! Bennünket várnak a klubban. Ha ma este hiányzani
fogunk a l’hombre-asztalnál, holnap Nagy-Britannia követe ki fogja
kérni a papirjait.
– De mylordok! Ez nem megy olyan hamar. Én önöket ki nem
bocsáthatom addig, míg eleget nem tettek, addig személyeikkel
kezeskednek.
– Hát csak csináltassa meg ön szaporán a számlát. Ön tudja a
circus becsárát, mert a kormány meg akarta azt venni, adja hozzá a
birságokat, mik a csendzavarás, verekedés eseteinél getlemanek
számára vannak kiszabva, s aztán fizessünk, fizessünk! s oszszunk
ujra. Minek az időt vesztegetni?
A rendőrfőnök belátta, hogy tökéletes igazsága van a mylordnak.
Ha valaki lord Adam of Camelborough, akkor lehetetlen, hogy
igazsága ne legyen. A számla tíz percz alatt elkészült, az itélet
statarialiter kimondatott, a két excedens gentleman a leégetett
circusért, a kiosztott ütlegekért, az összetört butorokért, a
porkoláboknak osztott pofonokért tartozik összesen
háromszázhetvenkétezer frankkal, s ez összegben in solidum
elmarasztaltatik.
Ez egy-egy részre tesz 186,000 francot. – Drága fütty volt.
Metell szemei oda a távolba bámultak. – «Szegény leány, ha én
ezt most kifizetem, ugyan soká várhatsz az elátkozott várban!»
 Lord Adam egy napoleonaranyat vett elő a tárczájából.
– Egyszerüsítsük a számadást, mondá Metellnek, vagy az
egészet, vagy semmit.
Metell rábólintotta a fejét.
– Fej-e, vagy sas?
– Fej.
És Napoleon háladatos volt a védelmezője iránt, a felhajított
arany a mellképpel fölfelé esett le a földre.
Az egész fizetség lord Adam of Camelboroughra maradt.
A mylord rögtön utalványt irt a bankárjának az összegről, s azzal
kezet szorítottak a rendőrfőnökkel s meginvitálták egy pohár punchra
az «arany pokol»-ba, a minek a létezéséről volt tudomása a
rendőrségnek, de a helyét nem tudta, hogy hol van?
Azzal szabadon bocsátották őket.
Lord Wellington unokaöcscse előtt nagyobb respectusa volt a
franczia rendőrségnek, mint az egész franczia miniszterium előtt,
mint a királyi udvar előtt, sőt mint maga Artois gróf titkos cabalája
előtt is.
Mikor kiléptek a rendőrhivatalból, lord Adam megölelte,
megcsókolta Metellt. Nem volt már lady Adamina, adhatott neki
csókot.
– Ez derék tréfa volt.
– Csakhogy sokba került.
– Nézd, milyen szépen ég még most is a circus. Pénzünkben van.
S mi még csak pipára se gyujtsunk a magunk tüzével?
– Dehogy nem!
 – Hajtsunk oda!
S odahajtattak a bérkocsival a Palais Royalhoz, keresztül
furakodtak a néptömegen, a pompiereken, könyökkel törtek
maguknak utat egy halomra hányt gerendatömegig, a mi még izzó
volt. Lord Adam kihúzott egy égő léczet a zsarátnokból, s
meggyujtotta nála a pipáját! Aztán Metellnek szolgált vele.
– Ez a legújabb találmányú tűzszerszám, holnap kérek rá patenst.
A közönség felismerte a két hóbortost, s megtapsolta őket.
Aztán utat nyitott előttük s engedte a kocsijukhoz visszatérni.
Drága fütty volt, de megérte az árát.
 A MI NINCS AZ ARANYKÖNYVBEN.
A míg a klubbig hajtattak, Adam lord a következő okos beszéddel
mulattatá Metellt.
– Ez biz egy kis baj. Nem neked, hanem nekem. Nem a pénz, az
bagatelle, hanem egyéb. – Nekem most innen úgy el kell mennem,
hogy akár meg se virradjak Párisban. – Te itt maradhatsz, téged
ünnepelni fognak, divatba jösz, hanem rám nézve tágabb a világ. –
Neked nincs angol herczeg nagybátyád, a kit a magadviselete
compromittáljon, de az, hogy nekem van, még csak a kisebbik baj. A
nagyobb veszedelem rám nézve az, hogy most mindazok a fiatal és
öreg gentlemanek, a kiket én mint lady Adamina magam előtt
térdeltettem, a kikkel szerelmes verseket szavaltattam, a kiket rossz
kedvemben felpofoztam, a kiknek gratiából a czipőm hegyét
megengedtem csókolni, a kik az álhajam egyes szálait gyémántos
medaillonokba rejtve viselék a keblükön, a kik pénzüket őrült módon
vesztegették el egy mosolygásomért – hát ezek most engem mind
sorba halálra fognak keresni. – Valamennyi imádómmal mind sorba
meg kell verekednem. Ezt csak úgy kerülhetem ki, ha egy időre
eltüntetem magamat a világból. – Elmegyek utazni valami
vadországba, a hol nem bukkanhatok ismerősre. – Félesztendő alatt
majd csak kifújják a haragjukat a jó barátaim. – Te csak annyit
mondj, ha kérdezősködnek felőlem, hogy jól tudod, hol vagyok, de
nem mondod meg. Ellenkezőleg azt mondanák rólam, hogy gyáva
vagyok és megszöktem. Ha cartellel keresnek, azt nevemben
átveszed, s megigéred mindenkinek, hogy fél esztendő mulva
visszajövök. Addig minden ember meggondolja a dolgát, s fél
esztendő mulva nevetni fog rajta. Ha valaki nagyon erőszakoskodik,
vagy sértő kifejezéseket használ ellenemben, azzal helyettem
megverekszel. – No, és már most ölelj meg, csókolj meg: jó pajtásod
Á
vagyok. – Átadom a lakásom, a pénztárom kulcsát, annyit költs
belőle, a mennyit akarsz. – A rue de Vivienneben van egy kis ház,
98-ik szám alatt, abban lakik egy szép kis hölgyecske: ez az egy
tudta felőlem azt a titkot, hogy nem vagyok asszony. – Elfoglalhatod
nála helyemet ha akarod. – Csak féltékeny ne légy, mert akkor
megkínoz. – A lovaimat mind tartsd meg, s az epsomi gyepen
futtasd, a melyik be van irva. A téteimet fizesd ki, vagy seperd be,
neked a turfon is szerencséd lesz. Ha leveleim érkeznek lady
Adamina, vagy lord Adam czim alatt, azokat bontsd fel, olvasd el és
intézkedjél bennük. – Arra az esetre, ha az úton el találnék pusztulni:
(az ember nem tudhatja, a krokodilusok eszik-e meg, vagy a
rézbőrüek?) tégedet teszlek meg általános örökösömnek… Hanem
azt, hogy engemet a lady Adamina szerepéből kiugrattál, hogy
engemet kényszerítettél arra, hogy férfi voltomat és igazi nevemet
egész világ hallatára kikiabáljam: ezt nem hagyom neked oda
ingyen: ezért megtorlást fogok rajtad venni! – Adieu!
A kocsi a klub kapuja előtt megállt, Metell kiszállt belőle, Adam
lord pedig tova hajtatott.
És Metell elhitte neki, hogy van olyan angol a világon, a ki azért
szökik el egy helyről, mert attól fél, hogy nagyon sok párbajra-
kihivást fog kapni.
Metellnek egy hétig volt dolga lady Adamina ügyeivel, két hétig
lord Adaméival; azontúl senki se beszélt többet se a lordról, se a
ladyről. Ha Napoleonnak elég volt két esztendő, hogy elfelejtsék, hát
neki hogy ne lett volna elég két hét? Ki tudja merre kóborolt a széles
világban? Metell soha sem kapott tőle levelet.
Ő pedig folytatta, a miért idejött: játszott és nyert.
Három évszak mult már el azóta, hogy Miliórát magára hagyá.
Még nem vitte annyira, hogy visszatérhessen hozzá.
Mert a játékosok közt vannak bizonyos conventionális szabályok,
épen mint a professionatus öklözők közt, a kik közül ha az egyik a
másikat félholtra verte, tartozik annak, ha a daganatait kiépülte,
Í
revancheot adni s a kihivására ismételten helyt állni. Így a játékos is,
a ki az ellenfelét kifosztotta, kötelezve van, becsület szerint,
visszatérni a klubba, ellenfelével, a mikor annak kedvez a szerencse,
játszani, kötelezve van minden tételt tartani, bármilyen magas
legyen is, így aztán megtörténik rajta az is, hogy veszt. Az egyszeri
nyereséggel csak a rouletteasztaltól szabad tovább szaladni, de a ki
a klubban nyert, s azzal odább fut, annak a neve kalandor,
Hochstapler, kozák. A magas világban nem szabad a győztesnek
nyugalomba menni a csatatérről, onnan csak a rokkantak
távozhatnak. Egy nap elmaradni a klubból, annyi, mint a börzéről
kimaradni.
Egy reggel, (úgymint délben tizenkét órakor) midőn Metell
hálószobájában a kandalló előtt ülve, szürcsölgetné a cacao-nedvet,
nagyokat ásítva az Augsburger Allgemeine Zeitung felett, lépteket
hall a titkos lépcsőn, mely ágyfülkéjéhez vezetett kívülről.
– Mi a tatár! Hisz ez csizma!
Azon a lépcsőn csak suttogó czipőkben szoktak idejárni, ezek
pedig csikorogtak.
A rejtek-ajtó megnyilt, s egy férfi lépett Metell elé. – Nem lehetett
rajta csodálkozni, hogy ennek is van tudomása erről a titkos
lépcsőről, lord Adam volt az, az ő saját hôtele volt az, a miben Metell
lakott.
Első tekintetre alig akart Metell ráismerni, lord Adam bajuszt
viselt, felkunkorítva, s az arcza bronzszinü volt a napsütéstől. Az
öltözetében is valami sajátszerű idegen typus volt, fantasta jelmez
idegen népviseletekből összeválogatva, fején vörös fezt viselt, a mit
a szobában sem szoktak levenni, hanem a mellett hosszú szárú
csizmát a lábán.
A kezében volt egy vadász-korbács.
De a mi a furcsa öltözetnél és elváltozott arcznál jobban
idegenszerűvé tette megjelenését, az a tartózkodó hidegség volt, a
mi sugárzott a tekintetéből, mint a jéghegyről.
– Uram! szólt, merev kézmozdulattal intve Metellnek, hogy csak
maradjon ülve és folytassa a reggelizését, míg ő maga a kandalló elé
állt, karjait összefonva. (Ez azt jelenti, hogy se nem ölelkezünk, se
kezet nem szorítunk.)
Metell észrevette a lord tekintetéből, hogy őt itt most egy
veszedelmes játék fenyegeti. Gyakorlott játékosok az ellenfél
arczából ki tudják találni, hogyha rájuk matts vár. Vajjon miféle
atoutk lehetnek a kezében? Jó játékosnak a saját kártyájából ki kell
találni azt, hogy mi lehet az ellenfele kezében. – De vajjon mi
fekhetik a talonban?
Felkelt és oda állt vele szembe.
– Ön visszatért az útról?
– Igen is. Bejártam egy ismeretlen országot arra Ázsia felé, a hol
még nomád népek laknak. Scythiának, vagy Pannoniának, vagy
Illyriának, vagy nem tudom én, hogy minek hivják. Az emberek
nyersen eszik a szalonnát.
Metell ebből körülbelől hozzá vethetett, hogy merre járt a
mylord?
– Ettem is belőle, nem rossz. Aztán voltam egy nagyobb
városban, a hol a tyúkot akkor eszik meg, mikor még kisasszony.
Metell kitalálhatta, hogy ez a «backene Händl» hazája, Bécs.
Bólintott a fejével, mutatva, hogy érti.
A mylord elővett zsebéből egy szivart. A kandallóban parázs volt;
ha akarta, rágyujthatott nála; hanem nem tette.
– Ha ismeri ön ezt a várost, akkor tudni fogja, hogy abban van
egy utcza, a mit úgy hívnak, hogy «Bankgasse».
Metell arra is némán intett fejbolintással.
 – Abban az utczában pedig nincsen semmi bank, hanem van két
nagy ház, a miknek a neve «magyar királyi udvari cancellaria».
Metellnek arról is látszott tudomása lenni.
– Hát már most, miután ön ezt is ismeri, akkor azt is tudni fogja,
hogy e két ház egyikében létezik egy könyv, azaz hogy nem egy,
hanem sok, a minek a neve «aranykönyv».
Metell most már szóval mondta: «tudom».
– Tudja?
Lord Adam hátranézett, mintha a Dolland-féle tűzadó gépet
keresné a szivarja rágyujtásához. Azt meg is találta, megnyomta a
billentyűjét, a platintapló lángot adott; hanem azért nem gyujtotta
meg a szivarját, visszadugta az oldalzsebébe.
– Akkor azt is tudja ön, hogy ezt azért hívják aranykönyvnek,
mivelhogy ezekbe van felirva mindazoknak a neve, származása és
czímere, a kik Magyarországon és a hozzácsatolt tartományokban
valaha nemes emberek voltak és most is azok.
– Úgy van!
– No hát én egy álló egész hónapig ültem ezek előtt a penész-
szagú, papir-skorpió-rágta könyvek előtt; végig olvastam mind
valamennyit, de ezt a nevet: Riparievich de Babiagora nem találtam
se elől, se hátul egyikben sem.
Metell most már tudta, hogy mi kártya van az ellenfele kezében?
Minden matador. Ezt úgy híják a l’hombreben, hogy «grandissimo».
– Tovább megyek, folytatá lord Adam. Én itt nem hagytam félbe
a dolgot, hanem tovább kutattam; hivatalról-hivatalra jártam,
keresve ezt a nevet, míg végre rátaláltam a főhadügyi
számvevőségnél, a hol ez a név: Babiagorai Riparievich Metell
előfordul, mint vásárló, a ki egy kastélyt megvett a fortificationalis
alaptól valahol a dalmatiai tengerparton.
 Metell elsápadt.
– Útra keltem, folytatá lord Adam. Jártam szekéren, tengelyverő
sárban, homokban, tutajon, csónakon, öszvérháton, szamárháton,
gyalog; elmentem a tengerig, felkerestem ezt a várost, a hol ezen a
neven hivott egyéniség nyilvános árverésen megvett egy ócska
kastélyt, beszéltem azokkal, a kik őt látták, s meggyőződtem felőle,
hogy az ön volt.
Lord Adam megint elővette a szivart s a szájába dugta, de csak
nem gyujtotta meg a másik végét, hanem a korbácsával ütögette a
csizmája szárát s elnézett Metell feje fölött.
– Már most hát én azt kérdezem öntől, mi oka van önnek a
Babiagoriai Riparievich Metell nevet viselni, holott az nincs a
magyarországi nemes emberek aranykönyvében sehol? Ha önnek ez
valóságos neve, akkor ön nem nemes ember, csak annak adja ki
magát, tehát kalandor, akkor önnel nincs másnak beszéde, mint
ennek a korbácsnak. Ha valami titkos gonosztett az oka annak, hogy
ön a valódi neve helyett költött nevet használ, akkor egyet
füttyentek ezzel a sippal itt a korbács nyelén s arra rögtön feljönnek
a fogdmegek, s elfogják önt. Ha valami politikai üldözés az oka
annak, hogy ön álarcz alá rejtőzik, akkor adok önnek öt perczet,
hogy összeszedje holmiját s meneküljön e rejtek-ajtón át, a merre
tágabb a világ!… Ha azonban azt találja ön nekem felelni, hogy mi
köze önnek mylord az én felvett incognitomhoz? nekem épen annyi
jogom van magamat ennek meg annak hivatni, mint volt önnek arra,
hogy magát lady Adaminának hivassa; én meg akartam tréfálni a
világot, s a kit legjobban megtréfáltam, az ön maga, a tréfa sikerült
volt! – No hát ha ezt fogja ön nekem felelni, akkor én majd küldök
önhöz két gentlemant, a kiknek ön meg fog nevezni másik két urat s
aztán azok majd megállapítják, hogy mikor és hogyan utazzunk el a
svájczi határra, s hány lépés barrièreről lövöldözzünk egymásra, míg
egyikünk meg lesz nyugtatva. Tessék uram választani a négy eset
közül.
 Ilyen hangon szokták a l’hombreben kimondani ezt a szót, hogy
«grandissimo».
Hanem még azért, a kinek tele van a keze matadorral és atout-
couleurrel, nem bizonyos a diadaláról. Lehet, hogy egy másik azt
mondja, hogy «nullissimo» – a ki meg bizonyos felőle, hogy egy
ütést sem csinálhat – s akkor azé a nyert játék.
Ilyen hangon szokták ezt a szót kimondani, halkan, nyugodtan, a
hogy Metell válaszolt.
– Egyiket sem választom a négy közül. Riparievich Metell tenni
fogja azt, hogy életének legsúlyosabb titkát elmondja őszintén az ő
«barátjá»-nak, lord Adam of Camelboroughnak, s meg van nyugodva
felőle, hogy mikor mindent megtudott, lord Adam of Camelborough
kezét fogja nyujtani Riparievich Metellnek.
– Jó! mondá a lord. S most már meggyujtá a szivart s leült egy
karszékbe, sarkantyús csizmáit szétnyujtva.
Riparievich Metell pedig megtöltötte a csibukját török
dohánynyal, parazsat tett rá, s leült a mylorddal szemben s aztán
összefujták a két füstfelleget. Ez is összekeveredés.
– Mindenekelőtt a felől légy egészen megnyugtatva, hogy
eredetem a legtisztább nemesi vér. Apai őseim zsupánok voltak s egy
közülök dynasta volt Andronikosz idejében, anyai ágról pedig egész
az első magyar honfoglalókig vihetem fel a családfám törzsökét. Ősi
birtokai családomnak kis királyságnak nevezhetők, a mi
természetesen csak az otthoni barbár viszonyokhoz mérve bír
értelemmel, mert a magyarországi kis királyság egész jövedelme
nem érne fel egy irlandi farmer bevételével. Most azonban még ez a
birtokom is a levegőben függ, s én csak prætendens vagyok, mint
valami elűzött fejedelem.
– Nálunk tanulni nem szokás; mi hasznát venné az ember?
Hivatal, prókátorkodás a köznemességnek való. Mi mágnások
legfeljebb nyelveket tanulunk, hogy utazhassunk a külföldön,
gyakoroljuk magunkat a lövésben, vívásban, lovaglásban; de azért
katonává nem leszünk. A kit pedig a sors valami különös lángészszel
áldott meg, az megfelelő tért talál tehetségeinek kifejtésére a zöld
asztalnál, a hol kártyáznak és tekéznek. – Én különös kedvencze
voltam minden játéknemben a szerencsének. – Pelyhes állú
gyermekképen megküzdöttem a leggyakorlottabb játékosokkal. –
Ezért nagy volt a tekintélyem még odahaza apám előtt is. Mert
«kártyás»-nak csak azt a férfit nevezik, a ki veszt; a ki az apjával
kártyaadósságokat fizettet ki, azzal fenyegetőzve, hogy főbe lövi
magát. Az olyan ifjú ember, a ki jól játszik, a kinek mindig elég pénze
van, az tekintély mindenütt. Korhely csak a vesztes. És én ezt
egészen helyes nézetnek is tartom, ha az emberek, a kik egymás
pénzét elnyerni leülnek, egymásra nézve idegenek, vagy talán épen
ellenségek is; vagy pedig annyira gazdagok, hogy a veszteséget meg
nem érzik. Hanem ott, a hol én tehetségeim hatalmát éreztettem, az
a baj volt, hogy a kik egymás pénzét elnyerni összeülnek, mind
ismerősök, jó barátok, és mind olyan emberek, a kiket a veszteség
tönkre juttat. Hanem hát erre az ember nem gondol. Épen úgy, mint
a hogy a börzejátékban nem kérdezik azt, hogy hány ember fog
beleugrani a vízbe, ha a contremine sikerül? Azt mondják, ne mászsz
a fára, nem esel le róla. – Egyszer azonban egy igen közel
rokonomat (unokaöcsém volt és igen jó czimborám) vertem meg
kegyetlenül a játékban. Mikor a pénze elfogyott, erőltetni akarta a
szerencsét, adósságra játszott s vesztett igen nagy összeget.
Egyetlen fia volt az apjának, a ki nekem nagybátyám. Az apja
megtagadta tőle a kártyaadóssága kifizetését. S az én öcsém a
negyvennyolcz órai haladék leteltével golyót röpített az agyán
keresztül.
– Ekkor az apja odajött hozzám s azt mondta:
«Édes öcsém. A fiam meghalt miattad. A te átkozott kártyagenied
ölte őt meg. – A példája, tudom, hogy nem fog elriasztani senkit!
azért az emberek mégis csak játszani fognak, játszani kártyával,
játszani a boldogságukkal, a becsületükkel, az életükkel. – Hanem te
nem fogsz többet játszani, édes öcsém. – Mert ha én meghallom,
Welcome to our website – the perfect destination for book lovers and
knowledge seekers. We believe that every book holds a new world,
offering opportunities for learning, discovery, and personal growth.
That’s why we are dedicated to bringing you a diverse collection of
books, ranging from classic literature and specialized publications to
self-development guides and children's books.

More than just a book-buying platform, we strive to be a bridge

connecting you with timeless cultural and intellectual values. With an
elegant, user-friendly interface and a smart search system, you can
quickly find the books that best suit your interests. Additionally,
our special promotions and home delivery services help you save time
and fully enjoy the joy of reading.

Join us on a journey of knowledge exploration, passion nurturing, and

personal growth every day!

ebookbell.com