0% found this document useful (0 votes)
53 views86 pages

Iterative Methods For Sparse Linear Systems 2nd Edition Yousef Saad - Get Instant Access To The Full Ebook With Detailed Content

The document provides information about the 2nd edition of 'Iterative Methods for Sparse Linear Systems' by Yousef Saad, including download links and additional ebook recommendations. It outlines various topics covered in the book, such as linear algebra, sparse matrices, and iterative methods. The book is available in PDF format and is aimed at readers interested in computational methods for linear systems.

Uploaded by

berzchima
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
0% found this document useful (0 votes)
53 views86 pages

Iterative Methods For Sparse Linear Systems 2nd Edition Yousef Saad - Get Instant Access To The Full Ebook With Detailed Content

The document provides information about the 2nd edition of 'Iterative Methods for Sparse Linear Systems' by Yousef Saad, including download links and additional ebook recommendations. It outlines various topics covered in the book, such as linear algebra, sparse matrices, and iterative methods. The book is available in PDF format and is aimed at readers interested in computational methods for linear systems.

Uploaded by

berzchima
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
You are on page 1/ 86

Visit https://ebookultra.

com to download the full version and


explore more ebooks

Iterative methods for sparse linear systems 2nd


Edition Yousef Saad

_____ Click the link below to download _____


https://ebookultra.com/download/iterative-methods-for-
sparse-linear-systems-2nd-edition-yousef-saad/

Explore and download more ebooks at ebookultra.com


Here are some suggested products you might be interested in.
Click the link to download

Matrix Inequalities for Iterative Systems 1st Edition


Hanjo Taubig

https://ebookultra.com/download/matrix-inequalities-for-iterative-
systems-1st-edition-hanjo-taubig/

Iterative regularization methods for nonlinear ill posed


problems 1st Edition Kaltenbacher

https://ebookultra.com/download/iterative-regularization-methods-for-
nonlinear-ill-posed-problems-1st-edition-kaltenbacher/

Signal Processing and Linear Systems 2nd Edition B. P.


Lathi

https://ebookultra.com/download/signal-processing-and-linear-
systems-2nd-edition-b-p-lathi/

Linear Algebra Linear Systems and Eigenvalues P.M. Van


Dooren

https://ebookultra.com/download/linear-algebra-linear-systems-and-
eigenvalues-p-m-van-dooren/
Computational Methods for Electric Power Systems 2nd
Edition Mariesa L. Crow

https://ebookultra.com/download/computational-methods-for-electric-
power-systems-2nd-edition-mariesa-l-crow/

Predictive Control for Linear and Hybrid Systems 1st


Edition Francesco Borrelli

https://ebookultra.com/download/predictive-control-for-linear-and-
hybrid-systems-1st-edition-francesco-borrelli/

Krylov solvers for linear algebraic systems 1st ed Edition


Charles George Broyden

https://ebookultra.com/download/krylov-solvers-for-linear-algebraic-
systems-1st-ed-edition-charles-george-broyden/

Linear Multivariable Control Systems Shankar P.


Bhattacharyya

https://ebookultra.com/download/linear-multivariable-control-systems-
shankar-p-bhattacharyya/

Finite Element Methods Parallel Sparse Statics and Eigen


Solutions 1st Edition Duc Thai Nguyen

https://ebookultra.com/download/finite-element-methods-parallel-
sparse-statics-and-eigen-solutions-1st-edition-duc-thai-nguyen/
Iterative methods for sparse linear systems 2nd Edition
Yousef Saad Digital Instant Download
Author(s): Yousef Saad
ISBN(s): 9780898715347, 0898715342
Edition: 2
File Details: PDF, 3.16 MB
Year: 2003
Language: english
Iterative Methods
for Sparse
Linear Systems

Yousef Saad

15 12

4 9 5

11 14 8

2 10 3

13 7

Copyright c 2000 by Yousef Saad.


S ECOND EDITION WITH CORRECTIONS . JANUARY 3 RD , 2000.
 

PREFACE xiii
Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiv
Suggestions for Teaching . . . . . . . . . . . . . . . . . . . . . . . . . xv

1 BACKGROUND IN LINEAR ALGEBRA 1


1.1 Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Square Matrices and Eigenvalues . . . . . . . . . . . . . . . . . . . . . 3
1.3 Types of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 Vector Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . 6
1.5 Matrix Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Subspaces, Range, and Kernel . . . . . . . . . . . . . . . . . . . . . . . 9
1.7 Orthogonal Vectors and Subspaces . . . . . . . . . . . . . . . . . . . . 10
1.8 Canonical Forms of Matrices . . . . . . . . . . . . . . . . . . . . . . . 15
1.8.1 Reduction to the Diagonal Form . . . . . . . . . . . . . . . . . 15
1.8.2 The Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . 16
1.8.3 The Schur Canonical Form . . . . . . . . . . . . . . . . . . . . 17
1.8.4 Application to Powers of Matrices . . . . . . . . . . . . . . . . 19
1.9 Normal and Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . 21
1.9.1 Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.9.2 Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . 24
1.10 Nonnegative Matrices, M-Matrices . . . . . . . . . . . . . . . . . . . . 26
1.11 Positive-Definite Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.12 Projection Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.12.1 Range and Null Space of a Projector . . . . . . . . . . . . . . . 33
1.12.2 Matrix Representations . . . . . . . . . . . . . . . . . . . . . . 35
1.12.3 Orthogonal and Oblique Projectors . . . . . . . . . . . . . . . . 35
1.12.4 Properties of Orthogonal Projectors . . . . . . . . . . . . . . . . 37
1.13 Basic Concepts in Linear Systems . . . . . . . . . . . . . . . . . . . . . 38
1.13.1 Existence of a Solution . . . . . . . . . . . . . . . . . . . . . . 38
1.13.2 Perturbation Analysis . . . . . . . . . . . . . . . . . . . . . . . 39
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2 DISCRETIZATION OF PDES 44
2.1 Partial Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 44
2.1.1 Elliptic Operators . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.1.2 The Convection Diffusion Equation . . . . . . . . . . . . . . . 47
  

2.2 Finite Difference Methods . . . . . . . . . . . . . . . . . . . . . . . . . 47


2.2.1 Basic Approximations . . . . . . . . . . . . . . . . . . . . . . . 48
2.2.2 Difference Schemes for the Laplacean Operator . . . . . . . . . 49
2.2.3 Finite Differences for 1-D Problems . . . . . . . . . . . . . . . 51
2.2.4 Upwind Schemes . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.2.5 Finite Differences for 2-D Problems . . . . . . . . . . . . . . . 54
2.3 The Finite Element Method . . . . . . . . . . . . . . . . . . . . . . . . 55
2.4 Mesh Generation and Refinement . . . . . . . . . . . . . . . . . . . . . 61
2.5 Finite Volume Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

3 SPARSE MATRICES 68
3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3.2 Graph Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.2.1 Graphs and Adjacency Graphs . . . . . . . . . . . . . . . . . . 70
3.2.2 Graphs of PDE Matrices . . . . . . . . . . . . . . . . . . . . . 72
3.3 Permutations and Reorderings . . . . . . . . . . . . . . . . . . . . . . . 72
3.3.1 Basic Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . 72
3.3.2 Relations with the Adjacency Graph . . . . . . . . . . . . . . . 75
3.3.3 Common Reorderings . . . . . . . . . . . . . . . . . . . . . . . 75
3.3.4 Irreducibility . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
3.4 Storage Schemes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.5 Basic Sparse Matrix Operations . . . . . . . . . . . . . . . . . . . . . . 87
3.6 Sparse Direct Solution Methods . . . . . . . . . . . . . . . . . . . . . . 88
3.7 Test Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4 BASIC ITERATIVE METHODS 95


4.1 Jacobi, Gauss-Seidel, and SOR . . . . . . . . . . . . . . . . . . . . . . 95
4.1.1 Block Relaxation Schemes . . . . . . . . . . . . . . . . . . . . 98
4.1.2 Iteration Matrices and Preconditioning . . . . . . . . . . . . . . 102
4.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.2.1 General Convergence Result . . . . . . . . . . . . . . . . . . . 104
4.2.2 Regular Splittings . . . . . . . . . . . . . . . . . . . . . . . . . 107
4.2.3 Diagonally Dominant Matrices . . . . . . . . . . . . . . . . . . 108
4.2.4 Symmetric Positive Definite Matrices . . . . . . . . . . . . . . 112
4.2.5 Property A and Consistent Orderings . . . . . . . . . . . . . . . 112
4.3 Alternating Direction Methods . . . . . . . . . . . . . . . . . . . . . . 116
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5 PROJECTION METHODS 122


5.1 Basic Definitions and Algorithms . . . . . . . . . . . . . . . . . . . . . 122
5.1.1 General Projection Methods . . . . . . . . . . . . . . . . . . . 123
5.1.2 Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . 124
5.2 General Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.2.1 Two Optimality Results . . . . . . . . . . . . . . . . . . . . . . 126
   

5.2.2 Interpretation in Terms of Projectors . . . . . . . . . . . . . . . 127


5.2.3 General Error Bound . . . . . . . . . . . . . . . . . . . . . . . 129
5.3 One-Dimensional Projection Processes . . . . . . . . . . . . . . . . . . 131
5.3.1 Steepest Descent . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.3.2 Minimal Residual (MR) Iteration . . . . . . . . . . . . . . . . . 134
5.3.3 Residual Norm Steepest Descent . . . . . . . . . . . . . . . . . 136
5.4 Additive and Multiplicative Processes . . . . . . . . . . . . . . . . . . . 136
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

6 KRYLOV SUBSPACE METHODS – PART I 144


6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.2 Krylov Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
6.3 Arnoldi’s Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
6.3.1 The Basic Algorithm . . . . . . . . . . . . . . . . . . . . . . . 147
6.3.2 Practical Implementations . . . . . . . . . . . . . . . . . . . . . 149
6.4 Arnoldi’s Method for Linear Systems (FOM) . . . . . . . . . . . . . . . 152
6.4.1 Variation 1: Restarted FOM . . . . . . . . . . . . . . . . . . . . 154
6.4.2 Variation 2: IOM and DIOM . . . . . . . . . . . . . . . . . . . 155
6.5 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
6.5.1 The Basic GMRES Algorithm . . . . . . . . . . . . . . . . . . 158
6.5.2 The Householder Version . . . . . . . . . . . . . . . . . . . . . 159
6.5.3 Practical Implementation Issues . . . . . . . . . . . . . . . . . 161
6.5.4 Breakdown of GMRES . . . . . . . . . . . . . . . . . . . . . . 165
6.5.5 Relations between FOM and GMRES . . . . . . . . . . . . . . 165
6.5.6 Variation 1: Restarting . . . . . . . . . . . . . . . . . . . . . . 168
6.5.7 Variation 2: Truncated GMRES Versions . . . . . . . . . . . . . 169
6.6 The Symmetric Lanczos Algorithm . . . . . . . . . . . . . . . . . . . . 174
6.6.1 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
6.6.2 Relation with Orthogonal Polynomials . . . . . . . . . . . . . . 175
6.7 The Conjugate Gradient Algorithm . . . . . . . . . . . . . . . . . . . . 176
6.7.1 Derivation and Theory . . . . . . . . . . . . . . . . . . . . . . 176
6.7.2 Alternative Formulations . . . . . . . . . . . . . . . . . . . . . 180
6.7.3 Eigenvalue Estimates from the CG Coefficients . . . . . . . . . 181
6.8 The Conjugate Residual Method . . . . . . . . . . . . . . . . . . . . . 183
6.9 GCR, ORTHOMIN, and ORTHODIR . . . . . . . . . . . . . . . . . . . 183
6.10 The Faber-Manteuffel Theorem . . . . . . . . . . . . . . . . . . . . . . 186
6.11 Convergence Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
6.11.1 Real Chebyshev Polynomials . . . . . . . . . . . . . . . . . . . 188
6.11.2 Complex Chebyshev Polynomials . . . . . . . . . . . . . . . . 189
6.11.3 Convergence of the CG Algorithm . . . . . . . . . . . . . . . . 193
6.11.4 Convergence of GMRES . . . . . . . . . . . . . . . . . . . . . 194
6.12 Block Krylov Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

7 KRYLOV SUBSPACE METHODS – PART II 205


7.1 Lanczos Biorthogonalization . . . . . . . . . . . . . . . . . . . . . . . 205
    

7.1.1 The Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 205


7.1.2 Practical Implementations . . . . . . . . . . . . . . . . . . . . . 208
7.2 The Lanczos Algorithm for Linear Systems . . . . . . . . . . . . . . . . 210
7.3 The BCG and QMR Algorithms . . . . . . . . . . . . . . . . . . . . . . 210
7.3.1 The Biconjugate Gradient Algorithm . . . . . . . . . . . . . . . 211
7.3.2 Quasi-Minimal Residual Algorithm . . . . . . . . . . . . . . . 212
7.4 Transpose-Free Variants . . . . . . . . . . . . . . . . . . . . . . . . . . 214
7.4.1 Conjugate Gradient Squared . . . . . . . . . . . . . . . . . . . 215
7.4.2 BICGSTAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
7.4.3 Transpose-Free QMR (TFQMR) . . . . . . . . . . . . . . . . . 221
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

8 METHODS RELATED TO THE NORMAL EQUATIONS 230


8.1 The Normal Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
8.2 Row Projection Methods . . . . . . . . . . . . . . . . . . . . . . . . . 232
8.2.1 Gauss-Seidel on the Normal Equations . . . . . . . . . . . . . . 232
8.2.2 Cimmino’s Method . . . . . . . . . . . . . . . . . . . . . . . . 234
8.3 Conjugate Gradient and Normal Equations . . . . . . . . . . . . . . . . 237
8.3.1 CGNR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
8.3.2 CGNE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
8.4 Saddle-Point Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

9 PRECONDITIONED ITERATIONS 245


9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
9.2 Preconditioned Conjugate Gradient . . . . . . . . . . . . . . . . . . . . 246
9.2.1 Preserving Symmetry . . . . . . . . . . . . . . . . . . . . . . . 246
9.2.2 Efficient Implementations . . . . . . . . . . . . . . . . . . . . . 249
9.3 Preconditioned GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . 251
9.3.1 Left-Preconditioned GMRES . . . . . . . . . . . . . . . . . . . 251
9.3.2 Right-Preconditioned GMRES . . . . . . . . . . . . . . . . . . 253
9.3.3 Split Preconditioning . . . . . . . . . . . . . . . . . . . . . . . 254
9.3.4 Comparison of Right and Left Preconditioning . . . . . . . . . . 255
9.4 Flexible Variants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
9.4.1 Flexible GMRES . . . . . . . . . . . . . . . . . . . . . . . . . 256
9.4.2 DQGMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
9.5 Preconditioned CG for the Normal Equations . . . . . . . . . . . . . . . 260
9.6 The CGW Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

10 PRECONDITIONING TECHNIQUES 265


10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
10.2 Jacobi, SOR, and SSOR Preconditioners . . . . . . . . . . . . . . . . . 266
10.3 ILU Factorization Preconditioners . . . . . . . . . . . . . . . . . . . . 269
10.3.1 Incomplete LU Factorizations . . . . . . . . . . . . . . . . . . . 270
10.3.2 Zero Fill-in ILU (ILU(0)) . . . . . . . . . . . . . . . . . . . . . 275
   

10.3.3 Level of Fill and ILU( ) . . . . . . . . . . . .


 . . . . . . . . . . 278
10.3.4 Matrices with Regular Structure . . . . . . . . . . . . . . . . . 281
10.3.5 Modified ILU (MILU) . . . . . . . . . . . . . . . . . . . . . . 286
10.4 Threshold Strategies and ILUT . . . . . . . . . . . . . . . . . . . . . . 287
10.4.1 The ILUT Approach . . . . . . . . . . . . . . . . . . . . . . . 288
10.4.2 Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289
10.4.3 Implementation Details . . . . . . . . . . . . . . . . . . . . . . 292
10.4.4 The ILUTP Approach . . . . . . . . . . . . . . . . . . . . . . . 294
10.4.5 The ILUS Approach . . . . . . . . . . . . . . . . . . . . . . . . 296
10.5 Approximate Inverse Preconditioners . . . . . . . . . . . . . . . . . . . 298
10.5.1 Approximating the Inverse of a Sparse Matrix . . . . . . . . . . 299
10.5.2 Global Iteration . . . . . . . . . . . . . . . . . . . . . . . . . . 299
10.5.3 Column-Oriented Algorithms . . . . . . . . . . . . . . . . . . . 301
10.5.4 Theoretical Considerations . . . . . . . . . . . . . . . . . . . . 303
10.5.5 Convergence of Self Preconditioned MR . . . . . . . . . . . . . 305
10.5.6 Factored Approximate Inverses . . . . . . . . . . . . . . . . . . 307
10.5.7 Improving a Preconditioner . . . . . . . . . . . . . . . . . . . . 310
10.6 Block Preconditioners . . . . . . . . . . . . . . . . . . . . . . . . . . . 310
10.6.1 Block-Tridiagonal Matrices . . . . . . . . . . . . . . . . . . . . 311
10.6.2 General Matrices . . . . . . . . . . . . . . . . . . . . . . . . . 312
10.7 Preconditioners for the Normal Equations . . . . . . . . . . . . . . . . 313
10.7.1 Jacobi, SOR, and Variants . . . . . . . . . . . . . . . . . . . . . 313
10.7.2 IC(0) for the Normal Equations . . . . . . . . . . . . . . . . . . 314
10.7.3 Incomplete Gram-Schmidt and ILQ . . . . . . . . . . . . . . . 316
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

11 PARALLEL IMPLEMENTATIONS 324


11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
11.2 Forms of Parallelism . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
11.2.1 Multiple Functional Units . . . . . . . . . . . . . . . . . . . . . 325
11.2.2 Pipelining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
11.2.3 Vector Processors . . . . . . . . . . . . . . . . . . . . . . . . . 326
11.2.4 Multiprocessing and Distributed Computing . . . . . . . . . . . 326
11.3 Types of Parallel Architectures . . . . . . . . . . . . . . . . . . . . . . 327
11.3.1 Shared Memory Computers . . . . . . . . . . . . . . . . . . . . 327
11.3.2 Distributed Memory Architectures . . . . . . . . . . . . . . . . 329
11.4 Types of Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
11.4.1 Preconditioned CG . . . . . . . . . . . . . . . . . . . . . . . . 332
11.4.2 GMRES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
11.4.3 Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . 333
11.4.4 Reverse Communication . . . . . . . . . . . . . . . . . . . . . 334
11.5 Matrix-by-Vector Products . . . . . . . . . . . . . . . . . . . . . . . . 335
11.5.1 The Case of Dense Matrices . . . . . . . . . . . . . . . . . . . 335
11.5.2 The CSR and CSC Formats . . . . . . . . . . . . . . . . . . . . 336
11.5.3 Matvecs in the Diagonal Format . . . . . . . . . . . . . . . . . 339
11.5.4 The Ellpack-Itpack Format . . . . . . . . . . . . . . . . . . . . 340
 

11.5.5 The Jagged Diagonal Format . . . . . . . . . . . . . . . . . . . 341


11.5.6 The Case of Distributed Sparse Matrices . . . . . . . . . . . . . 342
11.6 Standard Preconditioning Operations . . . . . . . . . . . . . . . . . . . 345
11.6.1 Parallelism in Forward Sweeps . . . . . . . . . . . . . . . . . . 346
11.6.2 Level Scheduling: the Case of 5-Point Matrices . . . . . . . . . 346
11.6.3 Level Scheduling for Irregular Graphs . . . . . . . . . . . . . . 347
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

12 PARALLEL PRECONDITIONERS 353


12.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
12.2 Block-Jacobi Preconditioners . . . . . . . . . . . . . . . . . . . . . . . 354
12.3 Polynomial Preconditioners . . . . . . . . . . . . . . . . . . . . . . . . 356
12.3.1 Neumann Polynomials . . . . . . . . . . . . . . . . . . . . . . 356
12.3.2 Chebyshev Polynomials . . . . . . . . . . . . . . . . . . . . . . 357
12.3.3 Least-Squares Polynomials . . . . . . . . . . . . . . . . . . . . 360
12.3.4 The Nonsymmetric Case . . . . . . . . . . . . . . . . . . . . . 363
12.4 Multicoloring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
12.4.1 Red-Black Ordering . . . . . . . . . . . . . . . . . . . . . . . . 366
12.4.2 Solution of Red-Black Systems . . . . . . . . . . . . . . . . . . 367
12.4.3 Multicoloring for General Sparse Matrices . . . . . . . . . . . . 368
12.5 Multi-Elimination ILU . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
12.5.1 Multi-Elimination . . . . . . . . . . . . . . . . . . . . . . . . . 370
12.5.2 ILUM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
12.6 Distributed ILU and SSOR . . . . . . . . . . . . . . . . . . . . . . . . 374
12.6.1 Distributed Sparse Matrices . . . . . . . . . . . . . . . . . . . . 374
12.7 Other Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
12.7.1 Approximate Inverses . . . . . . . . . . . . . . . . . . . . . . . 377
12.7.2 Element-by-Element Techniques . . . . . . . . . . . . . . . . . 377
12.7.3 Parallel Row Projection Preconditioners . . . . . . . . . . . . . 379
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 380

13 DOMAIN DECOMPOSITION METHODS 383


13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
13.1.1 Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
13.1.2 Types of Partitionings . . . . . . . . . . . . . . . . . . . . . . . 385
13.1.3 Types of Techniques . . . . . . . . . . . . . . . . . . . . . . . . 386
13.2 Direct Solution and the Schur Complement . . . . . . . . . . . . . . . . 388
13.2.1 Block Gaussian Elimination . . . . . . . . . . . . . . . . . . . 388
13.2.2 Properties of the Schur Complement . . . . . . . . . . . . . . . 389
13.2.3 Schur Complement for Vertex-Based Partitionings . . . . . . . . 390
13.2.4 Schur Complement for Finite-Element Partitionings . . . . . . . 393
13.3 Schwarz Alternating Procedures . . . . . . . . . . . . . . . . . . . . . . 395
13.3.1 Multiplicative Schwarz Procedure . . . . . . . . . . . . . . . . 395
13.3.2 Multiplicative Schwarz Preconditioning . . . . . . . . . . . . . 400
13.3.3 Additive Schwarz Procedure . . . . . . . . . . . . . . . . . . . 402
13.3.4 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
    

13.4 Schur Complement Approaches . . . . . . . . . . . . . . . . . . . . . . 408


13.4.1 Induced Preconditioners . . . . . . . . . . . . . . . . . . . . . . 408
13.4.2 Probing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
13.4.3 Preconditioning Vertex-Based Schur Complements . . . . . . . 411
13.5 Full Matrix Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
13.6 Graph Partitioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
13.6.1 Basic Definitions . . . . . . . . . . . . . . . . . . . . . . . . . 414
13.6.2 Geometric Approach . . . . . . . . . . . . . . . . . . . . . . . 415
13.6.3 Spectral Techniques . . . . . . . . . . . . . . . . . . . . . . . . 417
13.6.4 Graph Theory Techniques . . . . . . . . . . . . . . . . . . . . . 418
Exercises and Notes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

REFERENCES 425

INDEX 439
xii
  

Iterative methods for solving general, large sparse linear systems have been gaining
popularity in many areas of scientific computing. Until recently, direct solution methods
were often preferred to iterative methods in real applications because of their robustness
and predictable behavior. However, a number of efficient iterative solvers were discovered
and the increased need for solving very large linear systems triggered a noticeable and
rapid shift toward iterative techniques in many applications.
This trend can be traced back to the 1960s and 1970s when two important develop-
ments revolutionized solution methods for large linear systems. First was the realization
that one can take advantage of “sparsity” to design special direct methods that can be
quite economical. Initiated by electrical engineers, these “direct sparse solution methods”
led to the development of reliable and efficient general-purpose direct solution software
codes over the next three decades. Second was the emergence of preconditioned conjugate
gradient-like methods for solving linear systems. It was found that the combination of pre-
conditioning and Krylov subspace iterations could provide efficient and simple “general-
purpose” procedures that could compete with direct solvers. Preconditioning involves ex-
ploiting ideas from sparse direct solvers. Gradually, iterative methods started to approach
the quality of direct solvers. In earlier times, iterative methods were often special-purpose
in nature. They were developed with certain applications in mind, and their efficiency relied
on many problem-dependent parameters.
Now, three-dimensional models are commonplace and iterative methods are al-
most mandatory. The memory and the computational requirements for solving three-
dimensional Partial Differential Equations, or two-dimensional ones involving many
degrees of freedom per point, may seriously challenge the most efficient direct solvers
available today. Also, iterative methods are gaining ground because they are easier to
implement efficiently on high-performance computers than direct methods.
My intention in writing this volume is to provide up-to-date coverage of iterative meth-
ods for solving large sparse linear systems. I focused the book on practical methods that
work for general sparse matrices rather than for any specific class of problems. It is indeed
becoming important to embrace applications not necessarily governed by Partial Differ-
ential Equations, as these applications are on the rise. Apart from two recent volumes by
Axelsson [15] and Hackbusch [116], few books on iterative methods have appeared since
the excellent ones by Varga [213]. and later Young [232]. Since then, researchers and prac-
titioners have achieved remarkable progress in the development and use of effective iter-
ative methods. Unfortunately, fewer elegant results have been discovered since the 1950s
and 1960s. The field has moved in other directions. Methods have gained not only in effi-
ciency but also in robustness and in generality. The traditional techniques which required


  

rather complicated procedures to determine optimal acceleration parameters have yielded


to the parameter-free conjugate gradient class of methods.
The primary aim of this book is to describe some of the best techniques available today,
from both preconditioners and accelerators. One of the aims of the book is to provide a
good mix of theory and practice. It also addresses some of the current research issues
such as parallel implementations and robust preconditioners. The emphasis is on Krylov
subspace methods, currently the most practical and common group of techniques used in
applications. Although there is a tutorial chapter that covers the discretization of Partial
Differential Equations, the book is not biased toward any specific application area. Instead,
the matrices are assumed to be general sparse, possibly irregularly structured.
The book has been structured in four distinct parts. The first part, Chapters 1 to 4,
presents the basic tools. The second part, Chapters 5 to 8, presents projection methods and
Krylov subspace techniques. The third part, Chapters 9 and 10, discusses precondition-
ing. The fourth part, Chapters 11 to 13, discusses parallel implementations and parallel
algorithms.

     

I am grateful to a number of colleagues who proofread or reviewed different versions of


the manuscript. Among them are Randy Bramley (University of Indiana at Bloomingtin),
Xiao-Chuan Cai (University of Colorado at Boulder), Tony Chan (University of California
at Los Angeles), Jane Cullum (IBM, Yorktown Heights), Alan Edelman (Massachussett
Institute of Technology), Paul Fischer (Brown University), David Keyes (Old Dominion
University), Beresford Parlett (University of California at Berkeley) and Shang-Hua Teng
(University of Minnesota). Their numerous comments, corrections, and encouragements
were a highly appreciated contribution. In particular, they helped improve the presenta-
tion considerably and prompted the addition of a number of topics missing from earlier
versions.
This book evolved from several successive improvements of a set of lecture notes for
the course “Iterative Methods for Linear Systems” which I taught at the University of Min-
nesota in the last few years. I apologize to those students who used the earlier error-laden
and incomplete manuscripts. Their input and criticism contributed significantly to improv-
ing the manuscript. I also wish to thank those students at MIT (with Alan Edelman) and
UCLA (with Tony Chan) who used this book in manuscript form and provided helpful
feedback. My colleagues at the university of Minnesota, staff and faculty members, have
helped in different ways. I wish to thank in particular Ahmed Sameh for his encourage-
ments and for fostering a productive environment in the department. Finally, I am grateful
to the National Science Foundation for their continued financial support of my research,
part of which is represented in this work.

Yousef Saad
   

              

This book can be used as a text to teach a graduate-level course on iterative methods for
linear systems. Selecting topics to teach depends on whether the course is taught in a
mathematics department or a computer science (or engineering) department, and whether
the course is over a semester or a quarter. Here are a few comments on the relevance of the
topics in each chapter.
For a graduate course in a mathematics department, much of the material in Chapter 1
should be known already. For non-mathematics majors most of the chapter must be covered
or reviewed to acquire a good background for later chapters. The important topics for
the rest of the book are in Sections: 1.8.1, 1.8.3, 1.8.4, 1.9, 1.11. Section 1.12 is best
treated at the beginning of Chapter 5. Chapter 2 is essentially independent from the rest
and could be skipped altogether in a quarter course. One lecture on finite differences and
the resulting matrices would be enough for a non-math course. Chapter 3 should make
the student familiar with some implementation issues associated with iterative solution
procedures for general sparse matrices. In a computer science or engineering department,
this can be very relevant. For mathematicians, a mention of the graph theory aspects of
sparse matrices and a few storage schemes may be sufficient. Most students at this level
should be familiar with a few of the elementary relaxation techniques covered in Chapter
4. The convergence theory can be skipped for non-math majors. These methods are now
often used as preconditioners and this may be the only motive for covering them.
Chapter 5 introduces key concepts and presents projection techniques in general terms.
Non-mathematicians may wish to skip Section 5.2.3. Otherwise, it is recommended to
start the theory section by going back to Section 1.12 on general definitions on projectors.
Chapters 6 and 7 represent the heart of the matter. It is recommended to describe the first
algorithms carefully and put emphasis on the fact that they generalize the one-dimensional
methods covered in Chapter 5. It is also important to stress the optimality properties of
those methods in Chapter 6 and the fact that these follow immediately from the properties
of projectors seen in Section 1.12. When covering the algorithms in Chapter 7, it is crucial
to point out the main differences between them and those seen in Chapter 6. The variants
such as CGS, BICGSTAB, and TFQMR can be covered in a short time, omitting details of
the algebraic derivations or covering only one of the three. The class of methods based on
the normal equation approach, i.e., Chapter 8, can be skipped in a math-oriented course,
especially in the case of a quarter system. For a semester course, selected topics may be
Sections 8.1, 8.2, and 8.4.
Currently, preconditioning is known to be the critical ingredient in the success of it-
erative methods in solving real-life problems. Therefore, at least some parts of Chapter 9
and Chapter 10 should be covered. Section 9.2 and (very briefly) 9.3 are recommended.
From Chapter 10, discuss the basic ideas in Sections 10.1 through 10.3. The rest could be
skipped in a quarter course.
Chapter 11 may be useful to present to computer science majors, but may be skimmed
or skipped in a mathematics or an engineering course. Parts of Chapter 12 could be taught
primarily to make the students aware of the importance of “alternative” preconditioners.
Suggested selections are: 12.2, 12.4, and 12.7.2 (for engineers). Chapter 13 presents an im-
 

portant research area and is primilarily geared to mathematics majors. Computer scientists
or engineers may prefer to cover this material in less detail.
To make these suggestions more specific, the following two tables are offered as sam-
ple course outlines. Numbers refer to sections in the text. A semester course represents
approximately 30 lectures of 75 minutes each whereas a quarter course is approximately
20 lectures of 75 minutes each. Different topics are selected for a mathematics course and
a non-mathematics course.

Semester course
Weeks Mathematics Computer Science / Eng.
1.9 –1.13 1.1 – 1.6 (Read)
1–3 2.1 – 2.5 1.7 – 1.13, 2.1 – 2.2
3.1 – 3.3, 3.7 3.1 – 3.7
4.1 – 4.3 4.1 – 4.2
4–6 5. 1 – 5.4 5.1 – 5.2.1
6.1 – 6.3 6.1 – 6.3
6.4 – 6.7 (Except 6.5.2) 6.4 – 6.5 (Except 6.5.5)
7–9 6.9 – 6.11 6.7.1, 6.8–6.9, 6.11.3.
7.1 – 7.3 7.1 – 7.3
7.4.1; 7.4.2 – 7.4.3 (Read) 7.4.1; 7.4.2 – 7.4.3 (Read)
10 – 12 8.1, 8.2, 8.4; 9.1 – 9.3 8.1 – 8.3; 9.1 – 9.3
10.1 – 10.3 10.1 – 10.4
10.5.1 – 10.5.6 10.5.1 – 10.5.4
13 – 15 10.6 ; 12.2 – 12.4 11.1 – 11.4 (Read); 11.5 – 11.6
13.1 – 13.6 12.1 – 12.2; 12.4 – 12.7

Quarter course
Weeks Mathematics Computer Science / Eng.
1–2 1.9 – 1.13, 3.1 – 3.2 1.1 – 1.6 (Read); 3.1 – 3.7
4.1 – 4.3 4.1
3–4 5.1 – 5.4 5.1 – 5.2.1
6.1 – 6.4 6.1 – 6.3
5–6 6.4 – 6.7 (Except 6.5.2) 6.4 – 6.5 (Except 6.5.5)
6.11, 7.1 – 7.3 6.7.1, 6.11.3, 7.1 – 7.3
7–8 7.4.1; 7.4.2 – 7.4.3 (Read) 7.4.1; 7.4.2 – 7.4.3 (Read)
9.1 – 9.3; 10.1 – 10.3 9.1 – 9.3; 10.1 – 10.3
9 – 10 10.6 ; 12.2 – 12.4 11.1 – 11.4 (Read); 11.5 – 11.6
13.1 – 13.4 12.1 – 12.2; 12.4 – 12.7
     

             
    

15  ?!&8#"$D%$CE&(%$6')4=C!*9($+,F-G)-/9 E"H.$*&5$&0* !$213#"%$.&I45<JL"6K "M$7BA&8$6$')9 $60*-E)N-#1": 6"+.;?-G<$#"&8$6=*> $601O-?9 .0-4P$+B&@E2! R9 'A$Q5B#&8 S


"+B&T.! U?.[]A"+J $6.)&0$:VD+).;--#WX*$F&I-#'"+$&I-.)<WY$,C<!$+-,!9"6VE2$Z ^$.9 4$Q5 "H$$-#&8E"H"_ &0*VX$,-EQ5.$6"%"+#E"2.) .[WA-\`CE&8$<%aY$<W\C0&8"6$+!L&8.[,CE'';.!E.).[W?C#"N9 $6"+*$$ 9


.Q54L)]-#-EV/.#1L.4^9 $<"+WA'A$>$,+0.[-b-Q5<$E#""6H>$Q5&8E$+"_H $<-#!"%9[$<)W7-!+$9 VE<2E L f;!<-!WZ9 Vb0-b4T.!9 &0-"6$+$+&c%!$>9 'A)$-B!&89[VEJ%$6db&8W[# *"2$7.;-B!$<9 $V#- e
'A[a$<YC&8E$<"_W` .;"H-E.#^1g!&8-W>WMQ5B#2"+&T, <$6&q$h9 #U&i#2"20-E .;'j-#4kSr"r&8.[V!QlA$"+Q5$$6"6W[E .)HWA&8<$6J "2m+E"_$+ %.;$:-^+..[4 -Y<$&0#""2H L)9!n(&8$N op-E$.#&q1s$-#"2BA $2!S 9
152+.;hQt"H.!0,-E.['9<#9J $+*H$`(QL0$`Q`.!Q5.&8$:)#"%&0&I"H$.;)&TB!-#!CE"g9kBA"(+$+.6<*.;)$-#CE&q*$+H$W>$@&I'A.0-L$4u-"+"+<$:$g g"+&&88$.[-!A$Wt#"%&I"H$"_.#&;$+1g1^xF)&89 WN)-WPBA&$tI&8.6$<vwaY$<$C29 #4"20&8k $L.[C!-#9AW[Sw0 "r-5opV!$$+$&8=5$"%!-#Q5"gB!$69 !"+6-E).)09-EWAV#' S
"+H.;$,Q5$`B.!"+.;]$+J.!&0V,4q.)&y"+$`)9 '.!&T "+!QLL)-WbW!$6fz-0-E',"6$N-E."%#"2 .;->CE%$<W>"+!&I.;CE'[E.;C#"

      
{}|E{
For the sake of generality, all vector spaces considered in this chapter are complex, unless
~ D€  ~R€
‚„ƒF;†D‡@ˆŠ‰[†‹‹‹† ~ †dŒ}ˆ‰[†‹‹‹E† € ‹
otherwise stated. A complex matrix is an array of complex numbers

The set of all ~Ž€


matrices is a complex vector space denoted by `‘“’z” . The main

• – ˆ  —™˜  †˜ –
operations with matrices are the following:
~D€
š ƒ0 ˆ›‚ ƒ0 —œ ƒ0 † ‡@ˆŠ‰[†<u†‹‹‹ ~ †Œ/ˆO‰;†+u†‹‹‹ € ‹
Addition: , where , and are matrices of size and

ž
   (nK  [K       
      

• Multiplication by a scalar: – ˆ  , where


š ƒF ˆG‚ ƒ0 † ‡(ˆ‰[†<u†‹‹‹ ~ †Œ/ˆŠ‰;†+z†‹‹‹ € ‹
• Multiplication by another matrix:

– ˆ ˜ †
where j‘“’z” † ˜j”>’ † –j‘“’ , and

š ƒ0 ˆ  ” ‚ ƒ  œ  ‹
‚ Œ 
Sometimes, a notation with column vectors and row vectors is used. The column vector
is the vector consisting of the -th column of ,
!"" ‚‚%$ &(''
‚ ˆ # )
‹
‚‘
..
.

Similarly, the notation ‚ƒ ‡


will denote the -th row of the matrix 
‚ ƒ `ˆ*w‚ ƒ  †+‚ ƒ $[†‹‹‹†+‚ ƒ ”,+ ‹
For example, the following could be written

 ˆ*w‚  †6‚ -$ †‹‹‹†6‚ ” + †


!"" ‚  & ''
or

ˆ # ‚%$.‹‹ ) ‹
" '

‚‘
š Fƒ ˆ ‚ 6ƒ 2† ‡ˆ ‰;†‹‹‹E † € †@ ŒX‘“ˆ ’z” ‰;†‹‹‹E† ~ – t”>’u‘ 0/
The transpose of a matrix in is a matrix in whose elements are
defined by . It is denoted by
relevant to use the transpose conjugate matrix denoted by 21
. It is often more
and defined by

1 4 ˆ 3 / ˆ  / †
in which the bar denotes the (element-wise) complex conjugation.
Matrices are strongly related to linear mappings between vector spaces of finite di-
mension. This is because they represent these mappings with respect to two given bases:
one for the initial vector space and the other for the image vector space, or range of . 
           dK @n zK  

                     
{}| 

A matrix is square if it has the same number of columns and rows, i.e., if € ˆ ~ . An

ˆ ƒ0 ƒ ‘†
important square matrix is the identity matrix
       

ƒF
where  is the Kronecker symbol. The identity matrix satisfies the equality

 –ˆ  ˆ 

 ~
–N ˆ – ˆ ‹
for every matrix of size . The inverse of a matrix, when it exists, is a matrix such that


The inverse of is denoted by  .   


The determinant of a matrix may be defined in several ways. For simplicity, the fol-
‚ matrix * is defined ‰‰ w‚
lowing recursive definition is used here. The determinant of a
as the scalar . Then the determinant of an matrix is given by ~ D~
+
  *  *! #"   $  * 
 + ˆ ‘  P‰ + ‚  + †
 * ~ މ  * ~ ›‰ Œ
* ˆ
! !
where is an
 matrix obtained by deleting the first row and the -th
column of . A matrix is said to be singular when
+   +
&% and nonsingular otherwise.
+
• * ˜ ˆ
We have the following simple properties:
' ' * ˜}
' • ' * / + ˆ
.
* +
' • *  + ˆ 
'
.
‘ +*
+
' •   * 3 + ˆ
.

•
' 
. * + ˆ‰
.

+
+

From the above definition of determinants it can be shown


tion that maps a given complex value ( to the value *) * (
$ by
 * induction that the func-
! (  is a polynomial ˆ 
 ~ + +
of degree ; see Exercise 8. This is known as the characteristic polynomial of the matrix


 q ž Tž A complex scalar is called an eigenvalue of the square matrix  if


.

ˆ . The vector is called an


+ -,/.01. 2.4350 76
a nonzero vector of t‘ exists such that 
(

of  associated with . The set of all the eigenvalues of  is called the spectrum of  and
8 98 (78 8 eigenvector

is denoted by *  .
(
:
+

A scalar ( is an eigenvalue of if and only if *  ! (  * ˆ*) ( =% . That is true
+ <; +


~
if and only if (iff thereafter) ( is a root of the characteristic polynomial. In particular, there
are at most distinct eigenvalues.
It is clear that a matrix is singular if and only if it admits zero as an eigenvalue. A well

5 / 8 ž Tž
known result in linear algebra is stated in the following proposition.
<3 <32>?. 1.4350 76
A matrix  is nonsingular if and only if it admits an inverse.
         (nK  [K 
      

 * +
Thus, the determinant of a matrix determines whether or not the matrix admits an inverse.
The maximum modulus of the eigenvalues is called spectral radius and is denoted by

 *  + ˆ    ‹ )
(

 *  + ˆ ƒ ‘  ‚ ƒqƒ ‹
The trace of a matrix is equal to the sum of all its diagonal elements



It can be easily shown that the trace of is also equal to the sum of the eigenvalues of
counted with their multiplicities as roots of the characteristic polynomial.

5 / q
<3 <32>?. 2.4350 ž
76

If ( is an eigenvalue of , then ( 3 is an eigenvalue of 01 . An 
eigenvector of 01   associated with the eigenvalue ( 3 is called a left eigenvector of .

When a distinction is necessary, an eigenvector of is often called a right eigenvector.


Therefore, the eigenvalue ( as well as the right and left eigenvectors, 8 and , satisfy the
 
 ˆ †  1  ˆ  1 †
relations
8 (78 (

1  1 ˆ 3 1 †  1  ˆ 3  ‹
or, equivalently,
8 (78 (

  
         
{b|

The choice of a method for solving linear systems will often depend on the structure of


the matrix . One of the most important properties of matrices is symmetry, because of
its impact on the eigenstructure of . A number of other classes of matrices also have

• 0/ ˆˆ 
particular eigenstructures. The most important ones are listed below:

• Symmetric matrices:
01  ˆ
.

• Hermitian matrices:
/ ˆ 
.
!
• Skew-symmetric matrices: 0
1  !
.

• Skew-Hermitian matrices:
ˆ 0
01 ‚ ƒ0: p†g1 ‡<†=Œ/ˆŠ‰;†‹‹‹E†
.

• Normal matrices:
Nonnegative matrices: %
.
~ (similar definition for nonpositive,

• Unitary matrices: 1   ˆ
positive, and negative matrices).

.
  dK
       


It is worth noting that a unitary matrix
21 , since
 is a matrix whose inverse is its transpose conjugate

1 ˆ  
 ˆ 1‹ J
  

A matrix such that 1   


is diagonal is often called orthogonal.
Some matrices have particular structures that are often convenient for computational
purposes. The following list, though incomplete, gives an idea of these special matrices
which play an important role in numerical analysis and scientific computing applications.
• ‚ ƒ0 ˆ&% for Œ ˆŽ‡
 ˆ  *k‚   †+‚%$-$[†‹‹‹†+‚ ‘[‘+ ‹
Diagonal matrices: . Notation:


• ‚ ƒF ˆ ‡Œ % for
• ‚ ƒF ˆ ‡lŒ
Upper triangular matrices: .
% for
• ‚ ƒ0 ˆ Œ ˆs‡ Œˆs‡ — ‰
Lower triangular matrices: .
=% for
• Upper bidiagonal matrices:
‚zƒ0:ˆ Œ ˆs‡ Œˆs‡ ‰
or .

 Œ ‡  3‰
=% for /!
• ‚zƒ0ˆ ‡<†=Œ
Lower bidiagonal matrices: or .
&% for any pair such that !
2

 ˆ   *k‚Yƒ ƒ  †6‚„ƒ8ƒ6†6‚„ƒ ƒ  + ‹


Tridiagonal matrices: . Notation:
    "

• ‚ ƒ0 ˆ ‡ € Œ  ‰ ‡ —€  € € 



&% only if *!

•
Banded matrices:
€ p— €,—  , where and are two

‚ ƒ0 ˆ ‡<†=Œ ‡ Œ — ‰
nonnegative integers. The number is called the bandwidth of .
Upper Hessenberg matrices: % for any pair such that . Lower

•  ˆ 1 
Hessenberg matrices can be defined similarly.

•
Outer product matrices: 8 , where both 8 and are vectors.
Permutation matrices: the columns of  are a permutation of the columns of the

•
identity matrix.
Block diagonal matrices: generalizes the diagonal matrix by replacing each diago-

 ˆ   *    †  $ $ †‹‹‹E†  ‘)‘ + ‹


nal entry by a matrix. Notation:


• Block tridiagonal matrices: generalizes the tridiagonal matrix by replacing each

 ˆ    *  ƒ ƒ  †  ƒ8ƒ †  ƒ ƒ  + ‹


nonzero entry by a square matrix. Notation:
 4   "

The above properties emphasize structure, i.e., positions of the nonzero elements with
respect to the zeros. Also, they assume that there are many zero elements or that the matrix
is of low rank. This is in contrast with the classifications listed earlier, such as symmetry
or normality.
         (nK  [K 
      

                


{b| 

 
† g† + ™  †
An inner product on a (complex) vector space  is any mapping  from   into ,
 *

 
 



which satisfies the following conditions:
 * 
is linear with respect to  , i.e.,
;† + ˆ † + — $ * $[† + † † † † ‹

+
*(   — ( $ $ 
(   *  
(      $  
( ( $ 

 
 * 

* c† ˆ * g† † x† ‹
 is Hermitian, i.e.,
+
     


 
+ +
 * 

g† p† ˆ z‹
 is positive definite, i.e.,
+
*   %  %

x† g†

+
Note that (2) implies that  *   is real and therefore, (3) adds the constraint that 
* 
+
must also be positive for any nonzero  . For any  and  ,
+
* g† ˆ * g† z‹ ˆ p‹ * x† ˆ z‹  %  %  &%   =%

* p† ˆ * z† ˆ * g† ˆ
  
+ + +
Similarly,  %  % for any  . Hence,  % 

 % &% for any  and  . In particular
+ + +
* x†  * g† ˆ Rˆ z†
the condition (3) can be rewritten as

  % and 
  =% iff  =%
+ +
as can be readily shown. A useful relation satisfied by any inner product is the so-called
Cauchy-Schwartz inequality:
 * x† +  $  * g† + * c† + ‹
         J

  

The proof of this inequality begins by expanding  * 2! (  2!


( 
using the properties of
+
c† ˆ+ * g† + 3 * g† + * c† + —   $ * c† + ‹
 ,

* ! (   ! (    ! (   ! (  
(  

g† ˆ + * y† ˆ ˆ
  

If  % then the inequality is trivially satisfied. Assume that  % and take (


y† + 
c† + ˆ * x† + l  * * gc† † +  $ —  * *gc† † +  $

*  

 
. Then  *  !
(   !
(  % shows the above equality
+
   
 * ! (
ˆ * x† +  * *xc† † +  $+ †
%  !
( 

  !  
   
 
+  
  ! 
  

+
which yields the result (1.2).
In the particular case of the vector space  , a “canonical” inner product is the ˆ ‘ Rˆ* gƒ ƒ
Euclidean inner product. The Euclidean inner product of two vectors     and
+ ‘
     XK
         n   @n     

/ˆ * ƒ + ƒ  ‘ j‘
    of is defined by

* x† + ˆ ƒ ‘  yƒ ;3 ƒ2†
   J
  

* g† ˆ 1 x‹ J
which is often rewritten in matrix notation as
      
+
It is easy to verify that this mapping does indeed satisfy the three conditions required for
inner products, listed above. A fundamental property of the Euclidean inner product in

 x† + ˆ * g†  1 + † x† ™5‘ ‹ J
matrix computations is the simple relation
*         

product is a matrix such that    


˜
The proof of this is straightforward. The adjoint of with respect to an arbitrary inner
for all pairs of vectors  and  . A matrix *  g† ˆ * x† ˜

is self-adjoint, or Hermitian with respect to this inner product, if it is equal to its adjoint.
+ +
The following proposition is a consequence of the equality (1.5).
5 / 8
<3 <32>?. 1.4350 ž
76

 x†  + ˆ* g†
Unitary matrices preserve the Euclidean inner product, i.e.,
*    

for any unitary matrix  and any vectors  and  .


+

  6
Indeed, *  g†  + ˆ * g†  1 + ˆ * g†
     
.
+

A vector norm on a vector space  is a real-valued function  
on  , which

 z†   † ˆ Dˆ
satisfies the following three conditions:
% =% iff  =% .
 
ˆ  †  †
   

† x†   
and
      

— —
 .
  
    

ˆ t‘
 .
For the particular case when  , we can associate with the inner product (1.3)

$:ˆ * x†  $ ‹
the Euclidean norm of a complex vector defined by
  
+
It follows from Proposition 1.3 that a unitary matrix preserves the Euclidean norm metric,

 :$ ˆ !$ † g‹
i.e.,
  

The linear transformation associated with a unitary matrix is therefore an isometry.


The most commonly used vector norms in numerical linear algebra are special cases

ˆ ƒ ‘   ƒ    ‹
of the Hölder norms
 


 J
  
         (nK  [K 
      

Note that the limit of 


ˆ  ƒ
when tends to infinity exists and is equal to the maximum
modulus of the  ’s. This defines a norm denoted by

. The cases


, , and ‹ ˆ ‰ ˆ 
ˆ    — $  $  — $ A—  ‘  † $  $
 lead to the most important norms in practice,
 

$:ˆ    —  $  — —  ‘  †


   
 

ˆ ƒ      ƒ  ‹
   
  

 

‘

 

The Cauchy-Schwartz inequality of (1.2) becomes


 * x† +   $
    !‹
$

       
{b| 

  ‘“’u”
  ˆ     ‹
For a general matrix in , we define the following special set of norms

   
  

J
  

‹ ‹ ‹


The norm is induced by the two norms and . These norms satisfy the usual

  ˆ p†    


 5‘“’z” † ˆ ˆ
properties of norms, i.e.,
% 

†  ™j‘y’z” †  ™  &% %

 
and iff

— ˜ †  † ˜  ‘“’u” ‹
 

™— ˜   



The most important cases are again those associated with 
is of particular interest and the associated norm



is simply denoted by ‹  † lˆ ‰;†+u†
 . The case


and


‹
˜     ˜  †
called a “ -norm.” A fundamental property of a -norm is that
 

an immediate consequence of the definition (1.7). Matrix norms that satisfy the above


property are sometimes called consistent. A result of consistency is that for any square

  ‹
matrix ,
 
In particular the matrix  
converges to zero if any of its -norms is less than 1.
The Frobenius norm of a matrix is defined by



&  $
 ˆ #  ” ƒ ‘   ‚„ƒ0  ) ‹
!
 $ J
 

 ‰ €
This can be viewed as the 2-norm of the column (or row) vector in "! consisting of all the
columns (respectively rows) of listed from to (respectively to .) It can be shown
: ‰ ‘ ~
    pe    ze  @n    

that this norm is also consistent, in spite of the fact that it is not induced by a pair of vector
norms, i.e., it is not derived from a formula of the form (1.7); see Exercise 5. However, it
does not satisfy some of the other properties of the -norms. For example, the Frobenius 

norm of the identity matrix is not equal to one. To avoid these difficulties, we will only use
the term matrix norm for a norm that is induced by two norms as in the definition (1.7).
Thus, we will not consider the Frobenius norm to be a proper matrix norm, according to
our conventions, even though it is consistent.
The following equalities satisfied by the matrix norms defined above lead to alternative

  ˆ    ” ƒ ‘   ‚ ƒ0  †


definitions that are often easier to work with:

    J
 ˆ ƒ   ‘  ”   ‚ ƒ0  †

 J
  

 $ ˆ  *  1  +  $ $ ˆ  * : 1 +  $  †$


  J
   
 ˆ *  1  + ˆ *  1 + ‹
   J
    
As will be shown later, the eigenvalues of
  1, ƒ †2‡bˆ ‰;†‹‹‹E† €
2
are nonnegative. Their square roots

(1.11) states that  $


are called singular values of and are denoted by :

is equal to : , the largest singular value of .
. Thus, the relation

   ž Tž
76
From the relation (1.11), it is clear that the spectral radius *
+
is equal 
to the 2-norm of a matrix when the matrix is Hermitian. However, it is not a matrix norm

‰ †
in general. For example, the first property of norms is not satisfied, since for

 ˆ
 %

ˆ˜   *  / + ˆ   ˆ
% %

we have =% while % . Also, the triangle inequality is not satisfied for the pair , 
and
 * —™˜ + ˆ‰
where is defined above. Indeed,
while * * %   + —  ˜ + ˆ p‹


              
{}| 

A subspace of is a subset of ‘
linear combinations of a set of vectors 
 ‘ ˆ A‚ †6‚ †‹‹‹†6‚
that is also a complex vector space. The set of all
  $  of is a vector subspace t‘

called the linear span of  ,
  

 
    $ ˆ  A‚ †6‚ †‹‹‹E†6‚


ž          @n K  ;K       


ˆ 5‘ ˆ ƒ   ƒ ‚ ƒ  ƒ ƒ   ‹


 
    
  

‚ƒ 



‚ƒ
If the ’s are linearly independent, then each vector of  *   admits a unique expres-

sion as a linear combination of the ’s. The set  is then called a basis of the subspace
    .

Given two vector subspaces  and $ , their sum is a subspace defined as the set of
all vectors that are equal to the sum of a vector of  and a vector of $ . The intersection
of two subspaces is also a subspace. If the intersection of  and $ is reduced to %  , then
the sum of  and $ is called their direct sum and is denoted by  $ . When ˆ
is equal to ‘ 
, then every vector of ‘
can be written in a unique way as the sum of
an element   of  and an element  $ of $ . The transformation
is a linear transformation that is idempotent, i.e., such that
$ that maps  into  
. It is called a projector ˆ
onto  along $ .
Two important subspaces that are associated with a matrix of are its range,  `‘“’z”
defined by 
*        + ˆ    ” †     J
and its kernel or null space 
  *  + ˆ  5”   \ˆ ‹
   &% 


The range of is clearly equal to the linear span of its columns. The rank of a matrix
is equal to the dimension of the range of , i.e., to the number of linearly independent 
~   ‘“’u”
columns. This column rank is equal to the row rank, the number of linearly independent
rows of . A matrix in is of full rank when its rank is equal to the smallest of €
and .

    

A subspace is said to be invariant under a (square) * !matrix

whenever  . In

particular for any eigenvalue ( of the subspace ( is invariant under . The
 * !  +
subspace (
+ 
is called the eigenspace associated with ( and consists of all the
eigenvectors of associated with ( , in addition to the zero-vector.

             


    
{b|
ˆ ‚  †6‚%$[†‹‹‹†+‚
  is said to be orthogonal if
*w‚„ƒ6†6‚[ ˆ ‡ ˆŒ;‹
A set of vectors 
=%  
+
It is orthonormal if, in addition, every vector of  has a 2-norm equal to unity. A vector
that is orthogonal to all the vectors of a subspace is said to be orthogonal to this sub-
space. The set of all the vectors that are orthogonal to is a vector subspace called the
orthogonal complement of and denoted by  . The space is the direct sum of and
its orthogonal complement. Thus, any vector  can be written in a unique fashion as the
‘
sum of a vector in and a vector in  . The operator which maps  into its component in
the subspace is the orthogonal projector onto .
              (n    žzž
Every subspace admits an orthonormal basis which is obtained by taking any basis and
“orthonormalizing” it. The orthonormalization can be achieved by an algorithm known as

vectors     $ † ;†‹‹‹E†
the Gram-Schmidt process which we now describe. Given a set of linearly independent
  
, first normalize the vector   , which means divide it by its 2-
norm, to obtain the scaled vector   of norm unity. Then  $ is orthogonalized against the
vector   by subtracting from  $ a multiple of   to make the resulting vector orthogonal
to   , i.e.,
 $  $ ! *  $     † ‹
The resulting vector is again normalized to yield the second vector  $ . The -th step of
+
ƒ ‡
the Gram-Schmidt process consists of orthogonalizing the vector  against all previous
vectors  .

 / qPž Tž     


3 . 76

1. Compute    ˆ  $ . If    ˆ Stop, else compute  ˆ


/
Œ ›
ˆ z
 
† 
‹ 
‹ E
‹ †  .
 %   

Compute  ƒ0  ˆ* † ƒ , for ‡(ˆ‰[†<u†‹‹‹E†HŒ ‰


2. For  Do:   2!

 ˆ z ƒ    ƒ0 ƒ
3.
+ 
  ! 

 % %ˆ ˆ  $ ,
4.
5.
6. If  =%

then Stop, else ˆ  %   
7. EndDo

It is easy to prove that the above algorithm will not break down, i.e., all  steps will
be completed if and only if the set of vectors    $  
is linearly independent. From † †‹‹‹†
lines 4 and 5, it is clear that at every step of the algorithm the following relation holds:

ˆ ƒ   ƒ0 ƒ ‹  

If  ˆ   † $ †‹‹‹† "!  ˆ   † $ †‹‹‹ƒ0 † "! #


  
,    , and if denotes the  $ upper triangular M
matrix whose nonzero elements are the  defined in the algorithm, then the above relation

ˆ # ‹ J
can be written as
    
This is called the QR decomposition of the matrix  . From what was said above, the
QR decomposition of a matrix exists whenever the column vectors of  form a linearly
~7%
independent set of vectors.
The above algorithm is the standard Gram-Schmidt process. There are alternative for-
mulations of the algorithm which have better numerical properties. The best known of
these is the Modified Gram-Schmidt (MGS) algorithm.
 / qPž  '&( )+*, -. /01
3 . 76

1. Define  - ˆ  $ . If  - ˆ Stop, else  ˆ


/
Œ ›
ˆ z
 
† 
‹ 
‹ E
‹ †  .
 &%   

2. For  Do:
ž          @n K  ;K 
      

3.
4. For ‡(ƒ0ˆˆ ‰[†ˆ ‹„‹†‹E†=Œƒ ‰
Define   
1! , Do:
5.
6.

  ˆ ƒ0 ƒ
*
  !  + 
  

%,ˆ % ˆ
7. EndDo
8.
9.
Compute 
If  = %
 $ ,
then Stop, else  # ˆ  %  
10. EndDo

Yet another alternative for orthogonalizing a sequence of vectors is the Householder

ˆ l † J
algorithm. This technique uses Householder reflectors, i.e., matrices of the form
 ! 
/    
in which is a vector of 2-norm unity. Geometrically, the vector  represents a mirror
image of  with respect to the hyperplane  *   . 
To describe the Householder orthogonalization process, the problem can be formulated
as that of finding a QR factorization of a given matrix  . For any vector  , the vector ~P €
Dˆ †
for the Householder transformation (1.15) is selected in such a way that
  

where  is a scalar. Writing * ! l / + Dˆ  


  
 / 3ˆ   ‹ J
yields
   !     
is a multiple of the vector  !   ,
3ˆ ‹
This shows that the desired
 !  

 !   $

 Dˆ
For (1.16) to be satisfied, we must impose the condition
*  !   /   ! 
$
 $
which gives * 

 $ ! 
  !  ˆ
+
$
$ l   — 
+ $
, where 
;
 / 
is the first component

 ˆ $!‹
of the vector . Therefore, it is necessary that
 

 ˆ $)†
In order to avoid that the resulting vector be small, it is customary to take
!     * 
+

3ˆ — —
which yields




  * 
 *  + 
 $ 
$  $
‹ J
   

Given an ~},€
matrix, its first column can be transformed to a multiple of the column
  , by premultiplying it by a Householder matrix  ,
+

  ;        † ˆ ‹
Assume, inductively, that the matrix  has been transformed in  ! successive steps into X‰
              (n    ž
the partially upper triangular form
!"" &(''
""
""
 - 

$
$-$
 
 $
  
  
 
  
 
 

 $

”” ''
''
""
 
        
” ''
  ;
 

‹‹‹    ˆ ""
""
..
.

 

 
 
..
.
..
.
''
''
‹
#
  "  
..
.
 
..
.
 " 
..
.
” )

‘    
‘” 

This matrix is upper triangular up to column number  ! . To advance by one step, it must G‰
މ ›‰
be transformed into one which is upper triangular up the  -th column, leaving the previous
columns in the same form. To leave the first  !
‰columns unchanged, select a vector
which has zeros in positions through  ! . So the next Householder reflector matrix is
defined as

 ˆ   !  / † J
  

in which the vector  is defined as




 ˆ 
$
† J
   

where the components of the vector are given by

‡‡(ˆ
ƒ(ˆ ƒ — ƒqƒ J
  %
 if 

‡  
   
if 

if 

with
 $
 ƒ ‘  ƒ   ‹

 ˆ  * 
  
+
 
$ J
   

We note in passing that the premultiplication of a matrix  by a Householder trans-


form requires only a rank-one update since,

* !   /
+
 ˆ  ! / where  ˆ›  / >‹
Therefore, the Householder matrices need not, and should not, be explicitly formed. In

Assume now that ! € ‰


addition, the vectors need not be explicitly scaled.
Householder transforms have been applied to a certain matrix
ž          @n K  ;K 
      

 of dimension ~D€ , to reduce it into the upper triangular form,


!"" &(''
""
""
  

$
$$

 $
  
 

 $

”” ''
''
""

  
” ''' ‹ J
”  ” $ ‹‹‹ ˆ .. ..

”  ""  
.
  .
” ” ''
 
 
;   " %
..
# . )
..
.

 ƒ
Recall that our initial goal was to obtain a QR factorization of  . We now wish to recover
the and # matrices from the  ’s and the above matrix. If we denote by the product
of the on the left-side of (1.22), then (1.22) becomes

 ˆ 
# 
† J
   

in which # is an € € 
upper triangular matrix, and is an * !
Since is unitary, its inverse is equal to its transpose and, as a result,
~ €+€ zero block.

 ˆ /

# 
ˆ  $ ^‹‹‹ ” 


# 
‹
If 
”
is the matrix of size which consists of the first ~ € € columns of the identity

# ‹ ˆ
matrix, then the above equality translates into

ˆ € ”  / 
The matrix 2/
” represents the
 /  ˆ  ”/ /  ” ˆ †
first columns of

/ . Since

 and # are the matrices sought. In summary,


 ˆ # †
in which # is the triangular matrix obtained from the Householder reduction of  (see

 ˆ ‹‹‹ ” ‹
(1.22) and (1.23)) and
  $ 

  / 8Pž
93 . 76 & */ & */ $   & &     &
1. Define  ˆ   †‹‹‹E† !
Š
ˆ [
‰ 
† 
‹ 
‹ 
‹ † ”
€ Do:    $ ‹‹‹ 
 

If  ‰ compute   ˆ
2. For 
3.   

Compute   ˆ
‹‹  ˆ  
 
4. Compute  using (1.19), (1.20), (1.21)
ˆ   $  ‹with
 ! /
5.
6. Compute      
7. EndDo
 (K
                dK ž
ƒ
Note that line 6 can be omitted since the  are not needed in the execution of the
next steps. It must be executed only when the matrix is needed at the completion of  /—
‰[†‹‹‹E† ~
the algorithm. Also, the operation in line 5 consists only of zeroing the components 
and updating the  -th component of   . In practice, a work vector can be used for
 and its nonzero components after this step can be saved into an upper triangular matrix.
Since the components 1 through  of the vector  are zero, the upper triangular matrix #
can be saved in those zero locations which would otherwise be unused.

                   
{}|

This section discusses the reduction of square matrices into matrices that have simpler
forms, such as diagonal, bidiagonal, or triangular. Reduction means a transformation that
preserves the eigenvalues of a matrix.
 q
+ -,/.01. 2.4350 ž
76
Two matrices  ˜ are said to be similar if there is a nonsingular
and
matrix 
 ˆ X˜  ‹
such that

The mapping ˜   is called a similarity transformation.

It is clear that similarity is an equivalence relation. Similarity transformations preserve


ˆ 
the eigenvalues of matrices. An eigenvector 8 of is transformed into the eigenvector
 8 of . In effect, a similarity transformation amounts to representing the matrix
˜
˜
8)
in a different basis.
We now introduce some terminology.

An eigenvalue ( of has algebraic multiplicity  , if it is a root of multiplicity 
of the characteristic polynomial.

If an eigenvalue is of algebraic multiplicity one, it is said to be simple. A nonsimple


eigenvalue is multiple.



The geometric multiplicity  of an eigenvalue ( of is the maximum number of

independent eigenvectors associated with it. In other words, the geometric multi-
plicity  is the dimension of the eigenspace * ! (  .
 +
A matrix is derogatory if the geometric multiplicity of at least one of its eigenvalues
is larger than one.

An eigenvalue is semisimple if its algebraic multiplicity is equal to its geometric

† )†‹‹‹†
multiplicity. An eigenvalue that is not semisimple is called defective.
Often, (  ( $ ( ( 

~
) are used to denote the distinct eigenvalues of . It is


easy to show that the characteristic polynomials of two similar matrices are identical; see


Exercise 9. Therefore, the eigenvalues of two similar matrices are equal and so are their
algebraic multiplicities. Moreover, if is an eigenvector of , then  is an eigenvector ˜ 
ž          @n K  ;K 
      


of and, conversely, if  is an eigenvector of then    is an eigenvector of . As 
a result the number of independent eigenvectors associated with a given eigenvalue is the

˜
same for two similar matrices, i.e., their geometric multiplicity is also the same.

      "!#$

The simplest form in which a matrix can be reduced is undoubtedly the diagonal form.
Unfortunately, this reduction is not always possible. A matrix that can be reduced to the
diagonal form is called diagonalizable. The following theorem characterizes such matrices.

P> /j+ž Tž A matrix of dimension ~ is diagonalizable if and only if it has ~


3 76
line-

   
arly independent eigenvectors.
6
 %  ˆ &%   ~   ˆ %
A matrix is diagonalizable if and only if there exists a nonsingular matrix 
and a diagonal matrix such that  , or equivalently , where % is

~  ƒ ˆ(' ƒ ƒ
a diagonal matrix. This is equivalent to saying that linearly independent vectors exist —


the column-vectors of — such that  
. Each of these column-vectors is an
eigenvector of .


eigenvalues of a matrix are semisimple, then  ~
A matrix that is diagonalizable has only semisimple eigenvalues. Conversely, if all the
has eigenvectors. It can be easily
shown that these eigenvectors are linearly independent; see Exercise 2. As a result, we

5 / q ž
have the following proposition.
<3 <32>?. 2.4350 76
A matrix is diagonalizable if and only if all its eigenvalues are
semisimple.

 ~
Since every simple eigenvalue is semisimple, an immediate corollary of the above result
is: When has distinct eigenvalues, then it is diagonalizable.

*)  ,+-./0 /12  "!#$

From the theoretical viewpoint, one of the most important canonical forms of matrices is
the well known Jordan form. A full development of the steps leading to the Jordan form
is beyond the scope of this book. Only the main theorem is stated. Details, including the
ƒ ˆ ƒ €ƒ
 ƒ+
proof, can be found in standard books of linear algebra such as [117]. In the following,
ƒ
 
refers to the algebraic multiplicity of the individual eigenvalue " (  and 3  is the index of the
 * !
(
 54 * ! (  64 . 
P> /j+ž
eigenvalue, i.e., the smallest integer for which
+

ƒ ƒ
3 76
Any matrix can be reduced to a block diagonal matrix consisting of
 diagonal blocks, each associated with a distinct eigenvalue ( . Each of these diagonal
ƒ
blocks has itself a block diagonal structure consisting of  sub-blocks, where  is the ƒ
geometric multiplicity of the eigenvalue ( . Each of the sub-blocks, referred to as a Jordan
 (K
                 dK ž
block, is an upper bidiagonal matrix of size not exceeding 3 ƒ  € ƒ , with the constant ƒ (
on the diagonal and the constant one on the super diagonal.
‡
The -th diagonal block, ‡:ˆ ‰[†‹‹‹†
, is known as the -th Jordan submatrix (sometimes
‡ ‡ Œ[ƒ € — € — ;—
€ƒ — ‰
 $ 


“Jordan Box”). The Jordan submatrix number starts in column


 . Thus,
;
 !" &(' ""  ''
"" $ ''

  ˆ ˆ ""

''
†
..
 
.

# ..
. )

ƒ
where each is associated with ( ƒ and is of size €ƒ the algebraic multiplicity of ( . It has
 ƒ
itself the following structure,
!"" ƒ ƒ$ &('' !"" ( ƒ ‰ &(''
ƒˆ ƒ ˆ ..
.
..
ƒ ‰ƒ ) ‹
.
#
;ƒ 4 ) #
.. with
. (

ƒ
Each of the blocks
ƒ ƒ ƒ
corresponds to a different eigenvector associated with the eigenvalue
(

( . Its size 3 is the index of ( .

*    1& /12  "!#$

Here, it will be shown that any matrix is unitarily similar to an upper triangular matrix. The

~ ‰
completed by ! ‘
only result needed to prove the following theorem is that any vector of 2-norm one can be
additional vectors to form an orthonormal basis of .
P> /5 ž For any square matrix  , there exists a unitary matrix 
3 6

1 ˆ #
such that

is upper triangular.

  6
~ ~ˆ ‰
Assume that it is true for ! ~ ‰
The proof is by induction over the dimension . The result is trivial for
and consider any matrix of size . The matrix admits
.
~
loss of generality that 8 $ ˆ ‰
at least one eigenvector 8 that is associated with an eigenvalue ( . Also assume without
O‰ ˆ †
 ˆ ~ s
find an  † 
 ($8 ~ * ! matrix such that the
! and+ hence, ~s~
. First, complete the vector 8 into an orthonormal set, i.e.,
matrix   8 ! is unitary. Then

1  ˆ 1  J
 1  †  ! ˆ ‹


 1,
1 8
(78
( 8    
% 

* ~ މ  * ~ މ ˜#  ˆ  1  
* ~ ‰  * ~ ‰   +  1 ˜ +   ˆ
Now use the induction hypothesis for the ! ! matrix : There
exists an ! ! unitary matrix such that is upper triangular.
+ +
ž          @n K  ;K 
      

~R~
  ˆ ‰  
Define the matrix
 %
% 

and multiply both members of (1.24) by   1


from the left and   from the right. The
2  
ˆ ~D~
resulting matrix is clearly upper triangular and this shows that the result is true for , with
  which is a unitary matrix.

A simpler proof that uses the Jordan canonical form and the QR decomposition is the sub-
ject of Exercise 7. Since the matrix # is triangular and similar to , its diagonal elements

are equal to the eigenvalues of ordered in a certain manner. In fact, it is easy to extend

the proof of the theorem to show that this factorization can be obtained with any order for
the eigenvalues. Despite its simplicity, the above theorem has far-reaching consequences,
some of which will be examined in the next section.

 
It is important to note that for any  
of is invariant under . Indeed, the relation
~  ˆ 
, the subspace spanned by the first  columns
# implies that for    , we ‰ Œ
have
ƒ
 <ˆ ƒ   ƒF ƒ_‹

 

If we let   ˆ † †‹‹‹†
    $   ! and if #  is the principal leading submatrix of dimension 
of # , the above relation can be rewritten as

ˆ   #  †
ˆŠ‰
which is known as the partial Schur decomposition of . The simplest case of this decom-
position is when  , in which case   is an eigenvector. The vectors  are usually called
 ƒ
Schur vectors. Schur vectors are not unique and depend, in particular, on the order chosen
for the eigenvalues.

real Schur form. Here, diagonal blocks of size 


A slight variation on the Schur canonical form is the quasi-Schur form, also called the
are allowed in the upper triangular

real. A 
matrix # . The reason for this is to avoid complex arithmetic when the original matrix is
block is associated with each complex conjugate pair of eigenvalues of the
matrix.

   ž
76
M !
‰ ‰
Consider the matrix
&
 ˆ # PP‰‰ ‰‰ ) ‹
% %
!
! %

The matrix  has the pair of complex conjugate eigenvalues


z‹  `‹‹‹ ‡  ‹Fu‰;‰ ‹‹‹
%  %
 (K
                 dK ž 

and the real eigenvalue %  z‹q‰  ‹ ‹‹ . The standard (complex) Schur form is given by the pair
of matrices
! % p ‹ z‰ z ‹  ;!‡ z‹  p‹8‰ ‰‡ z‹q‰   &
 ˆ pp‹‹8‰ ;‰   zz‹‹qz‰ ‰ !‡‡ pp‹‹ ;   pp‹‹   )‡‡ zz‹‹ ;z‰  )
! % %  ! % %  % 
# % ! % % %  !9% ! % !9%
%  — %   ! %
9  ! % 

 %  

! u‹   ‹ z
 [
‰ ‰ [ ‡ p‹  “‹ [‡ :u‹ p‰ F
‹  [ ‡
—
and
&
ˆ # % %
u‹   ‹ z‰[‰ [‡ :u‹ ; ‰ ‰[z‹F ‹q‰ p‰ [‡ ) ‹
%
%
% 
%
!
!
 % %
%
%
!
! % 
 !
!

%
% 
%

It is possible to avoid complex arithmetic by using the quasi-Schur form which consists of
the pair of matrices
! !9%  %

ˆ pp‹‹ p‰z‰
%  & zz‹q‹ ‰  zz‹q‹ ;‰ u‰ 
# !9% %
%
% 
% % p‹ z‰
!9%
%  
)
z‹  z‰ z‹ 
! ‰;‹ ‰ 
‹‹  z‹  &
and

# ˆ # ‰;‹   %
!   %
 % %
%
Pz‰[‹‹q‰  ) ‹
!
% 
% % 
 %

ƒ
We conclude this section by pointing out that the Schur and the quasi-Schur forms

of the eigenvalues, any column of can be multiplied by a complex sign 


of a given matrix are in no way unique. In addition to the dependence on the ordering
and a new

corresponding # can be found. For the quasi-Schur form, there are infinitely many ways


to select the blocks, corresponding to applying arbitrary rotations to the columns of
associated with these blocks.

  2     "! $   21  

successive powers 
The analysis of many numerical techniques is based on understanding the behavior of the
of a given matrix . In this regard, the following theorem plays a
fundamental role in numerical linear algebra, more particularly in the analysis of iterative

P> /5 ž
methods.

 * +  ‰.
3 6
The sequence  
,  ˆ z†‰[†‹‹‹#† converges to zero if and only if
%

   6
To prove the necessary condition, assume that
  %
and consider 8
eigenvector associated with an eigenvalue (  of maximum modulus. We have
  a unit

 ˆ 8 (
 
8 †
which implies, by taking the 2-norms of both sides,
   ˆ  
( 8  $  p‹
%
         @n K  ;K 
      

This shows that * (     ˆ   3‰


  + 3‰
.
+
The Jordan canonical form must be used to show the sufficient condition. Assume that
*  . Start with the equality
ˆ 

 
 ‹
To prove that 
important observation is that

converges to zero, it is sufficient to show that converges to zero. An
preserves its block form. Therefore, it is sufficient to prove


;ƒ(ˆ ƒ — ƒ
that each of the Jordan blocks converges to zero. Each block is of the form


ƒ
(
where  is a nilpotent matrix of index 3 , i.e., 


 &% ƒ ƒ ˆ
. Therefore, for  3 ,  ƒ

ƒ ˆ  
Œ G Œ ƒ  ƒ ‹

  


* ( 
 !
 





+
Using the triangle inequality for any norm and taking 

ƒ      Œ * \Œ  ƒ    ƒ ‹
yields

 
 
( 
 !
 ƒ ‰
 

+
 
ƒ
Since ( , each of the terms in this finite sum converges to zero as   . Therefore,
the matrix converges to zero.

An equally important result is stated in the following theorem.


P> /j+ž
3 76 
The series 


  +  ‰
 
converges if and only if  *
of the series is equal to * ! +  .

. Under this condition, !  is nonsingular and the limit

   6

 *  + 3‰
deed, if the series converges, then
 %

The first part of the theorem is an immediate consequence of Theorem 1.4. In-
. By the previous theorem, this implies that

ˆ  + ™— —™ — ‹‹‹ —  +
. To show that the converse is also true, use the equality
 ! "  * ! *  $ 
 *  + 3 ‰   $  !

 + *  + ˆ —™—™ — ‹‹‹ —   ‹
and exploit the fact that since , then is nonsingular, and therefore,
"
* ! 
 ! 

This shows that the series converges since the left-hand side will converge to
In addition, it also shows the second part of the theorem.
* ! + 

.

Another important consequence of the Jordan canonical form is a result that relates
the spectral radius of a matrix to its matrix norm.
        @n bK ^K
           dK yž
P> /5 ž
3 6 ‹ , we have
For any matrix norm

   ˆ  * + ‹

 .

  6
The proof is a direct application of the Jordan canonical form and is the subject
of Exercise 10.

                   
{}|

This section examines specific properties of normal matrices and Hermitian matrices, in-
cluding some optimality properties related to their spectra. The most common normal ma-
trices that arise in practice are Hermitian or skew-Hermitian.

  $   $     


By definition, a matrix is said to be normal if it commutes with its transpose conjugate,

 1  ˆ   1 ‹ J
i.e., if it satisfies the relation
   
An immediate property of normal matrices is stated in the following lemma.
“ X ž Tž
   76
If a normal matrix is triangular, then it is a diagonal matrix.
  6

Assume, for example, that is upper triangular and normal. Compare the first
diagonal element of the left-hand side matrix of (1.25) with the corresponding element of

 ‚ -  $ ˆ   ‘   ‚   $ †
the matrix on the right-hand side. We obtain that

which shows that the elements of the first row are zeros except for the diagonal one. The

to show that =% for . ‚ ƒ0 ˆ ‡ˆ Œ


same argument can now be used for the second row, the third row, and so on to the last row,

A consequence of this lemma is the following important result.


P> /5 ž
3 6
A matrix is normal if and only if it is unitarily similar to a diagonal
matrix.
   6
It is straightforward to verify that a matrix which is unitarily similar to a diagonal
matrix is normal. We now prove that any normal matrix is unitarily similar to a diagonal 
          @n K  ;K 
      

matrix. Let  ˆ  
# 1 be the Schur canonical form of
  where  is unitary and # is

# 1  1 # 1 ˆ # 1  # 1 


upper triangular. By the normality of ,
1

 # 1 # 1 ˆ # # 1  1 ‹
or,

 
Upon multiplication by 1 on the left and on the right, this leads to the equality # 1 # ˆ
# #01 which means that # is normal, and according to the previous lemma this is only
possible if # is diagonal.


Thus, any normal matrix is diagonalizable and admits an orthonormal basis of eigenvectors,
namely, the column vectors of .


The following result will be used in a later chapter. The question that is asked is:

 ~™ ~
Assuming that any eigenvector of a matrix is also an eigenvector of 21 , is normal?   
 ˆ  ˆ   ˆ 

If had a full set of eigenvectors, then the result is true and easy to prove. Indeed, if
is the
:  
matrix of common eigenvectors, then
ˆ %  and 1 % $ , with
 , 
: ˆ  ,
$
%  and % diagonal. Then, 01 $
%  % and 1 $
% %  and, therefore,
1

1 . It turns out that the result is true in general, i.e., independently of the

“  X ž
number of eigenvectors that admits.

A matrix  is normal if and only if each of its eigenvectors is also an


76
eigenvector of 01 .
   
6
 
If is normal, then its left and right eigenvectors are identical, so the sufficient
 ƒ ‡@ƒ ˆ ƒ
‰[†‹‹‹† ƒ ›~ ƒ ƒ ˆ
01  1  ƒ ˆ  ƒ   *   1   ƒ †  ƒ  ˆ
condition is trivial. Assume now that a matrix is such that each of its eigenvectors ,

* ƒ† ƒ

 , with  is an eigenvector of
and since is also an eigenvector of
 and because
, then
(

. For each eigenvector of ,
* 1  ƒ† ƒ ˆ * ƒ†  ƒ ˆ 3 ƒ* ƒ† ƒ
01  . Observe that
, it follows that 
( ,

( . Next, it ˆ 3ƒ +
+ + + +
ƒ ƒ
is proved by contradiction that there are no elementary divisors. Assume that the contrary
ƒ
ƒ + ƒxˆ  ƒ2‹
is true for ( . Then, the first principal vector 8 associated with ( is defined by
! (  8*
 ƒ
*  ƒ6†  ƒ ˆ -ƒ * ƒ2†  ƒ — *  ƒ6†  ƒ ‹  J  
Taking the inner product of the above relation with , we obtain

98 ( 8
+ + +

* ƒ† ƒ ˆ * ƒ† 1  ƒ  ˆ * ƒ† 3 ƒ ƒ+ ˆ ƒ* ƒ† ƒ+‹  J 


On the other hand, it is also true that


* ƒ† ƒ ˆ
98 8 8 ( ( 8
+
A result of (1.26) and (1.27) is that
+
% which is a contradiction. Therefore, has
+


a full set of eigenvectors. This leads to the situation discussed just before the lemma, from
which it is concluded that must be normal.

 ˆ %  1 %
Clearly, Hermitian matrices are a particular case of normal matrices. Since a normal


matrix satisfies the relation , with diagonal and unitary, the eigenvalues
%
of are the diagonal entries of . Therefore, if these entries are real it is clear that
. This is restated in the following corollary.
1 ˆ
 @n
       bK ^K
           dK
/  Y> ž Tž
3 <3 76
A normal matrix whose eigenvalues are real is Hermitian.

As will be seen shortly, the converse is also true, i.e., a Hermitian matrix has real eigenval-
ues.

ˆ * * † † + †
An eigenvalue ( of any matrix satisfies the relation
98 8
(
8 8
+

ˆ+ * * xx† † + †
where 8 is an associated eigenvector. Generally, one might consider the complex scalars


*




 J  

defined for any nonzero vector in ‘


. These ratios are known as Rayleigh quotients and
+

  t‘
are important both for theoretical and practical purposes. The set of all possible Rayleigh
  
‘
quotients as  runs over is called the field of values of . This set is clearly bounded
since each  *  is bounded by the the 2-norm of , i.e.,  *   $ for all  .
+ 
If a matrix is normal, then any vector in
+
can be expressed as
‘ ƒ ƒ†
ƒ  

ƒ
where the vectors  form an orthogonal basis of eigenvectors, and the expression for  *

ˆ * * gx† † + ˆ   ‘ ‘      ‘    †
becomes +


*
+ 


  (  
 
$
$
;

(  J   
+

ƒ ˆ  ‘  ƒ  $   $  ‰;†  ƒ ‘  ƒ ˆ‰[‹


where
%    


From a well known characterization of convex hulls established by Hausdorff (Hausdorff’s

t‘
convex hull theorem), this means that the set of all possible Rayleigh quotients as  runs
over all of is equal to the convex hull of the ( ’s. This leads to the following theorem ƒ
which is stated without proof.
P> /5 ž
3 6
The field of values of a normal matrix is equal to the convex hull of its
spectrum.

The next question is whether or not this is also true for nonnormal matrices and the
answer is no: The convex hull of the eigenvalues and the field of values of a nonnormal
matrix are different in general. As a generic example, one can take any nonsymmetric real
matrix which has real eigenvalues only. In this case, the convex hull of the spectrum is
a real interval but its field of values will contain imaginary values. See Exercise 12 for
another example. It has been shown (Hausdorff) that the field of values of a matrix is a
convex set. Since the eigenvalues are members of the field of values, their convex hull is
contained in the field of values. This is summarized in the following proposition.
         @n K  ;K 
      

5 / q
<3 <32>?. 2.4350 ž
76 
The field of values of an arbitrary matrix is a convex set which
contains the convex hull of its spectrum. It is equal to the convex hull of the spectrum
when the matrix is normal.

*)   $  / / $   2  


A first result on Hermitian matrices is the following.
P> /j+ž
3 76 
The eigenvalues of a Hermitian matrix are real, i.e., : *  +  .
   6
Let ( be an eigenvalue of  and 8 an associated eigenvector or 2-norm unity.

ˆ*  † + ˆ * †  + ˆ *  † + ˆ †
Then
( 98 8 8 98 98 8 (
which is the stated result.

It is not difficult to see that if, in addition, the matrix is real, then the eigenvectors can be
chosen to be real; see Exercise 21. Since a Hermitian matrix is normal, the following is a
consequence of Theorem 1.7.
P> /j+ž Tž
3 76
Any Hermitian matrix is unitarily similar to a real diagonal matrix.

ofj ‘
In particular a Hermitian matrix admits a set of orthonormal eigenvectors that form a basis
.
 †
In the proof of Theorem 1.8 we used the fact that the inner products * 98 8 are real.
+  
Generally, it is clear that any Hermitian matrix is such that *   is real for any vector
 ‘ +
. It turns out that the converse is also true, i.e., it can be shown that if *

 g†  †

t‘ 

is
real for all vectors in , then the matrix is Hermitian; see Exercise 15.
+
Eigenvalues of Hermitian matrices can be characterized by optimality properties of


the Rayleigh quotients (1.28). The best known of these is the min-max principle. We now
label all the eigenvalues of in descending order:
(   $ ( 
 ‘‹ (
Here, the eigenvalues are not necessarily distinct and they are repeated, each according to

generic subspace of . ‘
its multiplicity. In the following theorem, known as the Min-Max Theorem, represents a

P> /j+ž Tžzž


3 76
The eigenvalues of a Hermitian matrix  are characterized by the
ˆ         * * xg† † + ‹  J  
relation
 
  

‘
(   "       
 +
        @n bK ^K
           dK 

  6 ƒ ƒ †‹‹‹† ‘
Let       be an orthonormal basis of ‘
consisting of eigenvectors of 
associated with ( 
these vectors and denote by  *
+
‘the maximum of *  
+
 x† g†
( respectively. Let  be the subspace
 * 
+
spanned by the first  of
over all nonzero vectors
of a subspace . Since the dimension of  is  , a well known theorem of linear algebra
\ ˆ ƒ ƒ ~ b — ‰
ƒ
shows that its intersection with any subspace of  dimension ! 
 is not reduced to

 ƒ  ƒ  ƒ  $
 %  , i.e., there is vector  in   . For this    , we have
*  x†
* x† +
ˆ  ƒ    ƒ  $  
 
(
(


 
+
so that  *
+
(  .
†‹‹‹† ‘
Consider, on the other hand, the particular subspace  of dimension ~ `— ‰
!  which

* gg† † + ˆ   ƒ‘ ƒ   ƒ   ƒ ƒ $  $


is spanned by    . For each vector  in this subspace, we have
*  

‘
( 
   (

subspaces,  *
+ is always 
so that  *   (  . In other words, as runs over all the * ! 
+
+
-dimensional
(  and there is at least one subspace  for which  *  
~ \— ‰
+
(  . This shows the desired result.
+

The above result is often called the Courant-Fisher min-max principle or theorem. As a

ˆ   * * xg† † + ‹
particular case, the largest eigenvalue of satisfies

( 
 
  



J
   
+
Actually, there are four different ways of rewriting the above characterization. The

ˆ            * gg† † J
second formulation is
*  
(  
    +    
    
+
and the two other ones can be obtained from (1.30) and (1.32) by simply relabeling the
eigenvalues increasingly instead of decreasingly. Thus, with our labeling of the eigenvalues

ˆ‘   * * gg† † + †
in descending order, (1.32) tells us that the smallest eigenvalue satisfies

(  
 





J
   
+
‘
with ( replaced by (  if the eigenvalues are relabeled increasingly.
In order for all the eigenvalues of a Hermitian matrix to be positive, it is necessary and

 x† 5‘ † ˆ p‹ z†
sufficient that
*    %
*  g† 
 &%


+
% for any  is
Such a matrix is called positive definite. A matrix which satisfies  
said to be positive semidefinite. In particular, the matrix  1 +
is semipositive definite for
any rectangular matrix, since
   *  1  g† ˆ *  x† 
 %   p† g‹
Similarly,   , + +

1 is also a Hermitian semipositive definite matrix. The square roots of the
eigenvalues of 1 for a general rectangular matrix are called the singular values of
         @n K  ;K 
      

 ƒ

and are denoted by : . In Section 1.5, we have stated without proof that the 2-norm of
any matrix is equal to the largest singular value :  of . This is now an obvious fact, 
 ˆ     ˆ     *  * xx††  + ˆ   *  1,* g † g† + ˆ
because
$$
$      $
$ $ : 

   $      
   
+ +
which results from (1.31).
Another characterization of eigenvalues, known as the Courant characterization, is
stated in the next theorem. In contrast with the min-max theorem, this property is recursive
in nature.
P> /j+ž Tž
3
The eigenvalue (
76 ƒ and the corresponding eigenvector ƒ of a Hermi- 

* † 
 ˆ * † + ˆ   * * gg† † +
tian matrix are such that
   
(          
 
3‰ ,

+ +

ˆ * *   † †   + ˆ  * xg† † + ‹
and for 

(  
 
             
*




J
   
+   +

onal to the first  ! ‰


In other words, the maximum of the Rayleigh quotient over a subspace that is orthog-
eigenvectors is equal to (  and is achieved for the eigenvector  
associated with (  . The proof follows easily from the expansion (1.29) of the Rayleigh
quotient.

                     


{b|{

Nonnegative matrices play a crucial role in the theory of matrices. They are important in
the study of convergence of iterative methods and arise in many applications including
economics, queuing theory, and chemical engineering.
A nonnegative matrix is simply a matrix whose entries are nonnegative. More gener-
ally, a partial order relation can be defined on the set of matrices.
+  q
, .01. 2.43 0 ž
76
~D€ matrices. Then
Let  and ˜ be two
 ˜ 
if by definition, ‚zƒF Žœ ƒF for ‰   ‡ ~ , ‰  Œ  € . If denotes the ~ D€ zero matrix,
then  is if   if  

nonnegative , and . Similar definitions hold in which positive
“positive” is replaced by “negative”.

j‘“’u” 
The binary relation “ ” imposes only a partial order on
in
`‘“’z”
since two arbitrary matrices
are not necessarily comparable by this relation. For the remainder of this section,
     %    ^K  dK “e S   dK 
     # 

we now assume that only square matrices are involved. The next proposition lists a number

5 / 8 ž The following properties hold.


of rather trivial properties regarding the partial order relation just defined.
<3 <32>?. 1.4350 76

The relation  for matrices is reflexive (    ), antisymmetric (if   ˜ and


˜   , then  ˆ ˜ ), and transitive (if  ˜ and ˜ Ž– , then  s– ).
If  and ˜ are nonnegative, then so is their product ˜ and their sum —™˜ .


If  is nonnegative, then so is  .
 
If   ˜ , then  / ˜ / .


If s s˜ , then    ˜  and similarly   ˜


   
.

The proof of these properties is left as Exercise 23.


A matrix is said to be reducible if there is a permutation matrix such that P /
is block upper triangular. Otherwise, it is irreducible. An important result concerning non-

P> /5 ž Tž 
negative matrices is the following theorem known as the Perron-Frobenius theorem.

  ~P ~
3 6 * ,
Let be a real nonnegative irreducible matrix. Then (
; +
the spectral radius of , is a simple eigenvalue of . Moreover, there exists an eigenvector
8 with positive elements associated with this eigenvalue.

A relaxed version of this theorem allows the matrix to be reducible but the conclusion is
somewhat weakened in the sense that the elements of the eigenvectors are only guaranteed
to be nonnegative.

5 / 8 ž
Next, a useful property is established.
<3 <32>?. 1.4350 76 
 † ˜ † – be nonnegative matrices, with  s ˜
,– s˜}– and –N s–N˜ ‹
Let . Then

  6
Consider the first inequality only, since the proof for the second is identical. The

‘ ‚ ƒ š  ‘ œ ƒ  š  † ‰  <‡ †=Œ ~ †


result that is claimed translates into
 

    
which is clearly true by the assumptions.

/  Y> ž
A consequence of the proposition is the following corollary.
3 <3 76
 ˜  ˜
Let and
 ˜ †


 
 %  z‹
be two nonnegative matrices, with . Then
J
   
  6
The proof is by induction. The inequality is clearly true for  % . Assume that ˆ

(1.35) is true for  . According to the previous proposition, multiplying (1.35) from the left

:˜ ‹ J
by results in
"  
     
    @n K  ;K       
     

Now, it is clear that if ˜   ˜ ˜  ˜  


% , then also % , by Proposition 1.6. We now multiply both

:˜    ˜    ‹   J
sides of the inequality by to the right, and obtain
"
  
The inequalities (1.36) and (1.37) show that
proof.
 s˜ " "
, which completes the induction

A theorem which has important consequences on the analysis of iterative methods will

P> /j+ž Tž
now be stated.
3 76
 ˜
s s˜ ‹ J
Let and be two square matrices that satisfy the inequalities
   

Then
 * +   *˜ + ‹ J
   
   6

 *  + ˆ     .
The proof is based on the following equality stated in Theorem 1.6

 
‰
for any matrix norm. Choosing the ! norm, for example, we have from the last property
in Proposition 1.6
 *  + ˆ           ˜   . ˆ  * ˜

 

 
+

P> /j+ž Tž  Let ˜ be a nonnegative matrix. Then  * ˜ Š ‰ if and only if ˜


which completes the proof.
3 76  !
is nonsingular and * ˜ + is nonnegative.
 !

+
   
ˆ–
6
– ˆ ˜  !  *˜ +  ‰
˜
 !
Define . If it is assumed that , then by Theorem 1.5,

–  ˆ * ˜ +  ˆ ƒ  ˜ ƒ ‹
is nonsingular and 

  J  
 !
 

˜ 


In addition, since ˜
% , all the powers of as well as their sum in (1.40) are also
nonnegative.
–
 *˜ +
To prove the sufficient condition, assume that is nonsingular and that its inverse
is nonnegative. By the Perron-Frobenius theorem, there is a nonnegative eigenvector 8

˜ ˆ  *˜ +
associated with , which is an eigenvalue, i.e.,
18 8

–  ˆ ‰ ‰ * ˜ ‹
or, equivalently,

 8 8
‰  *˜ + 
!

–  
Since 8 and 5 are nonnegative, and !
which is the desired result.
˜ +
is nonsingular, this shows that ?! % ,
     %    ^K  dK “e S   dK 
     # 

 q ž A matrix is said to be an
+ -,/.01. 2.4350 76
-matrix if it satisfies the following four

‚ ƒ ƒ  for ‡ˆO‰;†‹‹‹E† ~ .
properties:
 %
‚„ƒ  for ‡ ˆŒ;†x‡<†=Œ}ˆŠ‰;†‹‹‹E† ~ .
  %

 is nonsingular.
  .


 %
2

In reality, the four conditions in the above definition are somewhat redundant and
equivalent conditions that are more rigorous will be given later. Let be any matrix which
satisfies properties (1) and (2) in the above definition and let % be the diagonal of . Since
 
%  %,
% ! *% ! %
 ! * !
% 

 ˆ  + ˆ   + ‹
‹
Now define
˜  ! 

˜ ˆ  
% 
Using the previous theorem, !

 ˜ ‰
% 

˜ ˆ  
is nonsingular and * ! 

1 %
 %
;

if and only if *
+

˜+ ‰ +
. It is now easy to see that conditions (3) and (4) of Definition 1.4
can be replaced by the condition *  .
P> /5 ž Tž Let a matrix  be given such that
3 6

‚„ƒ ƒ  for ‡ˆO‰;†‹‹‹E† ~ .


 %
 ‚„ƒ  for ‡ ˆŒ;†x‡<†=Œ}ˆŠ‰;†‹‹‹E† ~ .
 %

Then  is an -matrix if and only if


 * ˜ +  ‰ , where ˜ ˆ %   .
  !

  
 * ˜ +  ‰ ˜ ˆ –
6
From the above argument, an immediate application of Theorem 1.15 shows that
ˆ– %  
 !
and  –  –
properties (3) and (4) of the above definition are equivalent to , where

. In addition, is nonsingular iff is and  is nonnegative iff is.

The next theorem shows that the condition (1) in Definition 1.4 is implied by the other
three.
P> /5 ž Tž  Let a matrix  be given such that
3 6

‚„ƒ  for ‡ ˆŒ;†x‡<†=Œ}ˆŠ‰;†‹‹‹E† ~ .


 %
 is nonsingular.
  .



2 %

‚ ƒ ƒ  ‡ˆO‰;†‹‹‹E†
Then

 * ˜ +  for‰ where ˜ ˆ ~ , i.e.,%    is. an -matrix.


  %
  !

          @n K  ;K       

   6
Define –  1

. Writing that * – ƒ8ƒ ˆO‰ yields
 ‘ ‚ ƒ š ƒ ˆŠ‰
; +
 

which gives

‚ ƒqƒ š ƒqƒ ˆ‰  ‘ ‚ ƒ  š  ƒ ‹


!


‚ƒ š ƒ
Since    % for all  , the right-hand side is and since % , then
4
 %.  ‰ 
š ƒ8ƒ  ‚ ƒ8ƒ
The second part of the result now follows immediately from an application of the previous
theorem.

P> /j+ž Tž Let  † ˜ be two matrices which satisfy


Finally, this useful result follows.
3 76

 ƒ0 s˜ . ‡ ˆŒ


œ  for all .
 %

Then if  is an -matrix, so is the matrix ˜ .


    6

Assume that is an -matrix and let %  denote the diagonal of a matrix  .
%
The matrix  is positive because
%  %  p‹  ) %

˜  s˜   !

  % ˜ 
Consider now the matrix %  . Since , then
% ) ! 
!

 
 %  % ˜ +  %  *% ˜ + ˆ ˜  ‹
which, upon multiplying through by )  % , yields
 !  * ! !  ! 
) % )    % 

Since the matrices ! % ˜ and !

%  ) are nonnegative, Theorems 1.14 and 1.16
imply that
 * %  ˜ +   * %   + 3‰[‹
 !
 
 !
)
This establishes the result by using Theorem 1.16 once again.

     (             


{b|{>{

 † z† j‘ † ˆ p‹ J
A real matrix is said to be positive definite or positive real if
* 8 8  % 
8 8 %    
+
    pK ^K )S2n „K @K 
  dK
    ž
It must be emphasized that this definition is only useful when formulated entirely for real
variables. Indeed, if 8 were not restricted to be real, then assuming that * 98 8 is real
+   †
 
for all 8 complex would imply that is Hermitian; see Exercise 15. If, in addition
Definition 1.41, is symmetric (real), then is said to be Symmetric Positive Definite
(SPD). Similarly, if is Hermitian, then is said to be Hermitian Positive Definite (HPD).
to

 
Some properties of HPD matrices were seen in Section 1.9, in particular with regards
to their eigenvalues. Now the more general case where is non-Hermitian and positive
definite is considered.

We begin with the observation that any square matrix (real or complex) can be decom-

 ˆ — ‡ † J
posed as
   

ˆ ‰ * —™ 1 + J
in which
   
ˆ )‰ ‡ *   1 + ‹ ! J
   

Note that both and are Hermitian while the matrix in the decomposition (1.42) ‡

is skew-Hermitian. The matrix
, while the matrix ‡  ˆ —‡
in the decomposition is called the Hermitian part of
 
is the skew-Hermitian part of . The above decomposition is the

Rˆ %* + ˆ ‰ * — 3 + † /ˆ € * + ˆ !‰ ‡ * 3 + ‹


 
analogue of the decomposition
 of a complex
  number  into   ,
   !


When is real and 8 is a real vector then 98 * † 8 is real and, as a result, the decom-
+
* †  ˆ * † + ‹ J
position (1.42) immediately gives the equality
8 8 8 8    
+
This results in the following theorem.
P> /5 ž Tž
3 6 

Let be a real positive definite matrix. Then  is nonsingular. In
addition, there exists a scalar   % such that
 † +
* 8 8  8 $$ † J
   
for any real vector 8 .
  6

 † ˆ
The first statement is an immediate consequence of the definition of positive defi-
niteness. Indeed, if were singular, then there would be a nonzero vector such that 98 =%
and as a result * 8 8 % for this vector, which would contradict (1.41). We now prove
 ˆ
+
the second part of the theorem. From (1.45) and the fact that is positive definite, we 
   * * † † + ˆ     † +  ƒ *
conclude that is HPD. Hence, from (1.33) based on the min-max theorem, we get



 
8 8


 
*
*8 8
8
†+ ”‘
8
(  % z‹
” ƒ ‘ *
8 8 +
+
Taking  ( yields the desired inequality (1.46).
; +
A simple yet important result which locates the eigenvalues of  in terms of the spectra
         @n K  ;K 
      

of and can now be proved.


P> /j+ž  Let  be any square (possibly complex) matrix and let ˆ $ * s —
 1 + and ˆ $ ƒ *   1 + . Then any eigenvalue of  is such that
3 76
!
 J  
” ƒ ƒ‘ ** +     € %* * +   ” ** + ‹
(
 (
 J  
 
( (

   6
” ‘ + + ” (
 + ( ( 

When the decomposition (1.42) is applied to the Rayleigh quotient of the eigen-

ˆ *  † + ˆ * † + — ‡ * † + †  J  
vector 8 associated with ( , we obtain


$ ˆŠ‰
( 98 8 8 8 ?8 8

 %* ˆ * †
assuming that 8 . This leads to

 € * + ˆ * [† + ‹
 ( 8 8
( ?8 8
+ +
The result follows using properties established in Section 1.9.

Thus, the eigenvalues of a matrix are contained in a rectangle defined by the eigenval-
‡
ues of its Hermitian part and its non-Hermitian part. In the particular case where is real, 
then is skew-Hermitian and its eigenvalues form a set that is symmetric with respect to
the real axis in the complex plane. Indeed, in this case, is real and its eigenvalues come ‡
in conjugate pairs.
Note that all the arguments herein are based on the field of values and, therefore,
they provide ways to localize the eigenvalues of from knowledge of the field of values.
However, this approximation can be inaccurate in some cases.

   ž
76

 ˆ ‰ ‰  ‰‰ ‹
Consider the matrix

% 

‡ _‰
The eigenvalues  of
‰+   are !  and 101. Those of are ‰ *_‰  — ‰ + 
 % 
and those of ‡
are  * % ! .

˜
x† x† ˜ g† J
When a matrix is Symmetric Positive Definite, the mapping
   *  *      


from j‘lj‘ 
to is a proper inner product on , in the sense defined in Section 1.4.
+ ;
‘ +

˜ 
The associated norm is often referred to as the energy norm. Sometimes, it is possible to

g † ˆ x † † g †
find an appropriate HPD matrix which makes a given matrix Hermitian, i.e., such that
 +  *
*  + 

 

  

  ˆ ˜  –  ˆ –N˜ –
although is a non-Hermitian matrix with respect to the Euclidean inner product. The
simplest examples are  and , where is Hermitian and is Hermitian ˜
Positive Definite.
Another Random Scribd Document
with Unrelated Content
Mitäs siis nyt on tehtävä? Jos odottaa, niin voi ruhtinas
äkkiarvaamatta saapua. Jos taas lähtee Prohorowkaan ja Dnieperin
taakse, niin voi joutua hetmanien käsiin.

Vanhasta arosudesta tuntui aavoilla aroilla melkein ahtaalta.


Hän tunsi, että vaikka hän itse oli susi, niin hän tuossa herra
Zaglobassa oli kohdannut ketun.

Yhtäkkiä hän iski käden otsaansa.

Ja miksikäs tuo vaari yllytti talonpoikia lähtemään Zolotonoszaan,


jonka takana oli Prohorowka ja sen takana taas, Dnieperin toisella
puolella, hetmanit ja koko kruunun armeijan leiri?

Anton päätti kuin päättikin joka tapauksessa lähteä Prohorowkaan.

Jos hän nyt, tultuansa rannalle saa tietää, että hetmanin joukot
ovat toisella puolella, niin hän ei lähde yli, vaan kulkee alas jokea ja
yhtyy vastapäätä Czerkasya Bohuniin. Sitäpaitsi hän varmaan
matkalla saa lisää tietoja Chmielnickistä. Tiesihän Anton jo
Plesniewskin tunnustuksesta, että Chmielnicki oli valloittanut
Czehrynin, että hän oli lähettänyt Krywonosin hetmaneja vastaan ja
että hän itse Tuhaj-bejn kanssa paraikaa marssi heidän jäljessään.
Kokeneena sotilaana ja perinpohjin tuntien paikat katsoi Anton
nimittäin varmaksi, että taistelu jo oli tapahtunut. Siinä tapauksessa
piti vain saada tieto, kumpiko oli voittanut. Jos Chmielnicki oli lyöty,
niin hetmanin joukot hajaantuivat ajaakseen niitä takaa koko
Dnieperin tämänpuoleiselle alueelle eikä Zaglobaa siinä tapauksessa
kannattanut hakea. Mutta jos Chmielnicki oli voittanut?… Tosin Anton
ei siihen paljoakaan uskonut, olihan helpompi lyödä hetmanin poika
kuin itse hetmani, helpompi voittaa etujoukko kuin koko armeija.
— Äh, arveli vanha kasakka, — meidän atamanimme tekisi
viisaammin, jos hän pitäisi huolta omasta nahastaan eikä tytöstä.
Czehrynin luona sopisi mennä Dnieperin yli ja sitte rientää Sicziin niin
kauvan kuin aikaa vielä on. Täällä ruhtinas Jareman ja hetmanien
välissä käy hänen vaikeaksi istua.

Näin miettien hän kasakkoineen nopeasti lasketti Sulajoen


suunnalle. Heti Demianowkan takana oli hänen mentävä yli joen,
kulkeaksensa Prohorowkaa kohden. He tulivat Mohilnaan saman joen
varrella. Täällä oli kohtalo Antonille erittäin suosiollinen, sillä vaikka
Mohilna, samoin kuin Demianowkakin, oli tyhjänä, tapasi hän heti
lautan ja kuljettajat, jotka olivat vieneet Dnieperille pyrkivät
talonpojat joen yli. Dnieperin tausta, sijaiten aivan ruhtinaan käden
ulottuvilla, ei ollut uskaltanut nousta, mutta sensijaan olivat
talonpojat kaikista kylistä, kartanoista ja kauppaloista paenneet,
liittyäksensä Chmielnickiin ja asettuakseen hänen lippujensa alle.
Sanoma zaporogilaisten voitosta Keltaisen Veden luona oli lentänyt
kuin lintu läpi koko Dnieperin takaisen seudun, villi rahvas ei enään
voinut pysyä levollisesti kotona, vaikkei se juuri täällä ollutkaan
saanut kokea sanottavaa kovuutta, ruhtinas, joka kuten sanottu
kapinallisia kohteli aivan säälimättömästi, oli todellinen isä
rauhallisille asukkaille eivätkä hänen komisariuksensa uskaltaneet
tehdä vääryyttä alaisellen rahvaalle. Täkäläinen rahvas, joka vasta
äskettäin oli ryöväreistä muuttunut maanviljelijöiksi, ei kuitenkaan
sietänyt mitään lakia, hallitusta ja järjestystä, vaan oli tilaisuuden
tullen valmis pakenemaan sinne missä sen edessä väikkyi villin
vapauden toivo. Monesta kylästä pakenivat nyt naisetkin
Chmielnickin luo. Czabanowkasta ja Wysokosta lähti koko väestö,
polttaen takaansa asumukset, jottei enään olisi minne palata. Niissä
kylissä, minne vielä oli jäänyt vähän väkeä, varustauduttiin minkä
kerittiin aseilla.
Anton alkoi heti kysellä lauttamiehiltä, oliko heillä tietoja Dnieperin
takaa. Tiedot olivat kuitenkin ristiriitaisia ja hämäriä. Sanottiin että
Chmiel taistelee hetmanien kanssa. Toiset väittivät, että hän on
lyöty, toiset taas, että hän on voittanut. Eräs talonpoika, joka oli
paennut Demianowkan suunnalle, oli kertonut, että hetmanit ovat
otetut vangiksi. Lauttamiehet olivat epäilleet, että juuri hän on tuo
valepukuinen aatelismies. He eivät kuitenkaan olleet uskaltaneet
häntä pidättää, sillä hekin olivat kuulleet, etteivät ruhtinaan joukot
ole kaukana. Kauhu lisäsi kaikkialla ruhtinaan sotajoukkojen
lukumäärää, tehden niistä joka paikassa läsnäolevia laumoja, eikä
tällä hetkellä varmaankaan ollut ainoatakaan kylää Dnieperin takana,
jossa ei olisi kerrottu, että ruhtinas on tulossa. Anton huomasi, että
hänen miehiänsä kaikkialla pidetään ruhtinas Jeremin etujoukkona.

Pian hän kuitenkin sai lauttamiehet tyyntymään ja alkoi kysellä


heiltä Demianowkan talonpoikia.

— Kuinkas sitte, olivat kyllä ja me kuljetimme heidät toiselle


puolelle, sanoi lauttamies.

— Oliko eräs vaari heidän kanssansa?

— Oli.

— Ja mykkä vaarin kanssa, pieni poika?

— Oli, ihan niin.

— Minkä näköinen vaari oli?

— Ei aivan vanha, roteva, silmät kuin kalalla, toisessa silmässä


kaihi.
— Hän se on, mutisi Anton ja kysyi edelleen: — Entä poika?

— Hän se vasta oli, atamani hyvä, kuin oikea keruubi. Emme ole
sellaista nähneet.

Keskustelun aikana he olivat saapuneet toiselle rannalle.

Anton tiesi jo mitä hänen oli tehtävä.

— Ehei, neitosen viemme kuin viemmekin atamanille! Sitte kääntyi


hän kasakkainsa puoleen: — Ratsun selkään!

He kiitivät eteenpäin kuin lauma pelästyneitä arokanoja, vaikka tie


oli raskas kulkea, koska seutu oli täynnä rotkoja. He ajoivat erääseen
suureen rotkoon, jonka pohjalla, lähteen lähettyvillä, kulki aivan kuin
luonnon tekemä maantie. Tie ulottui aina Kawrajeciin asti ja niin
saattoivat he levähtämättä ajaa hyvän matkaa eteenpäin, Anton
kulkien etunenässä parhaimman hevosen selässä. Rotkon leveä suu
jo näkyi, kun Anton yhtäkkiä pysäytti hevosensa niin että kipunat
takakavioista lensivät kiviä vastaan.

— Mikäs nyt on?

Joukko miehiä ja hevosia oli yhtäkkiä pimittänyt rotkon suun. Se


näytti olevan ratsuväkeä, joka parittain ajaen järjestyi kuusi-
miehisiksi osastoiksi. Kaikkiaan oli noin kolmesataa hevosta. Anton
katsahti joukkoon ja vaikka hän oli vanha soturi ja kaikkinaisiin
vaaroihin tottunut, niin hänen sydämensä vavahti ja kasvot kävivät
kuolemankalpeiksi.

Hän huomasi heti miehet ruhtinas Jeremin rakuunoiksi.


Myöhäistä oli lähteä pakoon, tuskin kaksisataa askelta oli
eroittamassa Antonin joukkoa rakuunoista eivätkä kasakkain
väsyneet hevoset olisi ehtineet kauvaskaan takaa-ajajien tieltä.
Rakuunat taas, huomatessaan kasakat, lähtivät ajamaan täyttä
laukkaa. Hetken perästä he joka taholta ympäröivät kasakat.

— Mitä väkeä te olette? kysyi luutnantti uhkaavasti.

— Bohunin, sanoi Anton nähdessään, että täytyi puhua totta,


koska itse väritkin jo ilmaisivat heidät.

Tuntiessaan luutnantin, jonka joskus oli nähnyt Perejaslawissa,


Anton heti huusi iloa teeskennellen:

— Herra luutnantti Kuszel, hyvää päivää!

— Vai sinäkö, Anton, siellä olet, sanoi luutnantti, tarkasti katsellen


esauliin. — Mitä te täällä teette, missä teidän atamaninne on?

— Herra luutnantti, suurhetmani lähetti meidän atamanimme


ruhtinas-vojevodan luo pyytämään apua ja niin on atamani lähtenyt
Lubnieen, mutta meidän hän käski kulkea pitkin kyliä ottamassa
kiinni vakoilijoita.

Anton valehteli kuin palkattu, mutta hän teki sen luottaen siihen,
että rakuunalippukunta joka tulee Dnieperin puolelta, ei voi vielä
tietää mitään, ei hyökkäyksestä Rozlogia vastaan enempää kuin
taistelusta Wasilowkan luona, tai muistakaan Bohunin kujeista.

Luutnantti sanoi kuitenkin:

— Tekisipä mieli uskoa, että aiotte hiipiä kapinallisten luo.


— Ei, herra luutnantti, sanoi Anton. — Jos me tahtoisimme mennä
Chmielin luo, niin emme olisi Dnieperin tällä puolella.

— Se on totta se, sanoi Kuszel, — aivan totta, sitä en voi kieltää.


Mutta ei atamani tapaa ruhtinas-vojevodaa Lubniesta.

— Eikö? Missäs ruhtinas on?

— Hän on ollut Prilukissa, mutta ehkä hän eilen on marssinut


Lubnieen päin.

— Se on vahinko se. Atamanilla oli kirje hetmanilta ruhtinaalle.


Mutta suokaa minun kysyä teidän armoltanne, tekö johdatte
sotajoukkoa
Zolotonoszasta?

— En. Me olemme seisoneet Kalenkissa, nyt olemme saaneet


käskyn, samoin kuin koko armeija, kokoontua Lubnieen, josta
ruhtinas lähtee liikkeelle koko voimallaan. Vaan minnekkä te
menette?

— Prohorowkaan, sillä talonpojat kokoontuvat sinne.

— Onko niitä paljonkin jo paennut sinne? — Paljon, paljon.

— No, menkää Jumalan nimessä.

— Kiitämme nöyrästi teidän armoanne. Jumalan haltuun.

Rakuunat väistyivät ja Antonin miehet ratsastivat heidän


keskitseen rotkon suulle päin.

Päästyään rotkosta Anton pysähtyi tarkasti kuuntelemaan ja kun


rakuunat vihdoin olivat kadonneet hänen näkyvistään ja kun heidän
viimeinenkin kavionkapseensa oli vaiennut, kääntyi hän kasakkainsa
puoleen ja sanoi:

— Tietäkää, hölmöt, että jollei minua nyt olisi ollut, niin te kolmen
päivän päästä saisitte heittää henkenne Lubniessa. Ja nyt hevosen
selkään ja liikkeelle niin lujaan kuin vain hevoset kavioistaan
pääsevät.

He lähtivät ajamaan täyttä laukkaa.

— Meillä oli hyvä onni, mietti Anton, — kaksinkertainen onni!


Ensinnäkin pelastimme nahkamme ja toiseksi eivät nuo rakuunat
tulleet
Zolotonoszasta eikä Zagloba ollut heitä kohdannut, sillä jos hän
olisi heidät tavannut, niin hän nyt jo olisi turvassa takaa-ajajilta.

Onni oli todella herra Zagloballe vastainen, kun ei hän sattunut


kohtaamaan herra Kuszelia ja hänen lippukuntaansa, sillä silloin hän
yhtäkkiä olisi pelastunut ja päässyt kaikesta pelosta.

Prohorowkassa kohtasi häntä kuin salama selkeältä taivaalta


sanoma Korsunin tappiosta. Jo matkalla Zolotonoszaan, kylissä ja
yksinäisissä taloissa, oli kulkenut huhu jostakin suuresta taistelusta,
vieläpä Chmielin voitosta, mutta herra Zagloba ei ottanut siihen
uskoakseen, sillä hän tiesi kokemuksesta, että rahvaan keskuudessa
jokainen sanoma kasvaa tavattomassa mittakaavassa ja että rahvas
kertoo mielellään ihmeitä, varsinkin kasakkain urotöistä. Mutta
Prohorowkassa ei enään saattanut epäillä. Kauhea ja
pahaaennustava totuus iski Zaglobaa kuin kirveellä päähän. Chmiel
vietti voittojuhlaa, kruunun armeija oli lyöty, hetmanit vangitut, koko
Ukraina tulessa.
Herra Zagloba kävi ensi hetkessä aivan neuvottomaksi. Hän olikin
kauheassa asemassa. Onni ei suosinut häntä edes matkan
päämääräänkään päästyä, sillä Zolotonoszassa ei hän tavannut
mitään garnisonia. Kaupunki kiehui täydessä vimmassa ljaheja
vastaan ja vanha pieni linnoitus oli jätetty autioksi. Zagloba ei
hetkeäkään epäillyt, että Bohun etsii häntä ja että hän ennemmin tai
myöhemmin pääsee hänen jäljillensä. Hän koetti niinkuin ahdistettu
jänis etsiä lymypaikkoja, mutta hän tunsi perinpohjin ajokoiran, joka
häntä ahdisti ja tiesi, ettei tuo koira eksy polulta. Herra Zagloballa oli
takanaan Bohun, edessään talonpoikaiskapinan kauhun meri,
teurastukset, murhapoltot, tatarilaislaumat ja petomaiset rahvaan
joukot.

Pakeneminen sellaisten asianhaarojen vallitessa oli melkein


mahdotonta, varsinkin kun mukana oli tyttö, joka vaikkakin puettuna
soittajavaarin saattopojaksi, tavattomalla kauneudellaan kaikkialla
käänsi puoleensa huomion.

Ei siis ollut kummaa, jos Zagloba kävi neuvottomaksi.

Mutta herra Zagloba ei koskaan ollut pitkiä aikoja neuvottomana.


Keskellä pahintakin mielenhämmennystä hän tiesi, tai pikemmin
tunsi aivan selvästi, että hän pelkää Bohunia sata kertaa enemmän
kuin tulta, vettä, kapinaa, murhaa, vieläpä itse Chmielnickiäkin.
Pelkkä ajatus, että hän voisi joutua tuon hirveän hurjapään käsiin,
pöyristytti häntä. "Hän se vasta saisi minusta saaliin", toisteli hän
toistelemistaan, "ja edessä on kapinan meri".

Oli jäljellä yksi pelastuskeino: heittää Helena, jättää hänet oman


onnensa nojaan. Mutta sitä herra Zagloba ei tahtonut tehdä.
— Älköön se tapahtuko, sanoi hän Helenalle. — Armollinen neiti on
minulle antanut tehtävän, jonka seuraus on, että minun nahastani
tehdään miekantuppi.

Mutta jättää häntä ei hän tahtonut. Hän ei päästänyt tätä ajatusta


edes päähänsäkään. Mitä hänen siis oli tekeminen?

— Niin, ajatteli hän, — nyt ei ole aikaa ruveta etsimään ruhtinasta.


Edessäni on meri — minä sukellan siis siihen, pääsenhän siten
ainakin piiloon ja ehkäpä Jumalan avulla uin toiselle rannallekin.

Ja hän päätti kuin päättikin lähteä Dnieperin oikealle rannalle.


Mutta se ei Prohorowkasta käsin ollut mikään helppo asia. Herra
Mikolai Potocki oli jo Krzeczowskia ja hänen mukanaan lähetettyjä
sotajoukkoja varten koonnut kaikki veneet, proomut ja lautat
pienimmästä isoimpaan asti, Perejaslawista alkaen aina Chzehryniin
saakka. Prohorowkassa oli vain yksi ainoa rikkinäinen proomu ja
tuhannet pakolaiset Dnieperin takaa odottivat pääsyä siihen. Koko
kylästä oli vuokrattu kaikki asumukset, tallit, navetat ja ladot, ja
kaikki oli äärettömän kallista. Herra Zagloban täytyi todella
harpullaan ja laulullaan ansaita leipäpalasensa. He eivät olleet vielä
päässeet lähtemään, sillä proomu oli kaksi kertaa mennyt rikki ja
paraikaa sitä täytyi korjata. Yön vietti Zagloba istuen Helenan kanssa
joen rannalla keskellä juopuneita talonpoikaisjoukkoja, nuotioiden
ääressä, ja yö oli tuulinen ja kylmä. Ruhtinatar oli väsymyksestä ja
tuskasta aivan uuvuksissaan, sillä talonpoikaissaappaat olivat
hanganneet hänen jalkansa haavoille. Hän pelkäsi jo sairastuvansa.
Hänen kasvonsa tummenivat ja kalpenivat, hänen ihanat silmänsä
alkoivat sammua, joka hetki hänet valtasi pelko, että hänet
valepuvun alta tunnetaan, tai että Bohunin lähettämät takaa-ajajat
äkkiarvaamatta saapuvat. Tänä yönä täytyi hänen lisäksi katsella
kauheaa näkyä: talonpojat olivat Ros-joen suulta tuoneet mukanaan
muutamia aatelisia, joiden tarkoitus oli ollut paeta tatarilaisten
hyökkäystä Wisniowieckin alueelle, ja murhasivat heidät rannalla
mitä kauheimmalla tavalla. Heiltä puhkaistiin kairoilla silmät ja
heidän päänsä louhittiin kivien välissä. Prohorowkassa oli myöskin
kaksi juutalaisperhettä. Nämä heitti raivoisa joukko Dnieperiin ja kun
eivät onnettomat heti painuneet pohjaan, niin upotettiin heidät
pitkien keksien avulla. Senjälkeen alkoi melu ja juopottelu.
Humaltuneet kasakat mellastivat juopuneiden naisten kanssa,
Kauheat naurunrehahdukset kaikuivat kaameina pitkin Dnieperin
tummia rantoja. Tuuli heitti hajalleen nuotiotulet, punaiset kekäleet
ja kipinät lentelivät vihurin tempaamina jokeen, hukkuakseen sen
aaltoihin. Joskus syntyi rannalla äkkikauhu, silloin tällöin huusi
nimittäin joku juopunut käheä ääni pimeydestä: pelastakaa itsenne,
Jarema tulee! ja joukko heittäytyi hurjana eteenpäin, toinen tallaten
toista ja tönien toinentoistaan veteen. Kerran olivat Zagloba ja
ruhtinatarkin joutumaisillaan joukon jalkoihin. Yö oli suorastaan
helvetillinen eikä se tuntunut loppuvankaan. Zagloba kerjäsi
neljännesmitan viinaa, joi itse ja pakoitti ruhtinattarenkin juomaan,
sillä muuten hän olisi menehtynyt, tai sairastunut kuumeeseen.
Vihdoin viimein alkoi Dnieperin aalto valjeta ja loiskia. Aamu koitti.
Päivä tuli pilvinen, synkkä, kalpea. Zagloba halusi mitä pikimmin
päästä toiselle rannalle. Onneksi oli proomukin korjattu. Tungos oli
kuitenkin kauhea.

— Tilaa vaarille, tilaa vaarille! huusi Zagloba, pitäen edessään,


ojennettujen käsiensä välissä, Helenaa ja suojaten häntä
tungokselta. — Tilaa vaarille! Minä lähden Chmielnickin ja
Krywonosin luo. Tilaa vaarille, hyvät ihmiset, rakkaat kasakat,
kuristakoon teidät musta kuolema, teidät ja teidän lapsenne! En näe
hyvin, putoan veteen, upotatte poikani, väistykää nyt, lapset, ettei
halpaus kangistuttaisi kaikkia jäseniäni — surma teidät vieköön,
menehtykää te paaluissa!

Näin ärjyen, kiroten, pyytäen ja mahtavilla kyynärpäillään tönien


rahvaan joukkoa sysäsi hän Helenaa eteenpäin proomua kohti. Sitte
hän, niin pian kuin oli kiivennyt kannelle, heti taasen alkoi ärjyä.

— Teitä on täällä jo ihan tarpeeksi, mitä te noin tönitte, upotatte


vielä proomun, kun teitä tulee tänne noin paljon. Tarpeeksi,
tarpeeksi, tulee teidänkin vuoronne, ja jollei tule, niin vähät siitä.

— Tarpeeksi, tarpeeksi! huusivat ne jotka olivat päässeet


proomuun.
— Liikkeelle, liikkeelle!

Airot ojentuivat ja proomu alkoi loitota rannalta. Nopea aalto


kantoi sitä heti joen juoksun mukana jonkun verran Demontowin
suunnalle.

Oli jo päästy joen uoman puoliväliin, kun Prohorowkan rannalta


alkoi kuulua huutoa ja kirkunaa. Kauhea hämminki syntyi niiden
joukossa, jotka olivat jääneet rannalle, toiset juoksivat kuin hullut
Demontowiin päin, toiset hyppäsivät veteen, toiset kirkuivat,
heiluttivat käsiään tai heittäytyivät pitkäkseen maahan.

— Mikä on, mitä on tapahtunut? kysyttiin proomussa.

— Jarema, Jarema! paetkaamme! huusivat muut.

Airot putoelivat kuumeentapaisesti veteen. Proomu kiiti kuin


kasakan vene aaltoa pitkin.

Äkkiä ilmestyi joitakin ratsumiehiä Prohorowkan rannalle.


— Jareman sotaväkeä! huudettiin proomussa. Ratsumiehet
laukkasivat pitkin rantaa, kääntyilivät, kyselivät ihmisiltä jotakin ja
vihdoin alkoivat huutaa proomussa olijoille:

— Seis, seis!

Zagloba katsahti rannalle ja kylmä hiki valui hänen ruumiistaan,


kiireestä kantapäähän asti: hän oli tuntenut Bohunin kasakat.

Siellä oli todella Anton miehineen.

Mutta, kuten sanottu, herra Zagloba ei milloinkaan ollut kauvan


neuvottomana. Hän varjosti nytkin kädellään silmiään, niinkuin
hänen huonosti näkevänä olisi täytynyt katsella jonkun aikaa
ennenkuin uskoi silmiään. Vihdoin hän alkoi huutaa ikäänkuin häntä
olisi nyljetty:

— Lapset, ne ovat Wisniowieckin kasakoita! jumalan ja Pyhän


Neitsyen tähden, pian rannalle! Sääli niitä jotka jäivät, mutta lyödään
proomu rikki, sillä muuten me kaikki olemme tuhon omia.

— Pian, pian, proomu rikki! huusivat toiset. Nousi kirkuna, jonka


seasta oli mahdoton eroittaa huutoja Prohorowkan rannalta.
Samassa hetkessä risahti proomu rantasoraa vastaan. Talonpojat
alkoivat heti nopeasti hyppiä alas rannalle, mutta toiset eivät vielä
olleet ehtineet päästä maihin, kun toiset jo repivät irti proomun
laitoja ja hakkasivat kirveellä pohjaan läpiä. Laudat ja lastut alkoivat
lennellä ilmassa, onneton haaksi hävitettiin raivolla. Se revittiin
palasiksi, kauhu lisäsi hävittäjien voimaa. Kaiken aikaa herra Zagloba
ärjyi.
— Lyökää, repikää, irroittakaa, polttakaa, pelastakaa itsenne!
Jarema tulee!

Näin huutaessaan hän terveellä silmällään tuijotti Helenaan ja teki


hänelle merkitseviä eleitä.

Sillä välin olivat huudot toisella rannalla kasvamistaan kasvaneet,


siellä olijat kun näkivät proomua hävitettävän. Välimatka oli
kuitenkin liian pitkä, mahdoton oli eroittaa mitä huudettiin.
Käsienhuitomiset ja viittomiset näyttivät suorastaan uhkauksilta ja ne
vain lisäsivät hävittäjäin kiirettä. Haaksi oli hetken perästä mennyttä
kalua, mutta yhtäkkiä pääsi kaikkien rinnasta pelon ja kauhistuksen
huuto.

— He ratsastavat veteen, uivat meidän luoksemme, voihkivat


talonpojat.

Todella kannusti yksi ratsumies, ja hänen jäljessään muutama


kymmen muuta, hevosensa veteen, lähtien tulemaan toista rantaa
kohti. Se oli hurjan rohkeuden teko, sillä kevään paisuttama aalto
vyöryi mahtavampana kuin tavallisesti, muodostaen siellä täällä
pyörteitä.

Hevoset, jotka virran vauhti oli temmannut mukaansa, eivät


jaksaneet uida suoraan, aalto kantoi niitä tavattomalla nopeudella.

— Eivät jaksa uida perille! huusivat talonpojat.

— Ne uppoavat!

— Jumalan kiitos! Jo… jo… yksi hevonen upposi.

— Surma heidät vieköön!


Hevoset olivat jo uineet kolmannen osan joen leveyttä, mutta yhä
voimakkaammin kantoi vesi niitä alaspäin. Nähtävästi niiden voimat
alkoivat loppua, vähitellen ne painuivat yhä syvemmälle, hetken
päästä olivat niiden selässä istuvat kasakat jo vyötäisiään myöten
vedessä. Kului vähän aikaa. Szelepuchan talonpojat juoksivat ulos
katsomaan mitä on tekeillä. Nyt näkyivät veden yläpuolella enään
vain hevosten otsat, ja vesi ulottui kasakkain rintaan asti. Mutta he
olivatkin jo päässeet puoliväliin jokea. Yhtäkkiä taas yhden hevosen
otsa ja yksi kasakka katosi veden alle. Hänen jäljessään toinen,
kolmas, neljäs ja viides. Uivien joukko yhä väheni. Molemmissa
joukoissa joen kahden puolen vallitsi äänettömyys, mutta kaikki
liikkuivat pitkin jokivartta, nähdäkseen miten käy. Jo oli kaksi
kolmatta osaa joen leveyttä jäänyt taaksepäin, uivien lukumäärä oli
suuresti vähentynyt, saattoi kuulla hevosten raskaan korskunan ja
kehottavien kasakkain äänet. — Saattoi jo päätellä, että muutamat
heistä tulevat ehtimään rannalle. Yhtäkkiä kuului hiljaisuuden
keskeltä Zagloban ääni:

— Hei pojat, ampukaa pyssyillänne ruhtinaan väki!

Samassa tuprahti savu, laukaukset paukahtivat ja joelta kaikui


epätoivoinen huuto. Hetken päästä olivat hevoset, kasakat, kaikki
häipyneet näkymättömiin. Joki virtasi tyhjänä, vain jossakin
kauvempana, aaltojen pyörteessä, häämöitti silloin tällöin näkyviin
hevosen vatsa tai kasakan punainen lakki. Zagloba katsahti
Helenaan, iskien hänelle silmää.
KUUDES LUKU.

Jo ennenkuin Vähävenäjän ruhtinas-vojevoda tapasi herra


Skrzetuskin istumassa Rozlogin raunioilla, oli hän saanut tietää
Korsunin tappiosta. Herra Polanowski, ruhtinaan husaaritoveri, oli
Sahotynissä hänelle siitä ilmoittanut. Ruhtinas asettui ensin Prilukiin
ja lähetti sieltä herra Boguslaw Maszkiewiczin mukana hetmaneille
kirjeen, kysyen minne he käskisivät hänen koko sotavoimansa
kanssa tulla. Kun herra Maszkiewiczia ja hetmanien vastausta
kuitenkaan ei pitkään aikaan kuulunut, marssi ruhtinas Perejaslawia
kohden, lähettäen etujoukkoja kaikille suunnille ja antaen käskyn,
että ne rykmentit, jotka vielä olivat hajallaan Dnieperin takana ja
muualla, kiireimmiten kokoontuisivat Lubnieen.

Nyt sai ruhtinas kuitenkin tietää, että toistakymmentä


kasakkalippukuntaa, jotka olivat seisoneet rajaseuduilla
tatarilaisalueen suunnalla, oli hajaantunut tai mahdollisesti liittynyt
kapinaan. Hän huomasi siis voimiensa yhtäkkiä suuresti supistuneen
ja kovasti häneen koski tuo odottamaton tieto, että miehet joita hän
niin monta kertaa oli johtanut voittoihin, saattoivat hänet pettää.
Tavattuaan herra Polanowskin ja saatuaan häneltä tiedon tuosta
kuulumattomasta tappiosta, hän kuitenkin armeijalta salasi tämän
sanoman ja jatkoi marssiaan Dnieperiä kohden. Hän tahtoi mennä
umpimähkään keskelle myrskyä ja kapinaa, kostamaan puolalaisten
tappiota, pyyhkimään pois sotajoukkojen häpeää, tai sitte itse
vuodattamaan vertansa. Sitäpaitsi hän päätteli, että jonkin osan, tai
ehkäpä paljonkin kruunun armeijasta oli täytynyt pelastua
perikadosta. Nämä ja hänen kuusituhantinen osastonsa yhdessä
saattaisivat vielä voitollisestikin mitellä voimiaan Chmielnickin
kanssa.

Perejaslawista, missä ruhtinas silloin majaili, käski hän pienen


herra Wolodyjowskin ja herra Kuszelin lähettää rakuuniaan
tiedustelulle kaikkiin suuntiin, kuten Czerkasyyn, Mantowiin,
Siekiernaan, Buczacziin, Stajkiin, Trehtymirowiin, Rzyszczowiin, ja
koota kaikki veneet ja proomut, mitä vain ympäristöstä saattoi
löytää. Sotajoukon oli kuljettava vasenta rantaa Rzyszczowiin.

Kohtaamiltaan pakolaisilta saivat lähetit siellä täällä kuulla


tappiosta, mutta kaikissa noissa paikoissa missä he kävivät, eivät he
löytäneet ainoatakaan venettä, koska, kuten jo on mainittu, kruunun
suurhetmani aikaisemmin oli ottanut puolet näistä kulkuneuvoista
herra Krzeczowskia ja herra Barabaszia varten ja loput taas oli
oikeanpuolisen rannan kapinaan noussut rahvas, ruhtinasta peläten,
hävittänyt. Kuitenkin pääsi herra Wolodyjowski oikeanpuoleiselle
rannalle sillä tavalla, että hän kiireessä käski lyödä kokoon lautan.
Täällä otti hän kiinni kymmenkunnan kasakkaa, jotka hän vei
ruhtinaan eteen. Heiltä sai ruhtinas kuulla, missä määrin kapina nyt
oli levinnyt, sekä Korsunin tappion kauheista seurauksista. Koko
Ukraina oli noussut yhtenä miehenä. Kapina oli vyörynyt kuin
tulvavesi, joka päästen tasangolle silmänräpäyksessä valtaa yhä
suurempia ja suurempia aloja. Aateli puolusti itseänsä linnoissa ja
varustetuissa paikoissa, mutta monet näistä paikoista olivat jo
valloitetut.
Chmielnickin voimat kasvoivat joka hetki. Kiinni joutuneet kasakat
ilmaisivat hänen sotaväkensä lukumäärän kahdeksi sadaksi
tuhanneksi ja parissa päivässä saattoivat nämä voimat helposti
kasvaa kaksinkertaisiksi. Sentähden hän nyt taistelun jälkeen yhä
viipyi Korsunissa, käyttäen samalla hyväkseen levon hetkeä ja
järjestäen lukemattomia laumojaan. Rahvaan oli hän jakanut
rykmentteihin ja valinnut everstit atamanien ja kokeneempien
zaporogilais-esaulien joukosta. Sitte hän oli lähettänyt etujoukkoja,
vieläpä kokonaisia divisioneja valloittamaan läheisiä linnoja. Ottaen
tämän kaiken huomioon tuli Jeremi seuraavaan johtopäätökseen:
kun ei ollut veneitä, joiden valmistaminen kuusituhantista
sotajoukkoa varten veisi muutamia viikkoja ja kun vihollisten voima
oli kasvanut näin odottamattoman suureksi, niin ei ollut mahdollista
päästä Dnieperin yli siltä kohdalta missä hän paraillaan majaili.
Sotaneuvottelussa olivat herra Polanowski, eversti Baranowski,
kapteeni herra Aleksander Baranowski ja herra Wolodyjowski sitä
mieltä, että olisi marssittava pohjoiseen päin Tshernigowia kohden,
joka oli mahtavien metsien takana, sieltä olisi mentävä Lubecziin ja
vasta sieltä kuljettava joen yli Brahimowia kohden. Tämä oli kyllä
pitkä ja vaikea tie, sillä Czernigowin metsien takana oli, juuri
Brahimowin suunnalla, äärettömiä soita, joiden yli ei jalkaväenkään
ollut helppo kulkea, saatikka sitte raskaan ratsuväen, kuormaston ja
tykistön. Ruhtinasta tämä neuvo kuitenkin miellytti. Joka
tapauksessa hän vielä kerran, ennenkuin lähtisi tuolle marssille, jolta
ei tuntunut olevan mitään palaamisen mahdollisuutta, halusi
näyttäytyä omalla Dnieperin-takaisella alueellaan. Hän toivoi
käynnillään voivansa estää kapinaa heti puhkeamasta siellä ja ottaa
sikäläisen aatelin siipiensä suojaan. Vielä tahtoi hän tällä käynnillään
jättää rahvaan keskuuteen kauhean muiston, jotta ne jotka eivät
voineet lähteä sotajoukon mukana, turvallisesti saattaisivat jäädä
paikoilleen. Olivathan sitäpaitsi ruhtinatar Griselda, neidit Zbaraski,
hovinaiset, koko henkilökunta ja muutamat kokonaiset rykmentit,
kuten jalkaväki, vielä Lubniessa. Siksi päätti ruhtinas vielä käydä
siellä viimeisellä hyvästijätöllä.

Sotajoukko lähti liikkeelle samana päivänä, etunenässä herra


Wolodyjowski rakuunoineen. Nämä, vaikka kaikki poikkeuksetta
olivatkin vähävenäläisiä, olivat tottuneet sotakuriin ja sitä tietä
vähitellen muuttuneet säännöllisiksi sotilaiksi. Uskollisuudessa
voittivat ne miltei kaikki muut lippukunnat. Maa tuntui vielä varsin
levolliselta. Siellä täällä kokoontui jo kuitenkin vallatonta väkeä
ryöstämään sekä herrojen että talonpoikien taloja. Heitä ruhtinas
läpimatkallaan ankarasti kuritti, antaen lyödä heidät paaluihin.
Varsinaiset talonpojat eivät vielä olleet missään nousseet kapinaan.
Mielet olivat kuitenkin kuohuksissa, tuli kyti talonpojan silmissä ja
sielussa, asestauduttiin salaa ja paettiin Dnieperin taa. Pelko
kuitenkin vielä voitti veren- ja murhanjanon. Pahana enteenä saattoi
pitää sitä, että niissä kylissä, joista talonpojat eivät tähän asti vielä
olleet lähteneet Chmielin luo, he nyt ruhtinaan sotajoukkojen
lähetessä pakenivat ikäänkuin peläten, että kauhea ruhtinas heidän
kasvoistaan lukisi mitä kyti heidän mielessään ja jo edeltäpäin
rankaisisi heitä. Hän rankaisi kuitenkin vain siellä missä huomasi
vähimmänkin kapinanvalmistuksen ilmiön. Ja kun ruhtinas oli hillitön
sekä palkitessaan että rangaistessaan, niin rankaisi hän ilman
määrää ja sääliä. Saattaa sanoa, että Dnieperin molemmilla rannoilla
näihin aikoihin harhaili kaksi vamppyyria, toinen aatelin —
Chmielnicki, ja toinen kapinaan nousseen rahvaan tuhoksi —
ruhtinas Jeremi. Rahvaan kesken kuiskailtiin, että kun nämä kaksi
kerran joutuvat vastatusten, niin silloin varmaan aurinko pimenee ja
vedet joissa käyvät punaisiksi. Mutta heidän kohtaamisensa oli vielä
kaukana, sillä Chmielnicki, Keltaisen Veden ja Korsunin taistelujen
voittaja, tuo sama Chmielnicki, joka oli lyönyt hajalleen kruunun
armeijat, ottanut vangiksi hetmanit ja nyt johti satoja tuhansia
sotamiehiä, yksinkertaisesti pelkäsi Lubnien herraa, joka haki häntä
Dnieperin takaa. Ruhtinaan joukot olivat juuri päässeet Sleporodin
ohi, mutta itse oli ruhtinas pysähtynyt Filipowoon levähtämään, kun
hänelle ilmoitettiin, että Chmielnickiltä on saapunut lähettiläitä, jotka
tuovat muassaan kirjeen ja pyytävät päästä hänen puheilleen.
Ruhtinas käski heti saattaa lähettiläät eteensä. Alastarostan taloon,
jossa ruhtinas majaili, astui nyt kaksi zaporogilaista. He esiintyivät
sangen kopeina, varsinkin vanhin heistä, atamani Sucha-ruka jonka
päähän nähtävästi oli mennyt kasakkain voitto Korsunin luona ja
äsken saatu everstinarvo. Kun miehet kuitenkin näkivät ruhtinaan
kasvot, niin valtasi heidät sellainen kauhu, että he lankesivat hänen
jalkainsa juureen eivätkä saaneet sanaa suustaan.

Ruhtinas istui etevimpien ritariensa ympäröimänä. Hän käski


miesten nousta ja kysyi, missä asiassa he olivat tulleet.

— Meillä on kirje hetmanilta, vastasi Sucha-ruka. Ruhtinas tuijotti


kasakkaa suoraan silmiin ja sanoi rauhallisesti, mutta tähdentäen
jokaista sanaansa:

— Konnalta, lurjukselta ja ryöväriltä eikä atamanilta.

Zaporogilaiset kalpenivat, tai pikemmin saattaa sanoa heidän


kasvojensa käyneen sinisiksi. Pää painuneena rintaa vastaan jäivät
he vaieten seisomaan ovensuuhun.

Ruhtinas käski herra Maszkiewiczin lukemaan kirjeen.

Kirje oli nöyrä. Huolimatta Korsunin voitosta, oli Chmielnickissä


kettu saanut voiton leijonasta, käärme kotkasta, nähtävästi hän oli
muistanut kirjoittavansa Wisniowieckille. Ehkäpä hän liehakoi
lepyttääksensä ruhtinasta, voidakseen sitte helpommin purra häntä.
Joka tapauksessa hän nyt liehakoi. Hän kirjoitti, että Czaplinski on
ollut syynä siihen mikä on tapahtunut, ja että hetmanit ovat saaneet
kokea vain onnen vaihtelevaisuutta. Se mikä on tapahtunut, ei siis
ole ollut hänen, Chmielnickin syytä, vaan on se tapahtunut sen
kovan kohtalon ja sorron vuoksi, mitä Ukrainan kasakat ovat saaneet
kokea. Hän, Chmielnicki pyytää nyt, että ruhtinas ei suuttuisi hänelle,
vaan antaisi anteeksi, jossa tapauksessa hän ainiaaksi jää ruhtinaan
kuuliaiseksi ja nöyräksi palvelijaksi. Virittääkseen ruhtinaan mielen
suosiolliseksi lähettejä kohtaan ja pelastaaksensa heidät hänen
ankaruudestaan, hän ilmoittaa päästäjänsä husaariupseeri
Skrzetuskin, jonka hän Siczissä otti vangiksi, terveenä vapauteen.

Sitte seurasi valituksia herra Skrzetuskin ylpeydestä: hän


muunmuassa ei ollut suostunut ottamaan viedäkseen kirjettä
Chmielnickiltä ruhtinaalle, jonka kautta hän suuresti loukkasi hänen,
Chmielnickin, hetmaniarvoa ja koko zaporogilaissotajoukon kunniaa.
Juuri tämä ylpeys ja ylenkatse, jota kasakat alituisesti saivat kokea
ljahien puolelta, oli Chmielnickin mielestä syynä kaikkeen siihen mikä
oli tapahtunut, aina Keltaisesta Vedestä alkaen Korsuniin asti.
Lopuksi hän vakuutti suuresti pahoittelevansa sitä mikä oli
tapahtunut ja alati jäävänsä uskolliseksi Puolan valtakunnalle sekä
sulki itsensä ruhtinaan suosioon, tarjoten hänelle joka suhteessa
palveluksiaan.

Tätä kirjettä kuunnellessaan olivat itse lähetitkin hämmästyksen


vallassa, sillä he eivät edeltäpäin olleet tunteneet kirjeen sisältöä. He
olivat otaksuneet, että se pikemmin sisältäisi soimauksia ja ylpeitä
moitteita kuin pyyntejä. Nyt huomasivat he selvästi, ettei Chmielnicki
tahtonut jättää kaikkea yhden kortin varaan, noustessaan niin
kuuluisaa sotapäällikköä vastaan kuin ruhtinas. Sensijaan että olisi
koko voimallaan marssinut häntä vastaan, hän viivytteli, teeskenteli
nöyryyttä ja nähtävästi odotti, että ruhtinaan joukot murenisivat
yksityisissä taisteluissa. Sanalla sanoen: hän ilmeisesti pelkäsi
ruhtinasta. Lähetit tulivatkin kirjettä luettaessa entistä nöyremmiksi.
He seurasivat tarkasti ruhtinaan kasvonilmeitä, niistä voidakseen
päättää, mikä kohtalo heitä odotti, elämä vaiko kuolema. Ja vaikka
he tullessansa olivat ottaneet lukuun senkin, että voi olla kysymys
kuolemasta, niin valtasi heidät nyt kauhuntunne. Ruhtinas kuunteli
kuitenkin tyynesti. Vain silloin tällöin painoi hän alas katseensa
ikäänkuin pidättääkseen silmissään piileviä salamoja; ja selvästi
saattoi nähdä, että hän hillitsee hirveää vihaa. Kun kirje oli luettu
loppuun, ei hän läheteille lausunut sanaakaan, käski vain
Wolodyjowskin saattaa heidät pois ja uskoa vartioiden haltuun,
mutta everstien puoleen kääntyen lausui hän seuraavaa:

— Suuri on totisesti tämän vihollisen viekkaus, sillä joko hän tuolla


kirjeellään tahtoo nukuttaa minut, voidakseen sitten hyökätä
nukkuvan kimppuun, tai marssii hän valtakunnan sisäosiin ja
toimittaa myöntyväisiltä valtiopäiviltä ja kuninkaalta sovinnon sekä
anteeksiannon. Ja silloin tuntee hän jalkainsa alla maaperän
varmaksi, sillä jos minä vielä silloin tahtoisin käydä sotaa, niin ei
enään hän menettelisi valtakunnan tahtoa vastaan, vaan minä ja
minut katsottaisiin kapinoitsijaksi.

Wurcel kävi kiinni päähänsä:

— O vulpes astuta, sitä viekasta kettua!

— Mitä siis nyt on tehtävä, hyvät herrat? kysyi ruhtinas. —


Sanokaa rohkeasti, minä ilmaisen sitte puolestani oman tahtoni.
Vanha Zacwilichowski, joka jo kauvan sitte oli jättänyt Czehrynin ja
yhtynyt ruhtinaaseen, lausui:

— Tapahtukoon teidän ruhtinaallisen tahtonne mukaan, mutta jos


minun on lupa lausua mielipiteeni, niin sanon: tavallisella
kekseliäisyydellänne on teidän ruhtinaallinen armonne heti saanut
selville Chmielnickin tarkoitukset. Sellaiset ne juuri ovat eivätkä
mitään muuta. Olisin siis sitä mieltä, ettei hänen kirjeeseensä tule
panna mitään huomiota, vaan sitte kun rouva ruhtinatar on saatettu
turvalliseen paikkaan, on mentävä Dnieperin yli ja aljettava sota
ennenkuin Chmielnicki ehtii ryhtyä sovintotoimiin. Sillä häpeä ja
epäkunnia olisi toki valtakunnalle, jos tuollaiset kunnottomuudet
rauhassa saisivat hiipiä eteenpäin. Muuten (ja siinä hän kääntyi
everstien puoleen) odotan herrojen mielipidettä, tämä on oma
horjumaton mielipiteeni.

Leirikapteeni herra Aleksander Zamojski kolisti nyt sapeliaan:

— Arvoisa horonzi, vanhuus ja viisaus puhuu teidän suunne


kautta. Tuon lohikäärmeen pää on muserrettava ennenkuin se
kasvaa liian suureksi ja nielee meidätkin.

— Amen, lausui kirkkoherra Muchowiecki. Toiset


rykmentinpäälliköt eivät puhuneet, vaan alkoivat, noudattaen herra
leirikapteenin esimerkkiä, helistellä sapelejaan, murista ja kiristellä
hampaitaan. Herra Wurcel otti kuitenkin taasen sananvuoron ja
lausui:

— Armollinen ruhtinas, solvaavaa on teidän ruhtinaalliselle


nimellenne, että tuo konna rohkenee kirjoittaa teidän armollenne,
sillä onhan leiriatamaneilla korkea, valtakunnan vahvistama ja
tunnustama arvo, jota eivät edes huonekunta-atamanit saata saada.
Mutta Chmielnicki on itse omavaltaisesti ruvennut hetmaniksi eikä
häntä voida pitää muuna kuin pahantekijänä, kuten herra Skrzetuski,
kiitettävästi kyllä, huomasikin, silloin kun ei hän ottanut viedäkseen
hänen kirjettään teidän ruhtinaalliselle armollenne.

— Samoin minäkin ajattelen, sanoi ruhtinas, — mutta kun nyt en


voi ulottaa kättäni häneen itseensä, niin saa hän rangaistuksensa
lähettiensä persoonassa.

Sen sanottuaan kääntyi hän tatarilaisen hovilippukunnan päällikön


puoleen:

— Herra Wierszul, käskekää tatarienne hakata maahan nuo


kasakat, mutta heidän päällikköänsä varten on teroitettava paalu ja
viipymättä on hän siihen istutettava.

Wierszul taivutti päätään, joka oli punainen kuin liekki, ja meni


ulos. Kirkkoherra Muchowiecki taas, joka tavallisesti hillitsi ruhtinaan
vihaa, pani kätensä ristiin kuin rukousta varten ja katsoi anovasti
häntä silmiin, etsien sieltä armoa.

— Minä tiedän, kirkkoherra, mitä te tarkoitatte, sanoi ruhtinas-


vojevoda, — mutta se ei nyt käy päinsä. Tämä on välttämätöntä
niiden julmuuksien takia, joita he panevat toimeen tuolla Dnieperin
toisella puolella, se on välttämätöntä meidän arvomme ja
valtakunnan edun takia. On välttämätöntä järkähtämättä osoittaa,
että vielä on joku, joka ei pelkää tuota hurjimusta, vaan kohtelee
häntä pahantekijänä. Hän kyllä kirjoittaa nöyrästi, mutta hänen
menettelynsä on röyhkeää ja hän toimii Ukrainassa kuin hallitseva
ruhtinas. Hän saattaa valtakunnan niin suureen vaaraan, ettei se ole
pitkään aikaan saanut kokea sellaista. — Armollinen ruhtinas, hän on
vapauttanut herra Skrzetuskin, kuten hän kirjoittaa, lausui
kirkkoherra arasti.

— Minä kiitän teitä Skrzetuskin puolesta, jonka te näin asetatte


noiden kapinallisten tasolle.

Ruhtinas rypisti kulmakarvojaan.

— Mutta riittääkö. Minä näen, jatkoi hän, kääntyen


rykmentinpäällikköjen puoleen, — että te kaikki äänestätte sodan
puolesta. Se on minunkin tahtoni. Marssimme ensin Czernigowiin,
ottaen matkan varrelta mukaamme aatelin. Brahimin kohdalla
menemme joen yli ja senjälkeen tulee meidän marssia etelää kohti.
Nyt lähdemme Lubnieen.

— Jumala meitä auttakoon! lausuivat rykmentinpäälliköt.

Samassa hetkessä avautui ovi ja huoneeseen astui Rostworowski,


rumenialaisen lippukunnan päällikkö, joka kaksi päivää sitte
kolmensadan ratsumiehen kanssa oli lähetetty tiedustelumatkalle.

— Herra ruhtinas, huudahti hän, — kapina leviää, Rozlogi on


poltettu ja lippukuntamme Wasilowkassa hakattu maahan viimeistä
miestä myöten.

— Kuinka? Mitä? Missä? kysyttiin joka suunnalta. Mutta ruhtinas


viittasi kädellään vaitiolon merkiksi ja kysyi:

— Kuka sen on tehnyt? Roistot vaiko jokin sotajoukko?

— Sanotaan että Bohun.

— Bohun?
— Juuri hän.

— Milloin se tapahtui?

— Kolme päivää sitten.

— Lähdittekö ajamaan heitä takaa? Saitteko kiinni? Saitteko


ketään vangiksi?

— Lähdin ajamaan takaa, mutta en saavuttanut, koska tulin kolme


päivää liian myöhään. Matkalla keräsin tietoja. He pakenivat taasen
Czehrynin suunnalle ja hajaantuivat sitte. Toinen puoli meni
Czerkasyyn päin, toinen Zolotonoszaan ja Prohorowkaan.

Tähän lisäsi herra Kuszel:

— Minähän kohtasin sen osaston, joka oli menossa Prohorowkaan,


kuten ruhtinaalliselle armolle ilmoitin. He sanoivat olevansa Bohunin
lähettämiä ja menevänsä estämään talonpoikia pakenemasta
Dnieperin yli. Siksi minä päästin heidät menemään.

— Tyhmästi teitte, mutta minä en teitä syytä. Vaikea on olla


erehtymättä, kun petos väijyy joka askeleella ja maa polttaa jalkain
alla, sanoi ruhtinas.

Yhtäkkiä hän tarttui päähänsä:

— Kaikkivaltias Jumala! huudahti hän, — nyt minä muistan


Skrzetuskin kertoneen, että Bohun väijyi neiti Kurcewiczia. Nyt
ymmärrän miksi Rozlogi on poltettu. Varmaan ovat ryöstäneet tytön.
Hei, Wolodyjowski, tulkaappa tänne, ottakaa viisisataa ratsua ja
lähtekää vielä kerran Czerkasyyn. Bychowiec ottakoon viisisataa
rumenialaista ja lähteköön Zolotonoszan suunnalle Prohorowkaan
asti. Älkää säästäkö hevosia. Joka pelastaa neidon ja tuo hänet
tänne, hän saa haltuunsa koko elinajakseen Jeremiowkan. Lähtekää
kiireesti matkaan.

Sitte hän sanoi rykmenttien päälliköille:

— Ja me, hyvät herrat, lähdemme Rozlogin kautta Lubnieen.

Rykmentinpäälliköt jättivät starostan talon ja menivät kukin


lippukuntansa luo. Kädenlyönnillä vakuuttaen toisilleen uskollisuutta
nousivat he ratsunsa selkään. Ruhtinaalle tuotiin kastanjanruskea
arapialaishevonen, jota hän aina käytti sotaretkillä. Hetken perästä
marssivat lippukunnat, kulkien pitkänä värillisenä käärmeenä,
Filipowin tietä.

Kun tie kääntyi, kohtasi sotamiesten silmiä verinen näky.


Aidanseipäissä viidakossa törrötti viisi poikkihakattua kasakanpäätä,
jotka avonaisten silmiensä kuolleilla terillä katselivat ohikulkevia
sotajoukkoja. Kauvempana, viheriällä mäenrinteellä tienkäänteen
takana heittelehti ja hytki vielä paaluun istutettu atamani Sucha-
ruka. Paalun terävä pää oli jo mennyt puoleen ruumiiseen asti,
mutta vielä oli onnettomalla atamanilla edessään pitkä
kuolinkamppailu, sillä iltaan asti saattoi hän noin hytkiä ennenkuin
kuolema tuli häntä tyynnyttämään. Nyt ei hän ollut ainoastaan,
elossa, vaan hän käänteli kauheita silmiään lippukuntain perässäkin,
senmukaan kuin ne kulkivat sivu. Nuo silmät tuntuivat puhuvan:
"rangaiskoon teitä Jumala, teitä, lapsianne ja lapsenlapsianne aina
kymmenenteen polveen asti, rangaiskoon verestä, haavoista,
kidutuksista. Hävitkää, te ja teidän heimonne, teidän sukukuntanne.
Suokoon Jumala, että kaikki onnettomuudet iskisivät teihin. Suokoon
Jumala, että kituisitte kauvan, saamatta kuolla ja saamatta elää." Ja
vaikka hän oli yksinkertainen kasakka ja vaikkei hän kuollut
purppurassa eikä brokaadissa, vaan karkeassa sinisessä viitassa, ei
linnan suojassa, vaan paalussa paljaan taivaan alla, niin varjostivat
hänen kärsimyksensä ja hänen päänsä päällä kiertelevä kuolema
hänet sellaisella mahtavuudella, ja pannen hänen katseeseensa
sellaisen voiman ja sellaisen pohjattoman vihan, että kaikki täysin
ymmärsivät, mitä hän halusi sanoa. Ja lippukunnat ratsastivat
vaieten hänen ohitsensa ja puolenpäivän kultaisessa välkkeessä
riippui hän korkealla heidän yläpuolellaan, valaisten äsken
veistetyssä paalussaan kuin soihtu…

Ruhtinas ajoi sivutse päätään kääntämättä, mutta kirkkoherra


Muchowiecki siunasi ristin merkillä onnettoman. Kaikki olivat jo
päässeet ohitse, kun eräs nuorukainen husaarilippukunnasta,
keneltäkään pyytämättä lupaa, kannusti hevosensa mäelle ja,
tähdäten pistolinsa uhrin korvan juureen, yhdellä laukauksella lopetti
hänen tuskansa. Kaikki vapisivat ajatellessaan mitä seuraisi
tällaisesta omavaltaisesta ja sotakurin vastaisesta teosta. Tuntien
ruhtinaan ankaruuden, pitivät he jo nuorukaista tuhon omana. Mutta
ruhtinas ei puhunut mitään. Joko ei hän tahallaan ollut kuulevinaan
mitään, tai ratsasti hän todella niin mietteisiinsä vaipuneena.
Tyynenä ajoi hän eteenpäin ja vasta illalla käski hän kutsua
nuorukaisen luokseen.

Poika ilmestyi henki kurkussa herransa kasvojen eteen, luullen että


maa halkeaa hänen jalkainsa alta. Mutta ruhtinas kysyi:

— Mikä on nimesi?

— Zelenski.

— Sinäkö ammuit kasakkaa?


— Minä, änkötti poika, kalpeana kuin palttina.

— Miksi sen teit?

— Kun en voinut katsella hänen kidutustaan. Ruhtinas ei


vihastunut vaan sanoi:

— Sinä tulet vielä näkemään niin paljon heidän hirmutöitään, että


säälisi katoaa niinkuin enkeli lentäisi luotasi. Mutta koska
armeliaisuutesi takia olet pannut alttiiksi henkesi, niin maksaa minun
rahavartiani Lubniessa sinulle kymmenen kultadukaattia ja minä otan
sinut persoonalliseen palvelukseeni.

Kaikki ihmettelivät että asia päättyi sillä tavalla. Samassa


ilmoitettiin kuitenkin, että tiedustelujoukko oli saapunut likeisestä
Zolotonoszasta, ja kaikkien mielet kääntyivät toisaalle.
SEITSEMÄS LUKU.

Myöhään illalla, kuutamossa pääsivät sotajoukot Rozlogiin. Siellä


tapasivat ne herra Skrzetuskin verisen kärsimyksensä paikalla. Ritari
oli, kuten jo tiedämme, kivusta ja tuskasta kokonaan menettänyt
tajuntansa ja vasta kun kirkkoherra Muchowiecki oli palauttanut
hänet tuntoihinsa, ottivat upseerit hänet keskelleen, tervehtivät
häntä ja lohduttivat parhaimman taitonsa mukaan, varsinkin herra
Longinus Podbipienta, joka jo neljännesvuoden oli ollut
lippukunnassa Skrzetuskin vakinaisena upseerina. Toverina oli hän
niinikään valmis ottamaan osaa Skrzetuskin huokauksiin ja kyyneliin
ja heti teki hän sen uuden lupauksen, että paastoaa kaikki tiistait
kuolemaansa asti, jos Jumala vain jollakin tavalla lähettää
luutnantille lohdutuksen. Herra Skrzetuski vietiin ruhtinaan luo, joka
majaili talonpoikaistuvassa. Kun tämä näki suosikkinsa, niin ei hän
sanonut sanaakaan, levitti vain käsivartensa häntä vastaan ja odotti.
Jan herra heittäytyi heti itkien tuohon syliin ja ruhtinas pusersi häntä
rintaansa vastaan ja suuteli häntä päähän, jolloin läsnäolevat
upseerit näkivät kyyneleet ruhtinaan vakavissa silmissä. Hetken
perästä hän alkoi puhua:

Tervehdin sinua kuin omaa poikaani. Pelkäsin jo, etten sinua


enään näe. Kanna miehuullisesti taakkasi ja muista, että sinulla tulee
olemaan tuhansia onnettomuustovereja, jotka kadottavat vaimonsa,
lapsensa, vanhempansa, sukulaisensa ja ystävänsä. Ja niinkuin
pisara hukkuu valtamereen, niin hukkukoon sinun tuskasi yleisen
tuskan mereen. Kun näin hirveät ajat ovat kohdanneet rakasta
isänmaata, niin ei yksikään mies joka kantaa kupeellaan miekkaa,
saa antautua itkemään omaa menetystään, vaan kiiruhtaa
pelastamaan yhteistä äitiä. Ja hän on saava tunnonrauhan, tai
kaatuu hän kunniakkaaseen kuolemaan ja saa taivaallisen kruunun
ja sen mukana ikuisen autuuden.

— Amen, sanoi kirkkoherra Muchowiecki.

— Oi herra ruhtinas, mieluummin tahtoisin nähdä Helenan


kuolleena, vaikeroi ritari.

— Itke, sillä suuri on menetyksesi ja me itkemme kaikki sinun


kanssasi, sillä ethän ole tullut pakanoiden etkä villien skytain tai
tatarien joukkoon, vaan veljien ja toverien luokse, jotka sinua
rakastavat. Mutta sano itsellesi näin: tänään itken kohtaloani,
huomispäivä ei ole enää omani. Sillä tiedä, että huomenna
marssimme taisteluun.

— Minä lähden teidän ruhtinaallisen armonne kanssa vaikkapa


maailman ääriin, mutta lohdutusta en mistään saa, sillä minun on
ilman häntä niin raskas olla, etten voi, en voi…

Ja sotilas-parka milloin tarttui päähänsä, milloin pani sormet


hampaidensa väliin ja puri niitä, tukahuttaakseen valitukset, kun
epätoivon puuska uudestaan puistatti ne esiin.

— Sanoithan: tapahtukoon sinun tahtosi, puhui kirkkoherra


ankaralla äänellä.
— Amen, amen. Alistun hänen tahtoonsa, mutta… tuskalleni… en
voi mitään… vastasi katkonaisesti ritari.

Ja selvästi saattoi nähdä kuinka hän taisteli tuskiansa vastaan.


Näky oli niin liikuttava, että kyyneleet tulivat kaikkien silmiin.
Hellätuntoisimmat, kuten herra Wolodyjowski ja herra Podbipienta,
vuodattivat todellisia kyynelvirtoja. Jälkimäinen väänteli käsiään ja
toisti murheellisena:

— Veliseni, veliseni, hillitse itseäsi!

— Kuules, sanoi yhtäkkiä ruhtinas, — minä olen saanut tiedon,


että Bohun täältä on lähtenyt Lubnieen päin, sillä hän on
Wasilowkassa tuhonnut väkeni. Älä ennen aikojasi vaivu epätoivoon.
Luultavasti hän ei ole saanut käsiinsä Helenaa. Miksikäs hän muuten
olisi kiiruhtanut Lubnieen päin.

— Toden totta, varmaankin on niin! huudahtivat upseerit. —


Jumala saattaa sinulle vielä lohdutuksen.

Herra Skrzetuski avasi silmänsä ikäänkuin ei olisi ymmärtänyt mitä


hänelle sanotaan. Toivo välähti yhtäkkiä hänen mielessään ja hän
heittäytyi pitkin pituuttaan ruhtinaan jalkojen juureen.

— Ruhtinas, elämää… verta…! huusi hän. Eikä hän voinut sanoa


enempää. Hän oli käynyt niin heikoksi, että herra Longinuksen täytyi
nostaa hänet maasta ja asettaa penkille istumaan. Hänen
kasvoistansa saattoi kuitenkin jo nähdä, että hän oli tarttunut kiinni
toivoon niinkuin hukkuva laudanpalaseen, ja että tuska oli hellittänyt
otteensa. Toverit puolestaan puhaltelivat hekin tuohon toivon
kipinään, toistellen, että Skrzetuski ehkä Lubniessa löytää
ruhtinattarensa. Senjälkeen saatettiin Jan herra toiseen tupaan ja
hänelle tuotiin simaa ja viiniä. Luutnantti koetti juoda, mutta kurkkua
ahdisti niin, ettei hän voinut. Sensijaan joivat hänen uskolliset
toverinsa ja juotuaan alkoivat syleillä ja suudella häntä sekä
ihmetellä hänen laihtumistaan ja taudin jälkiä, jotka näkyivät hänen
kasvoillaan.

— Senhän sinä olet näköinen kuin jos olisit haudasta noussut,


sanoi paksu herra Dzik.

— Varmaan sinua Siczissä on kohdeltu huonosti, luultavasti ei ole


annettu syömistä eikä juomista.

— Sano mitä sinulle on tapahtunut.

— Joskus toiste kerron, sanoi Skrzetuski heikolla äänellä. — Minut


haavoitettiin ja minä sairastuin.

— Häntä on haavoitettu! huusi herra Dzik.

— Haavoitettu, vaikka oli lähettiläs, sanoi herra Sleszynski.

Ja molemmat katselivat hämmästyneinä toisiinsa, ihmetellen


kasakkain röyhkeyttä. Sitte syleilivät he toisiansa suuren
myötätuntonsa merkiksi herra Skrzetuskia kohtaan.

— Näitkö Chmielnickin?

— Näin kyllä.

— Tulkoonkin vain yksinään meidän luoksemme, huusi Migurski, —


niin kyllä me teemme hänestä silppua.

Näistä keskustellessa kului yö. Aamulla ilmoitettiin toisenkin


tiedustelujoukon, joka oli lähetetty kauvemma Czerkasyyn päin,
palanneen. Tämä tiedustelujoukko ei ollut tavannut Bohunia, mutta
se toi merkillisiä tietoja. Se toi muassaan useita tiellä tapaamiaan
henkilöitä, jotka kaksi päivää sitte olivat nähneet Bohunin. Nämä
lausuivat olettamuksen, että tuo hurjapää nähtävästi ajoi jotakuta
takaa, sillä hän kyseli kaikilta, eivätkö he olleet nähneet erästä
lihavaa aatelismiestä, joka pakeni yhdessä kasakkapojan kanssa.
Hänellä oli ollut hyvin kiire ja hän oli kiitänyt eteenpäin kuin hullu.
Samat henkilöt vakuuttivat niinikään, etteivät he olleet nähneet
Bohunin kuljettavan muassaan mitään neitoa. He olivat hänet kyllä
nähneet, sillä Bohunilla ei ollut mukanaan montakaan kasakkaa. Uusi
lohdutus, mutta myöskin uusi huoli versoi nyt herra Skrzetuskin
sydämeen, sillä kertomukset olivat hänelle suorastaan
käsittämättömät.

Hän ei ymmärtänyt miksikä Bohun ensinnä oli ratsastanut


Lubnieen päin, hyökännyt Wasilowkan suojaväen kimppuun ja sitte
yhtäkkiä kääntynyt Czerkasyn suunnalle. Tuntui kyllä varmalta, ettei
hän ollut saanut Helenaa ryöstetyksi, sillä herra Kuszel oli kohdannut
Antonin osaston ja siinä Helenaa ei ollut, ne henkilöt taas jotka nyt
olivat tuodut Czerkasysta päin, eivät hekään olleet nähneet häntä
Bohunin seurassa. Missä hän siis saattoi olla? Minne hän oli
piiloittautunut? Oliko hän paennut ja jos, niin mille suunnalle?
Minkätähden hän ei paennut Lubnieen, vaan Czerkasyyn ja
Zolotonoszaan päin? Bohunin osastothan toimittivat takaa-ajoaan
juuri Czerkasyn ja Prohorowkan tienoilla. Mutta miksi he kyselivät
aatelismiestä ja kasakkapoikaa? Kaikkiin näihin kysymyksiin
luutnantti ei osannut keksiä vastausta.

— Neuvokaa, sanokaa, selittäkää mitä tämä merkitsee! sanoi


Skrzetuski upseereille, — sillä minun järkeni ei ymmärrä.
— Minä luulen sittenkin, että neiti on Lubniessa, sanoi herra
Migurski.

— Se ei ole mahdollista, virkkoi horonzi Zacwilichowski. — Sillä jos


ruhtinatar olisi Lubniessa, niin Bohun kiireimmän kautta olisi
piiloutunut Czehryniin eikä työntynyt aivan hetmanien nenän eteen,
sillä heidän tappiostaan ei hän silloin vielä ole voinut tietää. Mutta
jos hän on jakanut kasakkansa ja ajaa takaa kahdella suunnalla, niin
hän tekee sen — siitä saatte olla varmat — juuri ruhtinattaren takia.

— Mutta miksi hän on kysellyt vanhaa aatelismiestä ja


kasakkapoikaa?

— Ei tarvitse suurtakaan kekseliäisyyttä arvaamaan, että jos


ruhtinatar on paennut, niin hän ei ole tehnyt sitä naisen vaatteissa,
vaan hävittääksensä jälkensä, valepuvussa, ja niin minä luulen, että
tuo kasakkapoika on juuri ruhtinatar.

— Totta totisesti, hän se juuri on, toistivat kaikki.

— Mutta kuka on sitte tuo aatelismies?

— Sitä minä en tiedä, vastasi vanha horonzi, — voihan sitä


tiedustella. Varmaankin talonpojat tietävät kuka täällä on ollut ja
mitä on tapahtunut. Tuokaappas tänne vaikkapa tuon asumuksen
isäntä.

Upseerit lähtivät ja toivat pian, niskasta taluttaen,


naapurinisännän.

— Talonpoika, sanoi Zacwilichowski, — olitko sinä läsnä, kun


kasakat Bohunin johdolla hyökkäsivät kartanoon?
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and


personal growth!

ebookultra.com

You might also like