Linear and Integer Optimization Theory and

Practice Third Edition Sierksma pdf download

https://ebookgate.com/product/linear-and-integer-optimization-
theory-and-practice-third-edition-sierksma/

Get Instant Ebook Downloads – Browse at https://ebookgate.com

Instant digital products (PDF, ePub, MOBI) available
Download now and explore formats that suit you...

Fundamentals of linear algebra and optimization Gallier J

https://ebookgate.com/product/fundamentals-of-linear-algebra-and-
optimization-gallier-j/

ebookgate.com

Bainite in steels theory and practice Third Edition

Bhadeshia

https://ebookgate.com/product/bainite-in-steels-theory-and-practice-
third-edition-bhadeshia/

ebookgate.com

Physical Agents Theory and Practice Third Edition Behrens

Pta Ms

https://ebookgate.com/product/physical-agents-theory-and-practice-
third-edition-behrens-pta-ms/

ebookgate.com

Corrosion Mechanisms in Theory and Practice Third Edition

Philippe Marcus

https://ebookgate.com/product/corrosion-mechanisms-in-theory-and-
practice-third-edition-philippe-marcus/

ebookgate.com
Engine Testing Theory and Practice Third Edition A. J
Martyr

https://ebookgate.com/product/engine-testing-theory-and-practice-
third-edition-a-j-martyr/

ebookgate.com

Universal Human Rights in Theory and Practice Third

Edition Jack Donnelly

https://ebookgate.com/product/universal-human-rights-in-theory-and-
practice-third-edition-jack-donnelly/

ebookgate.com

Clinical Child and Adolescent Psychology From Theory to

Practice Third Edition Martin Herbert(Auth.)

https://ebookgate.com/product/clinical-child-and-adolescent-
psychology-from-theory-to-practice-third-edition-martin-herbertauth/

ebookgate.com

Criminology theory and context Third Edition Tierney

https://ebookgate.com/product/criminology-theory-and-context-third-
edition-tierney/

ebookgate.com

An Introduction to Generalized Linear Models Third Edition

Barnett

https://ebookgate.com/product/an-introduction-to-generalized-linear-
models-third-edition-barnett/

ebookgate.com
 Third Advances in Applied Mathematics
Presenting a strong and clear relationship between theory and practice, Linear and Edition
Integer Optimization: Theory and Practice is divided into two main parts. The first

LINEAR AND INTEGER

covers the theory of linear and integer optimization, including both basic and advanced

LINEAR AND INTEGER OPTIMIZATION

topics. Dantzig’s simplex algorithm, duality, sensitivity analysis, integer optimization
models, and network models are introduced.

More advanced topics also are presented including interior point algorithms, the branch-
and-bound algorithm, cutting planes, complexity, standard combinatorial optimization
models, the assignment problem, minimum cost flow, and the maximum flow/minimum
OPTIMIZATION
cut theorem.

The second part applies theory through real-world case studies. The authors discuss
Theory and Practice
advanced techniques such as column generation, multiobjective optimization, dynamic
optimization, machine learning (support vector machines), combinatorial optimization,
Third Edition
approximation algorithms, and game theory.

Besides the fresh new layout and completely redesigned figures, this new edition
incorporates modern examples and applications of linear optimization. The book now
includes computer code in the form of models in the GNU Mathematical Programming
Language (GMPL). The models and corresponding data files are available for download
and can be readily solved using the provided online solver.

This new edition also contains appendices covering mathematical proofs, linear algebra,
graph theory, convexity, and nonlinear optimization. All chapters contain extensive
examples and exercises.

This textbook is ideal for courses for advanced undergraduate and graduate students
in various fields including mathematics, computer science, industrial engineering,
operations research, and management science.

Praise for the first edition:

“...very recommendable as a textbook and to anybody wishing to learn the topic.”

—Optimization (1997)

Sierksma and Zwols

“...the book is a nice balance between theory and applications...and gives a sound
background for the techniques used and for investigating real problems.”
—Zentralblatt für Mathematik (1998)

Gerard Sierksma and Yori Zwols

K25031

w w w. c rc p r e s s . c o m
LINEAR AND INTEGER
OPTIMIZATION
Theory and Practice
Third Edition
 Advances in Applied Mathematics

Series Editor: Daniel Zwillinger

Published Titles
Green’s Functions with Applications, Second Edition Dean G. Duffy
Linear and Integer Optimization: Theory and Practice, Third Edition
Gerard Sierksma and Yori Zwols
Markov Processes James R. Kirkwood
Pocket Book of Integrals and Mathematical Formulas, 5th Edition
Ronald J. Tallarida Stochastic Partial Differential Equations,
Second Edition Pao-Liu Chow

K25031_FM.indd 2 3/31/15 10:47 AM

 Advances in Applied Mathematics

LINEAR AND INTEGER

OPTIMIZATION
Theory and Practice
Third Edition

Gerard Sierksma
University of Groningen, The Netherlands

Yori Zwols
Google, London, United Kingdom
All code in this book is subject to the MIT open source license. See http://opensource.org/licenses/MIT.

CRC Press
Taylor & Francis Group
6000 Broken Sound Parkway NW, Suite 300
Boca Raton, FL 33487-2742
© 2015 by Taylor & Francis Group, LLC
CRC Press is an imprint of Taylor & Francis Group, an Informa business

No claim to original U.S. Government works

Version Date: 20160412

International Standard Book Number-13: 978-1-4987-4312-9 (eBook - PDF)

This book contains information obtained from authentic and highly regarded sources. Reasonable efforts have been
made to publish reliable data and information, but the author and publisher cannot assume responsibility for the valid-
ity of all materials or the consequences of their use. The authors and publishers have attempted to trace the copyright
holders of all material reproduced in this publication and apologize to copyright holders if permission to publish in this
form has not been obtained. If any copyright material has not been acknowledged please write and let us know so we may
rectify in any future reprint.

Except as permitted under U.S. Copyright Law, no part of this book may be reprinted, reproduced, transmitted, or uti-
lized in any form by any electronic, mechanical, or other means, now known or hereafter invented, including photocopy-
ing, microfilming, and recording, or in any information storage or retrieval system, without written permission from the
publishers.

For permission to photocopy or use material electronically from this work, please access www.copyright.com (http://
www.copyright.com/) or contact the Copyright Clearance Center, Inc. (CCC), 222 Rosewood Drive, Danvers, MA 01923,
978-750-8400. CCC is a not-for-profit organization that provides licenses and registration for a variety of users. For
organizations that have been granted a photocopy license by the CCC, a separate system of payment has been arranged.

Trademark Notice: Product or corporate names may be trademarks or registered trademarks, and are used only for
identification and explanation without intent to infringe.
Visit the Taylor & Francis Web site at
http://www.taylorandfrancis.com
and the CRC Press Web site at
http://www.crcpress.com
To Rita and Rouba
This page intentionally left blank
 Conte nts vii

Contents

List of Figures xvii

List of Tables xxiii

Preface xxv

1 Basic concepts of linear optimization 1

1.1 The company Dovetail · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2
1.1.1 Formulating Model Dovetail · · · · · · · · · · · · · · · · · · · · · · · · 2
1.1.2 The graphical solution method · · · · · · · · · · · · · · · · · · · · · · · 3
1.2 Definition of an LO-model · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5
1.2.1 The standard form of an LO-model · · · · · · · · · · · · · · · · · · · · · 5
1.2.2 Slack variables and binding constraints · · · · · · · · · · · · · · · · · · · 9
1.2.3 Types of optimal solutions and feasible regions · · · · · · · · · · · · · · · 10
1.3 Alternatives of the standard LO-model · · · · · · · · · · · · · · · · · · · · · · · 12
1.4 Solving LO-models using a computer package · · · · · · · · · · · · · · · · · · · · 14
1.5 Linearizing nonlinear functions · · · · · · · · · · · · · · · · · · · · · · · · · · · · 16
1.5.1 Ratio constraints · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 16
1.5.2 Objective functions with absolute value terms · · · · · · · · · · · · · · · · 17
1.5.3 Convex piecewise linear functions · · · · · · · · · · · · · · · · · · · · · · 19
1.6 Examples of linear optimization models · · · · · · · · · · · · · · · · · · · · · · · 21
1.6.1 The diet problem · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 22
1.6.2 Estimation by regression · · · · · · · · · · · · · · · · · · · · · · · · · · · 24
1.6.3 Team formation in sports · · · · · · · · · · · · · · · · · · · · · · · · · · · 26
1.6.4 Data envelopment analysis · · · · · · · · · · · · · · · · · · · · · · · · · · 29
1.6.5 Portfolio selection; profit versus risk · · · · · · · · · · · · · · · · · · · · · 34
1.7 Building and implementing mathematical models · · · · · · · · · · · · · · · · · · 39
1.8 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 42

I Linear optimization theory: basic techniques

2 Geometry and algebra of feasible regions 51
2.1 The geometry of feasible regions · · · · · · · · · · · · · · · · · · · · · · · · · · · 51
viii Conte nts

2.1.1 Hyperplanes and halfspaces · · · · · · · · · · · · · · · · · · · · · · · · · · 52

2.1.2 Vertices and extreme directions of the feasible region · · · · · · · · · · · · 55
2.1.3 Faces of the feasible region · · · · · · · · · · · · · · · · · · · · · · · · · · 58
2.1.4 The optimal vertex theorem · · · · · · · · · · · · · · · · · · · · · · · · · 60
2.1.5 Polyhedra and polytopes · · · · · · · · · · · · · · · · · · · · · · · · · · · 62
2.2 Algebra of feasible regions; feasible basic solutions · · · · · · · · · · · · · · · · · · 63
2.2.1 Notation; row and column indices · · · · · · · · · · · · · · · · · · · · · 63
2.2.2 Feasible basic solutions · · · · · · · · · · · · · · · · · · · · · · · · · · · · 64
2.2.3 Relationship between feasible basic solutions and vertices · · · · · · · · · · 68
2.2.4 Degeneracy and feasible basic solutions · · · · · · · · · · · · · · · · · · · 75
2.2.5 Adjacency · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77
2.3 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 79

3 Dantzig’s simplex algorithm 83

3.1 From vertex to vertex to an optimal solution · · · · · · · · · · · · · · · · · · · · · 83
3.2 LO-model reformulation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 89
3.3 The simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91
3.3.1 Initialization; finding an initial feasible basic solution · · · · · · · · · · · · 92
3.3.2 The iteration step; exchanging variables · · · · · · · · · · · · · · · · · · · 92
3.3.3 Formulation of the simplex algorithm · · · · · · · · · · · · · · · · · · · · 95
3.4 Simplex tableaus · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96
3.4.1 The initial simplex tableau · · · · · · · · · · · · · · · · · · · · · · · · · · 99
3.4.2 Pivoting using simplex tableaus · · · · · · · · · · · · · · · · · · · · · · · · 99
3.4.3 Why the identity matrix of a simplex tableau is row-permuted · · · · · · · 104
3.5 Discussion of the simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · 106
3.5.1 Simplex adjacency graphs · · · · · · · · · · · · · · · · · · · · · · · · · · 107
3.5.2 Optimality test and degeneracy · · · · · · · · · · · · · · · · · · · · · · · 110
3.5.3 Unboundedness · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 112
3.5.4 Pivot rules · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 114
3.5.5 Stalling and cycling · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 115
3.5.6 Anti-cycling procedures: the perturbation method · · · · · · · · · · · · · · 118
3.5.7 Anti-cycling procedures: Bland’s rule · · · · · · · · · · · · · · · · · · · · 120
3.5.8 Correctness of the simplex algorithm · · · · · · · · · · · · · · · · · · · · 121
3.6 Initialization · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 122
3.6.1 The big-M procedure · · · · · · · · · · · · · · · · · · · · · · · · · · · · 123
3.6.2 The two-phase procedure · · · · · · · · · · · · · · · · · · · · · · · · · · 127
3.7 Uniqueness and multiple optimal solutions · · · · · · · · · · · · · · · · · · · · · 131
3.8 Models with equality constraints · · · · · · · · · · · · · · · · · · · · · · · · · · · 136
3.9 The revised simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · · · 139
3.9.1 Formulating the algorithm · · · · · · · · · · · · · · · · · · · · · · · · · 139
3.9.2 The product form of the inverse · · · · · · · · · · · · · · · · · · · · · · 141
3.9.3 Applying the revised simplex algorithm · · · · · · · · · · · · · · · · · · · 142
3.10 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 144
 Conte nts ix

4 Duality, feasibility, and optimality 151

4.1 The companies Dovetail and Salmonnose · · · · · · · · · · · · · · · · · · · · · · 152
4.1.1 Formulating the dual model · · · · · · · · · · · · · · · · · · · · · · · · · 152
4.1.2 Economic interpretation · · · · · · · · · · · · · · · · · · · · · · · · · · · 153
4.2 Duality and optimality · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 154
4.2.1 Dualizing the standard LO-model · · · · · · · · · · · · · · · · · · · · · · 154
4.2.2 Dualizing nonstandard LO-models · · · · · · · · · · · · · · · · · · · · · · 155
4.2.3 Optimality and optimal dual solutions · · · · · · · · · · · · · · · · · · · · 159
4.3 Complementary slackness relations · · · · · · · · · · · · · · · · · · · · · · · · · · 162
4.3.1 Complementary dual variables · · · · · · · · · · · · · · · · · · · · · · · · 162
4.3.2 Complementary slackness · · · · · · · · · · · · · · · · · · · · · · · · · · 164
4.3.3 Determining the optimality of a given solution · · · · · · · · · · · · · · · 167
4.3.4 Strong complementary slackness · · · · · · · · · · · · · · · · · · · · · · · 168
4.4 Infeasibility and unboundedness; Farkas’ lemma · · · · · · · · · · · · · · · · · · · 171
4.5 Primal and dual feasible basic solutions · · · · · · · · · · · · · · · · · · · · · · · · 175
4.6 Duality and the simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · 179
4.6.1 Dual solution corresponding to the simplex tableau · · · · · · · · · · · · · 180
4.6.2 The simplex algorithm from the dual perspective · · · · · · · · · · · · · · 182
4.7 The dual simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 185
4.7.1 Formulating the dual simplex algorithm · · · · · · · · · · · · · · · · · · · 187
4.7.2 Reoptimizing an LO-model after adding a new constraint · · · · · · · · · 188
4.8 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 190

5 Sensitivity analysis 195

5.1 Sensitivity of model parameters · · · · · · · · · · · · · · · · · · · · · · · · · · · · 195
5.2 Perturbing objective coefficients · · · · · · · · · · · · · · · · · · · · · · · · · · · 197
5.2.1 Perturbing the objective coefficient of a basic variable · · · · · · · · · · · · 197
5.2.2 Perturbing the objective coefficient of a nonbasic variable · · · · · · · · · · 202
5.2.3 Determining tolerance intervals from an optimal simplex tableau · · · · · · 203
5.3 Perturbing right hand side values (nondegenerate case) · · · · · · · · · · · · · · · 205
5.3.1 Perturbation of nonbinding constraints · · · · · · · · · · · · · · · · · · · · 206
5.3.2 Perturbation of technology constraints · · · · · · · · · · · · · · · · · · · · 207
5.3.3 Perturbation of nonnegativity constraints · · · · · · · · · · · · · · · · · · 213
5.4 Piecewise linearity of perturbation functions · · · · · · · · · · · · · · · · · · · · · 216
5.5 Perturbation of the technology matrix · · · · · · · · · · · · · · · · · · · · · · · · 219
5.6 Sensitivity analysis for the degenerate case · · · · · · · · · · · · · · · · · · · · · · 221
5.6.1 Duality between multiple and degenerate optimal solutions · · · · · · · · · 222
5.6.2 Left and right shadow prices · · · · · · · · · · · · · · · · · · · · · · · · · 225
5.6.3 Degeneracy, binding constraints, and redundancy · · · · · · · · · · · · · · 231
5.7 Shadow prices and redundancy of equality constraints · · · · · · · · · · · · · · · · 234
5.8 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 237
x Conte nts

6 Large-scale linear optimization 247

6.1 The interior path · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 248
6.1.1 The Karush-Kuhn-Tucker conditions for LO-models · · · · · · · · · · · · 248
6.1.2 The interior path and the logarithmic barrier function · · · · · · · · · · · 249
6.1.3 Monotonicity and duality · · · · · · · · · · · · · · · · · · · · · · · · · · 254
6.2 Formulation of the interior path algorithm · · · · · · · · · · · · · · · · · · · · · · 255
6.2.1 The interior path as a guiding hand · · · · · · · · · · · · · · · · · · · · · 255
6.2.2 Projections on null space and row space · · · · · · · · · · · · · · · · · · · 256
6.2.3 Dikin’s affine scaling procedure · · · · · · · · · · · · · · · · · · · · · · · · 258
6.2.4 Determining the search direction · · · · · · · · · · · · · · · · · · · · · · 259
6.3 Convergence to the interior path; maintaining feasibility · · · · · · · · · · · · · · 263
6.3.1 The convergence measure · · · · · · · · · · · · · · · · · · · · · · · · · · 263
6.3.2 Maintaining feasibility; the interior path algorithm · · · · · · · · · · · · · 265
6.4 Termination and initialization · · · · · · · · · · · · · · · · · · · · · · · · · · · · 267
6.4.1 Termination and the duality gap · · · · · · · · · · · · · · · · · · · · · · · 267
6.4.2 Initialization · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 268
6.5 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 273

7 Integer linear optimization 279

7.1 Introduction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 279
7.1.1 The company Dairy Corp · · · · · · · · · · · · · · · · · · · · · · · · · · 280
7.1.2 ILO-models · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 281
7.1.3 MILO-models · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 281
7.1.4 A round-off procedure · · · · · · · · · · · · · · · · · · · · · · · · · · · · 282
7.2 The branch-and-bound algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · 283
7.2.1 The branch-and-bound tree · · · · · · · · · · · · · · · · · · · · · · · · · 283
7.2.2 The general form of the branch-and-bound algorithm · · · · · · · · · · · 286
7.2.3 The knapsack problem · · · · · · · · · · · · · · · · · · · · · · · · · · · · 289
7.2.4 A machine scheduling problem · · · · · · · · · · · · · · · · · · · · · · · 293
7.2.5 The traveling salesman problem; the quick and dirty method · · · · · · · · 298
7.2.6 The branch-and-bound algorithm as a heuristic · · · · · · · · · · · · · · · 299
7.3 Linearizing logical forms with binary variables · · · · · · · · · · · · · · · · · · · · 301
7.3.1 The binary variables theorem · · · · · · · · · · · · · · · · · · · · · · · · 301
7.3.2 Introduction to the theory of logical variables · · · · · · · · · · · · · · · · 303
7.3.3 Logical forms represented by binary variables · · · · · · · · · · · · · · · · 305
7.3.4 A decentralization problem · · · · · · · · · · · · · · · · · · · · · · · · · · 310
7.4 Gomory’s cutting-plane algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · 312
7.4.1 The cutting-plane algorithm · · · · · · · · · · · · · · · · · · · · · · · · · 313
7.4.2 The cutting-plane algorithm for MILO-models · · · · · · · · · · · · · · · 317
7.5 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 319

8 Linear network models 333

8.1 LO-models with integer solutions; total unimodularity · · · · · · · · · · · · · · · 333
8.1.1 Total unimodularity and integer vertices · · · · · · · · · · · · · · · · · · · 334
 Conte nts xi

8.1.2 Total unimodularity and ILO-models · · · · · · · · · · · · · · · · · · · · 336

8.1.3 Total unimodularity and incidence matrices · · · · · · · · · · · · · · · · · 338
8.2 ILO-models with totally unimodular matrices · · · · · · · · · · · · · · · · · · · · 345
8.2.1 The transportation problem · · · · · · · · · · · · · · · · · · · · · · · · · 345
8.2.2 The balanced transportation problem · · · · · · · · · · · · · · · · · · · · 347
8.2.3 The assignment problem · · · · · · · · · · · · · · · · · · · · · · · · · · · 349
8.2.4 The minimum cost flow problem · · · · · · · · · · · · · · · · · · · · · · 350
8.2.5 The maximum flow problem; the max-flow min-cut theorem · · · · · · · 353
8.2.6 Project scheduling; critical paths in networks · · · · · · · · · · · · · · · · 361
8.3 The network simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · · · · · 367
8.3.1 The transshipment problem · · · · · · · · · · · · · · · · · · · · · · · · · 367
8.3.2 Network basis matrices and feasible tree solutions · · · · · · · · · · · · · · 369
8.3.3 Node potential vector; reduced costs; test for optimality · · · · · · · · · · · 372
8.3.4 Determining an improved feasible tree solution · · · · · · · · · · · · · · · 374
8.3.5 The network simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · 375
8.3.6 Relationship between tree solutions and feasible basic solutions · · · · · · · 378
8.3.7 Initialization; the network big-M and two-phase procedures · · · · · · · · 380
8.3.8 Termination, degeneracy, and cycling · · · · · · · · · · · · · · · · · · · · 381
8.4 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 385

9 Computational complexity 397

9.1 Introduction to computational complexity · · · · · · · · · · · · · · · · · · · · · · 397
9.2 Computational aspects of Dantzig’s simplex algorithm · · · · · · · · · · · · · · · · 400
9.3 The interior path algorithm has polynomial running time · · · · · · · · · · · · · · 403
9.4 Computational aspects of the branch-and-bound algorithm · · · · · · · · · · · · · 404
9.5 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 407

II Linear optimization practice: advanced techniques

10 Designing a reservoir for irrigation 413
10.1 The parameters and the input data · · · · · · · · · · · · · · · · · · · · · · · · · · 413
10.2 Maximizing the irrigation area · · · · · · · · · · · · · · · · · · · · · · · · · · · · 417
10.3 Changing the input parameters of the model · · · · · · · · · · · · · · · · · · · · · 419
10.4 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 420
10.5 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 421

11 Classifying documents by language 423

11.1 Machine learning · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 423
11.2 Classifying documents using separating hyperplanes · · · · · · · · · · · · · · · · · 425
11.3 LO-model for finding separating hyperplanes · · · · · · · · · · · · · · · · · · · · 428
11.4 Validation of a classifier · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 431
xii Conte nts

11.5 Robustness of separating hyperplanes; separation width · · · · · · · · · · · · · · · 432

11.6 Models that maximize the separation width · · · · · · · · · · · · · · · · · · · · · 434
11.6.1 Minimizing the 1-norm of the weight vector · · · · · · · · · · · · · · · · 435
11.6.2 Minimizing the ∞-norm of the weight vector · · · · · · · · · · · · · · · · 435
11.6.3 Comparing the two models · · · · · · · · · · · · · · · · · · · · · · · · · 436
11.7 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 438
11.8 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 440

12 Production planning: a single product case 441

12.1 Model description · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 441
12.2 Regular working hours · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 444
12.3 Overtime · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 447
12.4 Allowing overtime and idle time · · · · · · · · · · · · · · · · · · · · · · · · · · · 449
12.5 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 451
12.6 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 454
12.6.1 Model (PP2) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 454
12.6.2 Model (PP3) · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 454
12.7 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 455

13 Production of coffee machines 459

13.1 Problem setting · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 459
13.2 An LO-model that minimizes backlogs · · · · · · · · · · · · · · · · · · · · · · · · 460
13.3 Old and recent backlogs · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 462
13.4 Full week productions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 466
13.5 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 467
13.5.1 Changing the number of conveyor belts · · · · · · · · · · · · · · · · · · · 467
13.5.2 Perturbing backlog-weight coefficients · · · · · · · · · · · · · · · · · · · · 468
13.5.3 Changing the weights of the ‘old’ and the ‘new’ backlogs · · · · · · · · · · 469
13.6 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469
13.7 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 471

14 Conflicting objectives: producing versus importing 473

14.1 Problem description and input data · · · · · · · · · · · · · · · · · · · · · · · · · · 473
14.2 Modeling two conflicting objectives; Pareto optimal points · · · · · · · · · · · · · 474
14.3 Goal optimization for conflicting objectives · · · · · · · · · · · · · · · · · · · · · 477
14.4 Soft and hard constraints · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 481
14.5 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 483
14.5.1 Changing the penalties · · · · · · · · · · · · · · · · · · · · · · · · · · · · 483
14.5.2 Changing the goals · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 483
14.6 Alternative solution techniques · · · · · · · · · · · · · · · · · · · · · · · · · · · · 484
 Conte nts xiii

14.6.1 Lexicographic goal optimization · · · · · · · · · · · · · · · · · · · · · · · 485

14.6.2 Fuzzy linear optimization · · · · · · · · · · · · · · · · · · · · · · · · · · 488
14.7 A comparison of the solutions · · · · · · · · · · · · · · · · · · · · · · · · · · · · 489
14.8 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 490
14.9 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 491

15 Coalition formation and profit distribution 493

15.1 The farmers cooperation problem · · · · · · · · · · · · · · · · · · · · · · · · · · 493
15.2 Game theory; linear production games · · · · · · · · · · · · · · · · · · · · · · · · 495
15.3 How to distribute the total profit among the farmers? · · · · · · · · · · · · · · · · 499
15.4 Profit distribution for arbitrary numbers of farmers · · · · · · · · · · · · · · · · · 502
15.4.1 The profit distribution · · · · · · · · · · · · · · · · · · · · · · · · · · · · 503
15.4.2 Deriving conditions such that a given point is an Owen point · · · · · · · · 505
15.5 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 506
15.6 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 509

16 Minimizing trimloss when cutting cardboard 513

16.1 Formulating the problem · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 513
16.2 Gilmore-Gomory’s solution algorithm · · · · · · · · · · · · · · · · · · · · · · · · 516
16.3 Calculating an optimal solution · · · · · · · · · · · · · · · · · · · · · · · · · · · · 519
16.4 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 521

17 Off-shore helicopter routing 523

17.1 Problem description · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 523
17.2 Vehicle routing problems · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 524
17.3 Problem formulation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 526
17.4 ILO formulation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529
17.5 Column generation · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 530
17.5.1 Traveling salesman and knapsack problems · · · · · · · · · · · · · · · · · · 533
17.5.2 Generating ‘clever’ subsets of platforms · · · · · · · · · · · · · · · · · · · 534
17.6 Dual values as price indicators for crew exchanges · · · · · · · · · · · · · · · · · · 536
17.7 A round-off procedure for determining an integer solution · · · · · · · · · · · · · 538
17.8 Computational experiments · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 540
17.9 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 542
17.10 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 544

18 The catering service problem 547

18.1 Formulation of the problem · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547
18.2 The transshipment problem formulation · · · · · · · · · · · · · · · · · · · · · · · 549
xiv Conte nts

18.3 Applying the network simplex algorithm · · · · · · · · · · · · · · · · · · · · · · · 552

18.4 Sensitivity analysis · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555
18.4.1 Changing the inventory of the napkin supplier · · · · · · · · · · · · · · · 556
18.4.2 Changing the demand · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556
18.4.3 Changing the price of napkins and the laundering costs · · · · · · · · · · · 557
18.5 GMPL model code · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 558
18.6 Exercises · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 560

Appendices
A Mathematical proofs 563
A.1 Direct proof · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564
A.2 Proof by contradiction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 565
A.3 Mathematical induction · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 565

B Linear algebra 567

B.1 Vectors · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 567
B.2 Matrices · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 570
B.3 Matrix partitions · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 571
B.4 Elementary row/column operations; Gaussian elimination · · · · · · · · · · · · · · 572
B.5 Solving sets of linear equalities · · · · · · · · · · · · · · · · · · · · · · · · · · · · 576
B.6 The inverse of a matrix · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 578
B.7 The determinant of a matrix · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 579
B.8 Linear and affine spaces · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 582

C Graph theory 585

C.1 Undirected graphs · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 585
C.2 Connectivity and subgraphs · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 586
C.3 Trees and spanning trees · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588
C.4 Eulerian tours, Hamiltonian cycles, and Hamiltonian paths · · · · · · · · · · · · · 589
C.5 Matchings and coverings · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 591
C.6 Directed graphs · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 592
C.7 Adjacency matrices and incidence matrices · · · · · · · · · · · · · · · · · · · · · 594
C.8 Network optimization models · · · · · · · · · · · · · · · · · · · · · · · · · · · · 595

D Convexity 597
D.1 Sets, continuous functions, Weierstrass’ theorem · · · · · · · · · · · · · · · · · · · 597
D.2 Convexity, polyhedra, polytopes, and cones · · · · · · · · · · · · · · · · · · · · · 600
 Conte nts xv

D.3 Faces, extreme points, and adjacency · · · · · · · · · · · · · · · · · · · · · · · · · 602

D.4 Convex and concave functions · · · · · · · · · · · · · · · · · · · · · · · · · · · · 608

E Nonlinear optimization 611

E.1 Basics · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 611
E.2 Nonlinear optimization; local and global minimizers · · · · · · · · · · · · · · · · · 614
E.3 Equality constraints; Lagrange multiplier method · · · · · · · · · · · · · · · · · · 615
E.4 Models with equality and inequality constraints; Karush-Kuhn-Tucker conditions · 620
E.5 Karush-Kuhn-Tucker conditions for linear optimization · · · · · · · · · · · · · · · 624

F Writing LO-models in GNU MathProg (GMPL) 627

F.1 Model Dovetail · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 627
F.2 Separating model and data · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 629
F.3 Built-in operators and functions · · · · · · · · · · · · · · · · · · · · · · · · · · · 631
F.4 Generating all subsets of a set · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 633

List of Symbols 635

Bibliography 639

Author index 645

Subject index 647

This page intentionally left blank
 List of Figure s xvii

List of Figures

1.1 Nonnegativity constraints. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4

1.2 The feasible region of Model Dovetail. · · · · · · · · · · · · · · · · · · · · · · · 4
1.3 Level lines and the feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · · 5
1.4 Three-dimensional picture. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 5
1.5 The feasible region of Model Dovetail∗ . · · · · · · · · · · · · · · · · · · · · · · · 8
1.6 Bounded and unbounded feasible regions. · · · · · · · · · · · · · · · · · · · · · · 11
1.7 A piecewise linear function. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 18
1.8 Plot of eleven persons’ federal income tax. · · · · · · · · · · · · · · · · · · · · · · 25
1.9 Return versus risk in the portfolio selection problem. · · · · · · · · · · · · · · · 38
1.10 Nonconvex piecewise linear function f (x1 ). · · · · · · · · · · · · · · · · · · · · 45
1.11 Scatter plot of the data in Table 1.5. · · · · · · · · · · · · · · · · · · · · · · · · · 47
n o
2.1 The vector a is a normal of H = x ∈ Rn aT x = b . · · · · · · · · · · · · · · 53
2.2 Normal vectors pointing out of the feasible region of Model Dovetail∗ . · · · · · · 53
2.3 Vertices of the feasible region of Model Dovetail. · · · · · · · · · · · · · · · · · · 56
2.4 Extreme points and directions of F . · · · · · · · · · · · · · · · · · · · · · · · · · 56
2.5 The feasible region of a nonstandard LO-model without vertices. · · · · · · · · · · 58
2.6 Three-dimensional feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · · 59
2.7 Zero-variable representation. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 67
2.8 Feasible and infeasible basic solutions. · · · · · · · · · · · · · · · · · · · · · · · · 67
2.9 Geometry-algebra relationships. · · · · · · · · · · · · · · · · · · · · · · · · · · · 68
2.10 The set BI and its complementary dual set BI c . · · · · · · · · · · · · · · · · · · 70
2.11 Degenerate vertex and redundant hyperplane. · · · · · · · · · · · · · · · · · · · · 76
2.12 Pyramid with a degenerate top. · · · · · · · · · · · · · · · · · · · · · · · · · · · 76

3.1 The feasible region of Model Dovetail. · · · · · · · · · · · · · · · · · · · · · · · 84

3.2 The feasible region from the perspective of vertex v1 . · · · · · · · · · · · · · · · · 87
3.3 The feasible region from the perspective of vertex v2 . · · · · · · · · · · · · · · · · 88
3.4 Path taken by the simplex algorithm when applied to Model Dovetail. · · · · · · · 89
3.5 Simplex adjacency graph corresponding to Model Dovetail. · · · · · · · · · · · · · 107
3.6 The feasible region of model (3.10). · · · · · · · · · · · · · · · · · · · · · · · · · 108
3.7 Simplex adjacency graph corresponding to model (3.10). · · · · · · · · · · · · · · 108
3.8 The feasible region of model (3.11). · · · · · · · · · · · · · · · · · · · · · · · · · 111
3.9 Simplex adjacency graph corresponding to model (3.11). · · · · · · · · · · · · · · 111
3.10 Simplex adjacency graph of Chvátal’s example. · · · · · · · · · · · · · · · · · · · 118
3.11 Multiple optimal solutions. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 131
3.12 Unbounded feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 134
xviii List of Figure s

3.13 Simplex tableau. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 140

3.14 Revised simplex tableau. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 140

4.1 Complementary dual variables. · · · · · · · · · · · · · · · · · · · · · · · · · · · 163

4.2 Complementary dual variables. · · · · · · · · · · · · · · · · · · · · · · · · · · · 165
4.3 Unbounded primal feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · 171
4.4 Empty dual feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 171
4.5 Polar cone. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 174
4.6 Complementary dual variables. · · · · · · · · · · · · · · · · · · · · · · · · · · · 175
4.7 Path in the dual problem taken by the simplex algorithm. · · · · · · · · · · · · · · 184

5.1 Level line 3x1 + 2x2 = 22 12 . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 197

5.2 Level line 4x1 + 2x2 = 27. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 197
5.3 Canting level lines. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 198
5.4 Perturbation function for an objective coefficient. · · · · · · · · · · · · · · · · · · 198
5.5 Right hand side perturbations. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 208
5.6 Perturbation function for a technology constraint. · · · · · · · · · · · · · · · · · · 209
5.7 Perturbation function for a nonnegativity constraint. · · · · · · · · · · · · · · · · 215
5.8 Nondecreasing, concave, piecewise linear function. · · · · · · · · · · · · · · · · · 216
5.9 Perturbation function for a technology matrix entry. · · · · · · · · · · · · · · · · 221
5.10 Tolerance region. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 221
5.11 Degenerate optimal solution. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 222
5.12 Degenerate vertex. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 225
5.13 Degenerate optimal vertex and a positive perturbation of a redundant constraint. · · 226
5.14 Degenerate optimal vertex v and a negative perturbation of vv1 v2 . · · · · · · · · 226
5.15 Perturbation function for ‘v1 v2 v’ in Figure 5.13 and Figure 5.14. · · · · · · · · · · 227
5.16 Left and right shadow prices. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 228
5.17 Perturbation function for constraint (3) of model (5.12). · · · · · · · · · · · · · · · 231
5.18 Perturbation function for nonnegativity constraint x2 ≥ 0 of model (5.12). · · · · · 231

6.1 Interior path for model (A). · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 250

6.2 Logarithmic barrier function. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 252
6.3 The interior path as a guiding hand. · · · · · · · · · · · · · · · · · · · · · · · · · 255
6.4 Projections on null space and row space. · · · · · · · · · · · · · · · · · · · · · · · 256
6.5 Dikin’s affine scaling procedure. · · · · · · · · · · · · · · · · · · · · · · · · · · · 258
6.6 Pointing to the interior path. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 260
6.7 The vector −∇BP̄ (1; µk ) points ‘more or less’ in the direction of X−1 k x(µk ). · · · 261
6.8 Approximations of interior paths. · · · · · · · · · · · · · · · · · · · · · · · · · · 265
6.9 Optimal objective value of the auxiliary LO-model for Model Dovetail. · · · · · · 271
6.10 Path taken by the interior path algorithm for the auxiliary LO-model · · · · · · · 271

7.1 Feasible integer points of Model Dairy Corp. · · · · · · · · · · · · · · · · · · · · 281

7.2 Different solutions found by rounding the optimal LO-relaxation solution. · · · · · 282
7.3 Region of Figure 7.1 that is excluded by requiring that x2 ≤ 25 or x2 ≥ 26. · · · · 284
7.4 First iterations of the branch-and-bound algorithm for Model Dairy Corp. · · · · · 285
7.5 Branch-and-bound tree for Model Dairy Corp. · · · · · · · · · · · · · · · · · · · 286
7.6 Branch-and-bound tree for the knapsack problem. · · · · · · · · · · · · · · · · · 293
7.7 Gantt chart for Example 7.2.5. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 295
 List of Figure s xix

7.8 Solutions to the machine scheduling problem. · · · · · · · · · · · · · · · · · · · · 296

7.9 Branch-and-bound tree for the machine scheduling problem. · · · · · · · · · · · · 297
7.10 Piecewise linear function. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 309
7.11 Feasible region consisting of integer points. · · · · · · · · · · · · · · · · · · · · · 313
7.12 Adding cut constraints. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 315
7.13 Branch-and-bound tree of Exercise 7.5.4. · · · · · · · · · · · · · · · · · · · · · · 320
7.14 Nonconvex region of Exercise 7.5.15. · · · · · · · · · · · · · · · · · · · · · · · · 324

8.1 Graph G1 with a totally unimodular node-edge incidence matrix. · · · · · · · · · 340

8.2 Graph G2 with a node-edge incidence matrix that is not totally unimodular. · · · · 340
8.3 Digraph whose node-arc incidence matrix is totally unimodular. · · · · · · · · · · 343
8.4 Input for the transportation problem. · · · · · · · · · · · · · · · · · · · · · · · · 345
8.5 Optimal transportation schedule. · · · · · · · · · · · · · · · · · · · · · · · · · · · 347
8.6 Network with capacities and costs on the arcs. · · · · · · · · · · · · · · · · · · · · 351
8.7 Network with capacities. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 354
8.8 A feasible and an optimal solution of the maximum flow problem of Figure 8.7. · · 356
8.9 Cuts in a network. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 357
8.10 The project selection problem as a maximum flow model. · · · · · · · · · · · · · 361
8.11 Project network. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 362
8.12 Invalid and valid project networks for Example 8.2.5. · · · · · · · · · · · · · · · · 363
8.13 Gantt chart for the solution of Figure 8.11. · · · · · · · · · · · · · · · · · · · · · 365
8.14 Network of a transshipment problem. · · · · · · · · · · · · · · · · · · · · · · · · 369
8.15 Feasible tree solution. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 369
8.16 Calculating the node potential vector and the reduced costs. · · · · · · · · · · · · 373
8.17 Determining an improved feasible tree solution. · · · · · · · · · · · · · · · · · · · 375
8.18 Three iterations of the network simplex algorithm and an optimal solution. · · · · 377
8.19 Initial feasible tree for the network big-M procedure. · · · · · · · · · · · · · · · · 381
8.20 Cunningham-Klincewicz network. · · · · · · · · · · · · · · · · · · · · · · · · · 382
8.21 Leaving arc rule. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 384
8.22 Two-dimensional open pit. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395

9.1 The feasible region of the Klee-Minty example for n = 3. · · · · · · · · · · · · · 401

9.2 Branch-and-bound tree for n = 3. · · · · · · · · · · · · · · · · · · · · · · · · · · 406

10.1 Sketch of the reservoir and the river. · · · · · · · · · · · · · · · · · · · · · · · · · 414

10.2 Needed irrigation water versus the inflow. · · · · · · · · · · · · · · · · · · · · · · 416
10.3 Sensitivity with respect to M . · · · · · · · · · · · · · · · · · · · · · · · · · · · · 419
10.4 Sensitivity with respect to γ . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 419

11.1 Separable learning set with 40 documents. · · · · · · · · · · · · · · · · · · · · · · 427

11.2 Nonseparable learning set with 40 documents. · · · · · · · · · · · · · · · · · · · 427
11.3 The learning set of Figure 11.1 after discarding feature f2 . · · · · · · · · · · · · · · 428
11.4 Scatter plots of relative letter frequencies. · · · · · · · · · · · · · · · · · · · · · · 429
11.5 Separation for a learning set. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 430
11.6 Comparison of classifiers. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 438

12.1 Actual versus desired production for model (PP1). · · · · · · · · · · · · · · · · · · 446

12.2 Two cases: overtime versus no overtime. · · · · · · · · · · · · · · · · · · · · · · · 448
xx List of Figure s

12.3 Perturbation function for γ in model (PP1). · · · · · · · · · · · · · · · · · · · · · 451

12.4 Perturbation function for s0 in model (PP1). · · · · · · · · · · · · · · · · · · · · 451
12.5 The labor input versus the number of regular employees in model (PP2). · · · · · · 452
12.6 Perturbation function for γ in model (PP4). · · · · · · · · · · · · · · · · · · · · · 453
12.7 Perturbation function for s0 in model (PP4). · · · · · · · · · · · · · · · · · · · · 453
12.8 Perturbation function for β in model (PP5). · · · · · · · · · · · · · · · · · · · · · 454
∗
12.9 x for different values of β in model (PP5). · · · · · · · · · · · · · · · · · · · · · 454

14.1 The feasible region. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 477

14.2 Profit and import costs as functions of the profit penalty α. · · · · · · · · · · · · · 484
14.3 Penalties as functions of the profit goal. · · · · · · · · · · · · · · · · · · · · · · · 485
14.4 Penalties as functions of the import goal. · · · · · · · · · · · · · · · · · · · · · · · 486
14.5 Optimal production-import solutions. · · · · · · · · · · · · · · · · · · · · · · · · 490
T
15.1 Core of the game with a = 1 1 1 . · · · · · · · · · · · · · · · · · · · · · · · · 500


15.2 Owen points for different distributions of farmers of Type 1, 2, and 3. · · · · · · · 504

16.1 A cutting pattern. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 514

16.2 A noninteger ‘solution’. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 516

17.1 Continental shelves of the North Sea. · · · · · · · · · · · · · · · · · · · · · · · · 524

17.2 Locations of the 51 platforms. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 525
17.3 The limited range of the helicopters. · · · · · · · · · · · · · · · · · · · · · · · · 528
17.4 Sensitivity with respect to the helicopter capacity C . · · · · · · · · · · · · · · · · 542
17.5 An optimal traveling salesman tour. · · · · · · · · · · · · · · · · · · · · · · · · · 543
17.6 Sensitivity with respect to the helicopter range R. · · · · · · · · · · · · · · · · · · 543

18.1 The network of the catering service problem. · · · · · · · · · · · · · · · · · · · · 550

18.2 The transshipment matrix A. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 551
18.3 Initial feasible tree solution. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 553
18.4 Optimal solution. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554
18.5 Perturbation function for b3 . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556
18.6 Number of purchased versus demanded napkins. · · · · · · · · · · · · · · · · · · 557
18.7 Tolerance region for the costs of fast and slow laundry. · · · · · · · · · · · · · · · 558
18.8 Perturbation function for the napkin price. · · · · · · · · · · · · · · · · · · · · · 559

C.1 Isomorphic graphs. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 586

C.2 The graph K5 . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 587
C.3 The graph K3,3 . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 587
C.4 Trees. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 588
C.5 The bridges of Kaliningrad and the corresponding graph. · · · · · · · · · · · · · · 589
C.6 The Hamiltonian cycles of K4 . · · · · · · · · · · · · · · · · · · · · · · · · · · · 590
C.7 A maximum matching. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 591
C.8 A perfect matching. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 591
C.9 A node-covering. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 592
C.10 A minimum node-covering. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 592
C.11 The unit-cube graph in R3 . · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 592
C.12 Nonbipartite graph G that satisfies ν(G) = τ (G). · · · · · · · · · · · · · · · · · · 592
 List of Figure s xxi

C.13 A digraph and its underlying graph. · · · · · · · · · · · · · · · · · · · · · · · · · 593

C.14 Digraph that is not strongly connected. · · · · · · · · · · · · · · · · · · · · · · · 594
C.15 Weighted digraph. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 595

D.1 Examples of a convex and a nonconvex set in R2 . · · · · · · · · · · · · · · · · · · 599

D.2 Writing the vertex x0 as a convex combination of vertices of F . · · · · · · · · · · 605

E.1 The functions f (x) = x2 and h(x) = x̂2 + 2x̂(x − x̂). · · · · · · · · · · · · · · · 612
E.2 The functions f (x) = |x| and h(x) = |x̂| + α(x − x̂). · · · · · · · · · · · · · · · 612
E.3 Global and local minimizers and maximizers of the function f (x) = cos(2πx)
x . · · · 615
E.4 Consumer choice model. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 616
E.5 The feasible region of the model in Example E.4.1. · · · · · · · · · · · · · · · · · 621
E.6 Nonlinear optimization model for which the KKT conditions fail. · · · · · · · · · 623
This page intentionally left blank
 L i s t o f Ta b l e s xxiii

List of Tables

1.1 Federal income tax data for eleven persons. · · · · · · · · · · · · · · · · · · · · · 25

1.2 Inputs and outputs for ten universities. · · · · · · · · · · · · · · · · · · · · · · · · 30
1.3 Data envelopment analysis results. · · · · · · · · · · · · · · · · · · · · · · · · · · 34
1.4 Rates of return, expected rates of return, and mean absolute deviations. · · · · · · 35
1.5 Ages and salaries of twenty employees of a company. · · · · · · · · · · · · · · · · 47

4.1 Dualization rules for nonstandard LO-models. · · · · · · · · · · · · · · · · · · · · 158

4.2 Symmetric duality combinations. · · · · · · · · · · · · · · · · · · · · · · · · · · 172
4.3 Concepts of the primal simplex algorithm and the dual simplex algorithm. · · · · · 188

5.1 Perturbations δ = −2, −1, 0, 1, 2, 3, 4. · · · · · · · · · · · · · · · · · · · · · · · · 199

5.2 Perturbations δ = −4, −3, −2, −1, 0, 1, 2. · · · · · · · · · · · · · · · · · · · · · · 209
5.3 Example LO-package output for model (5.12). · · · · · · · · · · · · · · · · · · · 229

7.1 Knapsack problem inputs. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 290

7.2 Ratio ranking. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 292
7.3 Setup and reset times. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 294
7.4 Propositional connectives and constraints. · · · · · · · · · · · · · · · · · · · · · · 304
7.5 Connective truth table. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 305
7.6 Truth table of the compound proposition (¬P1 ∧ P2 ) ∨ (P1 ∧ ¬P2 ). · · · · · · · · 305
7.7 Data for the decentralization problem. · · · · · · · · · · · · · · · · · · · · · · · · 310
7.8 Data for company Whattodo. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 326
7.9 Weekly use of different types of pigment and corresponding prices per kg. · · · · · 326
7.10 Project data for Exercise 7.5.27. · · · · · · · · · · · · · · · · · · · · · · · · · · · 329
7.11 The distances between the 14 locations (in units of 50 meters) for Exercise 7.5.28. · 331

8.1 Input data corresponding to the network of Figure 8.6. · · · · · · · · · · · · · · · 352

8.2 Projects and machines. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 360
8.3 Network simplex cycle. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 383

9.1 Growth of functions. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 399

10.1 Monthly quantities of irrigation water and inflow water. · · · · · · · · · · · · · · 415

11.1 Relative letter frequencies (in percentages) of several newspaper articles. · · · · · · 426
11.2 Validation results for the classifier. · · · · · · · · · · · · · · · · · · · · · · · · · · 432

12.1 Input data. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 445

xxiv L i s t o f Ta b l e s

13.1 Initial inventories and demands. · · · · · · · · · · · · · · · · · · · · · · · · · · · 461

13.2 Optimal values of xit for model (13.5). · · · · · · · · · · · · · · · · · · · · · · · 462
13.3 Optimal values of sit for model (13.5). · · · · · · · · · · · · · · · · · · · · · · · · 463
13.4 Optimal values of xit for model (13.7). · · · · · · · · · · · · · · · · · · · · · · · 464
13.5 Optimal values of rit for model (13.7). · · · · · · · · · · · · · · · · · · · · · · · · 465
13.6 Optimal values of sit for model (13.7). · · · · · · · · · · · · · · · · · · · · · · · · 466
13.7 Optimal full-week production values δit . · · · · · · · · · · · · · · · · · · · · · · 467
13.8 Number of conveyor belts versus total backlog. · · · · · · · · · · · · · · · · · · · 468
13.9 Perturbing c24 in model (13.5). · · · · · · · · · · · · · · · · · · · · · · · · · · · 469
13.10 Old and new backlogs. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469

14.1 Input data for Plastics International. · · · · · · · · · · · · · · · · · · · · · · · · · 474

14.2 Optimal solutions for the separate objectives. · · · · · · · · · · · · · · · · · · · · 475
14.3 Computer output, optimal solution of (O3). · · · · · · · · · · · · · · · · · · · · · 480
14.4 Optimal production-import schedule for model (O3). · · · · · · · · · · · · · · · · 481

15.1 Resources required for the production of the biscuits. · · · · · · · · · · · · · · · · 494

15.2 Optimal production schedules in the case of three farmers. · · · · · · · · · · · · · 499
15.3 Sensitivity analysis. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 507

16.1 Order package. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 514

16.2 A number of cutting patterns. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 514
16.3 Optimal solution. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 520

17.1 Coordinates of the platforms. · · · · · · · · · · · · · · · · · · · · · · · · · · · · 524

17.2 Demanded crew exchanges. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 536
17.3 Noninteger optimal solution of model (RFF). · · · · · · · · · · · · · · · · · · · · 537
17.4 Dual optimal values. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 538
17.5 A feasible flight schedule. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 540
17.6 Comparing fifteen input instances for the round-off algorithm. · · · · · · · · · · · 541

18.1 Number of demanded napkins. · · · · · · · · · · · · · · · · · · · · · · · · · · · 548

18.2 A feasible decision sequence. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 549
18.3 An optimal schedule. · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 555
Preface

The past twenty years showed an explosive growth of applications of mathematical algo-
rithms. New and improved algorithms and theories appeared, mainly in practice-oriented
scientific journals. Linear and integer optimization algorithms have established themselves
among the most-used techniques for quantitative decision support systems.
Many universities all over the world used the first two editions of this book for their linear
optimization courses. The main reason of choosing this textbook was the fact that this book
shows the strong and clear relationships between theory and practice.
Linear optimization, also commonly called linear programming, can be described as the process
of transforming a real-life decision problem into a mathematical model, together with the
process of designing algorithms with which the mathematical model can be analyzed and
solved, resulting in a proposal that may support the procedure of solving the real-life problem.
The mathematical model consists of an objective function that has to be maximized or
minimized, and a finite number of constraints, where both the objective function and the
constraints are linear in a finite number of decision variables. If the decision variables are
restricted to be integer-valued, the linear optimization model is called an integer (linear)
optimization model.
Linear and integer optimization are among the most widely and successfully used decision
tools in the quantitative analysis of practical problems where rational decisions have to be
made. They form a main branch of management science and operations research, and they
are indispensable for the understanding of nonlinear optimization. Besides the fundamental
role that linear and integer optimization play in economic optimization problems, they
are also of great importance in strategic planning problems, in the analysis of algorithms,
in combinatorial problems, and in many other subjects. In addition to its many practical
applications, linear optimization has beautiful mathematical aspects. It blends algorithmic
and algebraic concepts with geometric ones.

xxv
xxvi P r e f ac e

New in the third edition

New developments and insights have resulted in a rearrangement of the second edition,
while maintaining its original flavor and didactic approach. Considerable effort has been
made to modernize the content. Besides the fresh new layout and completely redesigned
figures, we added new modern examples and applications of linear optimization.
Where the second edition of the book had a disk with a linear optimization package and
an interior path algorithm solver, the internet has made this redundant. Solving a linear
optimization model is now easier than ever, with several packages available on the internet
which readily solve even moderately large linear optimization models. We made the book
more practical by adding computer code in the form of models in the GNU Mathematical
Programming Language (GMPL). These computer models and the corresponding data files
are available for download from the official website, at http://www.lio.yoriz.co.uk/.
Moreover, these models can be readily solved using the online solver provided on the web-
site.

Organization
This book starts at an elementary level. All concepts are introduced by means of simple
prototype examples which are extended and generalized to more realistic settings. The
reader is challenged to understand the concepts and phenomena by means of mathematical
arguments. So besides the insight into the practical use of linear and integer optimization,
the reader obtains a thorough knowledge of its theoretical background. With the growing
need for very specific techniques, the theoretical knowledge has become more and more
practically useful. It is very often not possible to apply standard techniques in practical
situations. Practical problems demand specific adaptations of standard models, which are
efficiently solvable only with a thorough mathematical understanding of the techniques.
The book consists of two parts. Part I covers the theory of linear and integer optimization.
It deals with basic topics such as Dantzig’s simplex algorithm, duality, sensitivity analysis,
integer optimization models, and network models, as well as more advanced topics such as
interior point algorithms, the branch-and-bound algorithm, cutting planes, and complex-
ity. Part II of the book covers case studies and more advanced techniques such as column
generation, multiobjective optimization, and game theory.
All chapters contain an extensive number of examples and exercises. The book contains five
appendices, a list of symbols, an author index, and a subject index. The literature list at the
end of the book contains the relevant literature usually from after 1990.
Examples, computer exercises, and advanced material are marked with icons in the margin:

Example Computer exercise Advanced material

 P r e f ac e xxvii

For course lecturers

The book can be used as a textbook for advanced undergraduate students and graduate
students in the fields – among others – of operations research and management science,
mathematics, computer science, and industrial engineering. It can be used in a one-quarter
course on linear and integer optimization where the emphasis is on both the practical and
the mathematical aspects. Since all theorems in this book can be considered as summaries of
preceding explanations, the rigorous mathematical proofs can be omitted in undergraduate
courses. Such a course may include the chapters 1 through 5, and 7 through 9, without all
rigorous mathematical discussions and proofs, and may emphasize Part II on model building
and practical case studies. The book is written in such a way that the rigorous mathematical
parts are easily recognizable (they are printed in small type and marked with a vertical line),
and their omission does not affect the readability of the text. The theoretical level of the book
requires only very elementary set theory, trigonometry, and calculus. The more advanced
mathematics is explained in the text and in appendices.
For an advanced one-quarter course, the elementary parts can be treated quickly, so that
there is enough time to cover most of the material, including Chapter 6 on Karmarkar’s
algorithm. The flow diagram in Figure 0.1 can be used to structure a course. The diagram
outlines which sections form the basic material of the book, and which sections are consid-
ered advanced material. It also shows the case-study chapters in Part II that are relevant for
each chapter in Part I.

Overview of Part I
In Chapter 1, the reader is introduced to linear optimization. The basic concepts of linear
optimization are explained, along with examples of linear optimization models. Chapter 2
introduces the mathematical theory needed to study linear optimization models. The ge-
ometry and the algebra, and the relationship between them, are explored in this chapter. In
Chapter 3, Dantzig’s simplex algorithm for solving linear optimization problems is devel-
oped. Since many current practical problems, such as large-scale crew scheduling problems,
may be highly degenerate, we pay attention to this important phenomenon. For instance,
its relationship with multiple optimal solutions and with shadow prices is discussed in de-
tail. This discussion is also indispensable for understanding the output of linear optimization
computer software. Chapter 4 deals with the crucial concepts of duality and optimality, and
Chapter 5 offers an extensive account to the theory and practical use of sensitivity analysis.
In Chapter 6, we discuss the interior path version of Karmarkar’s interior point algorithm
for solving linear optimization problems. Among all versions of Karmarkar’s algorithm, the
interior path algorithm is one of the most accessible and elegant. The algorithm determines
optimal solutions by following the so-called interior path through the (relative) interior
of the feasible region towards an optimal solution. Chapter 7 deals with integer linear opti-
mization, and discusses several solution techniques such as the branch-and-bound algorithm,
and Gomory’s cutting-plane algorithm. We also discuss algorithms for mixed-integer lin-
ear optimization models. Chapter 8 can be seen as an extension of Chapter 7; it discusses
xxviii P r e f ac e

Chapter Techniques discussed

10. Designing a reservoir for irrigation Practical modeling
11. Classifying documents by language Machine learning
12. Production planning; a single product case Dynamic optimization
13. Production of coffee machines Dynamic optimization
14. Conflicting objectives: producing versus Multiobjective optimization, goal
importing optimization, fuzzy optimization
15. Coalition forming and profit distribution Game theory
16. Minimizing trimloss when cutting cardboard Column generation
17. Off-shore helicopter routing Combinatorial optimization, column
generation, approximation algorithms
18. The catering service problem Network modeling, network simplex
algorithm

Table 0.1: Techniques discussed in the chapters of Part II.

the network simplex algorithm, with an application to the transshipment problem. It also
presents the maximum flow/minimum cut theorem as a special case of linear optimization
duality. Chapter 9 deals with computational complexity issues such as polynomial solvability
and NP-completeness. With the use of complexity theory, mathematical decision problems
can be partitioned into ‘easy’ and ‘hard’ problems.

Overview of Part II
The chapters in Part II of this book discuss a number of (more or less) real-life case studies.
These case studies reflect both the problem-analyzing and the problem-solving ability of
linear and integer optimization. We have written them in order to illustrate several advanced
modeling techniques, such as network modeling, game theory, and machine learning, as well
as specific solution techniques such as column generation and multiobjective optimization.
The specific techniques discussed in each chapter are listed in Table 0.1.

Acknowledgments
We are grateful to a few people who helped and supported us with this book — to Vašek
Chvátal, Peter van Dam, Shane Legg, Cees Roos, Gert Tijssen, and Theophane Weber, to
the LATEX community at tex.stackexchange.com, and to our families without whose
support this book would not have been written.

Groningen and London, January 2015 Gerard Sierksma and Yori Zwols
 P r e f ac e xxix

Applications Basic material Advanced material

Chapter 1
Introduction

Chapter 10 Chapter 2
Designing a reservoir Geometry and algebra

Section 3.9
Chapter 11 Sections 3.1–3.8
Revised sim-
Classification Simplex algorithm
plex algorithm

Sections 4.1–
Sections 4.6–4.7
4.4, except 4.3.4
Dual simplex algorithm
Duality

Section 4.3.4
Chapters 12, 13 Sections 5.1–5.5
Strong comple-
Production planning Sensitivity analysis
mentary slackness

Chapters 14, 15 Sections 5.6–5.7

Chapter 6
Conflicting objec- Sensitivity analysis
Large scale optimization
tives, game theory under degeneracy

Chapter 16 Sections 7.1–7.3 Section 7.4

Trimloss Integer optimization Cutting-plane algorithm

Chapter 17 Chapter 8
Helicopter scheduling Network optimization

Chapter 18 Chapter 9
Catering problem Complexity theory

Figure 0.1: Flow diagram for designing a course.

This page intentionally left blank
 1
C hap te r
Basic concepts of linear optimization

Overview
In 1827, the French mathematician Jean-Baptiste Joseph Fourier (1768–1830) published
a method for solving systems of linear inequalities. This publication is usually seen as the
first account on linear optimization. In 1939, the Russian mathematician Leonid V. Kan-
torovich (1912–1986) gave linear optimization formulations of resource allocation problems.
Around the same time, the Dutch economist Tjalling C. Koopmans (1910–1985) formu-
lated linear optimization models for problems arising in classical, Walrasian (Léon Walras,
1834–1910), economics. In 1975, both Kantorovich and Koopmans received the Nobel
Prize in economic sciences for their work. During World War II, linear optimization mod-
els were designed and solved for military planning problems. In 1947, George B. Dantzig
(1914–2005) invented, what he called, the simplex algorithm. The discovery of the simplex
algorithm coincided with the rise of the computer, making it possible to computerize the
calculations, and to use the method for solving large-scale real life problems. Since then, lin-
ear optimization has developed rapidly, both in theory and in application. At the end of the
1960’s, the first software packages appeared on the market. Nowadays linear optimization
problems with millions of variables and constraints can readily be solved.
Linear optimization is presently used in almost all industrial and academic areas of quantita-
tive decision making. For an extensive – but not exhaustive – list of fields of applications of
linear optimization, we refer to Section 1.6 and the case studies in Chapters 10–11. More-
over, the theory behind linear optimization forms the basis for more advanced nonlinear
optimization.
In this chapter, the basic concepts of linear optimization are discussed. We start with a
simple example of a so-called linear optimization model (abbreviated to LO-model) containing
two decision variables. An optimal solution of the model is determined by means of the
‘graphical method’. This simple example is used as a warming up exercise for more realistic
cases, and the general form of an LO-model. We present a few LO-models that illustrate

1
2 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

the use of linear optimization, and that introduce some standard modeling techniques. We
also describe how to use an online linear optimization package to solve an LO-model.

1.1 The company Dovetail

We start this chapter with a prototype problem that will be used throughout the book. The
problem setting is as follows. The company Dovetail produces two kinds of matches: long
and short ones. The company makes a profit of 3 (×$1,000) for every 100,000 boxes of
long matches, and 2 (×$1,000) for every 100,000 boxes of short matches. The company
has one machine that can produce both long and short matches, with a total of at most 9
(×100,000) boxes per year. For the production of matches the company needs wood and
boxes: three cubic meters of wood are needed for 100,000 boxes of long matches, and one
cubic meter of wood is needed for 100,000 boxes of short matches. The company has 18
cubic meters of wood available for the next year. Moreover, Dovetail has 7 (×100,000)
boxes for long matches, and 6 (×100,000) for short matches available at its production site.
The company wants to maximize its profit in the next year. It is assumed that Dovetail can
sell any amount it produces.

1.1.1 Formulating Model Dovetail

In order to write the production problem that company Dovetail faces in mathematical
terms, we introduce the decision variables x1 and x2 :

x1 = the number of boxes (×100,000) of long matches to be made the next year,
x2 = the number of boxes (×100,000) of short matches to be made the next year.

The company makes a profit of 3 (×$1,000) for every 100,000 boxes of long matches, which
means that for x1 (×100,000) boxes of long matches, the profit is 3x1 (×$1,000). Similarly,
for x2 (×100,000) boxes of short matches the profit is 2x2 (×$1,000). Since Dovetail aims
at maximizing its profit, and it is assumed that Dovetail can sell its full production, the
objective of Dovetail is:

maximize 3x1 + 2x2 .

The function 3x1 + 2x2 is called the objective function of the problem. It is a function of the
decision variables x1 and x2 . If we only consider the objective function, it is obvious that
the production of matches should be taken as high as possible. However, the company also
has to take into account a number of constraints. First, the machine capacity is 9 (×100,000)
boxes per year. This yields the constraint:

x1 + x2 ≤ 9. (1.1)

Second, the limited amount of wood yields the constraint:

3x1 + x2 ≤ 18. (1.2)

 1 . 1 . Th e c o m pa n y D o v e ta i l 3

Third, the numbers of available boxes for long and short matches is restricted, which means
that x1 and x2 have to satisfy:

x1 ≤ 7, (1.3)
and x2 ≤ 6. (1.4)

The inequalities (1.1) – (1.4) are called technology constraints. Finally, we assume that only
nonnegative amounts can be produced, i.e.,

x1 , x2 ≥ 0.

The inequalities x1 ≥ 0 and x2 ≥ 0 are called nonnegativity constraints. Taking together the
six expressions formulated above, we obtain Model Dovetail:

Model Dovetail.

max 3x1 + 2x2

s.t. x1 + x2 ≤ 9 (1.1)
3x1 + x2 ≤ 18 (1.2)
x1 ≤ 7 (1.3)
x2 ≤ 6 (1.4)
x1 , x2 ≥ 0.

In this model ‘s.t.’ means ‘subject to’. Model Dovetail is an example of a linear optimization
model. We will abbreviate ‘linear optimization model’ as ‘LO-model’. The term ‘linear’
refers to the fact that the objective function and the constraints are linear functions of the
decision variables x1 and x2 . In the next section we will determine an optimal solution (also
called optimal point) of Model Dovetail, which means that we will determine values of x1 and
x2 satisfying the constraints of the model, and such that the value of the objective function
is maximum for these values.
LO-models are often called ‘LP-models’, where ‘LP’ stands for linear programming. The word
‘programming’ in this context is an old-fashioned word for optimization, and has nothing
to do with the modern meaning of programming (as in ‘computer programming’). We
therefore prefer to use the word ‘optimization’ to avoid confusion.

1.1.2 The graphical solution method

Model Dovetail has two decision variables, which allows us to determine a solution graphi-
cally. To that end, we first draw the constraints in a rectangular coordinate system. We start
with the nonnegativity constraints (see Figure 1.1). In Figure 1.1, the values of the decision
variables x1 and x2 are nonnegative in the shaded area above the line x1 = 0 and to the
right of the line x2 = 0. Next, we draw the line x1 + x2 = 9 corresponding to constraint
(1.1) and determine on which side of this line the values of the decision variables satisfying
4 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

x2 x2

(1.3)
9
(1.2)
v3 (1.4)
6 v
4
v2

v1 (1.1)
0 x1 0 6 x1

Figure 1.1: Nonnegativity constraints. Figure 1.2: The feasible region of Model Dovetail.

x1 + x2 ≤ 9 are located. Figure 1.2 is obtained by doing this for all constraints. We end up
with theh region 0v1 v2 v3 v4 , which is called the feasible region of the model; it contains the
x1
i
points x that satisfy the constraints of the model. The points 0, v1 , v2 , v3 , and v4 are
2
called the vertices of the feasible region. It can easily be calculated that:
   1    
6 42 3 0
v1 = , v2 = 1 , v3 = , and v4 = .
0 42 6 6
In Figure 1.2, we also see that constraint (1.3) can be deleted without changing the feasible
region. Such a constraint is called redundant with respect to the feasible region. On the other
hand, there are reasons for keeping this constraint in the model. For example, when the
right hand side of constraint (1.2) is sufficiently increased (thereby moving the line in Figure
1.2 corresponding to (1.3) to the right), constraint (1.3) becomes nonredundant again. See
Chapter 5.
Next, we determine the points in the feasible region that attain the maximum value of the
objective function. To that end, we drawh iniFigure 1.2 a number of so-called level lines.
x
A level line is a line for which all points x1 on it have the same value of the objective
2
function. In Figure 1.3, five level lines are drawn, namely 3x1 + 2x2 = 0, 6, 12, 18, and
24. The arrows in Figure 1.3 point in the direction of increasing values of the objective
function 3x1 + 2x2 . These arrows are in fact perpendicular to the level lines.
In order to find an optimal solution using Figure 1.3, we start with a level line corresponding
to a small objective value (e.g., 6) and then (virtually) ‘move’ it in the direction of the arrows,
so that the values of the objective function increase. We stop moving the level line when it
reaches the boundary of the feasible region, so that moving the level line any further would
mean that no point of it would lie in the region 0v1 v2 v3 v4 . This happens for the level line
3x
" 1# + 2x2 = 4 12 . This level line intersects the feasible region at exactly one point, namely
1
42
. Hence, the optimal solution is x∗1 = 4 21 , x2∗ = 4 12 , and the optimal objective value
4 12
 1. 2 . D e f i niti on of an L O - mode l 5

z 0
v3
x2 0
v2
0
v4
0
24 v1
18 x2
12
v4
6 v3 v2
0
0
x1 v1 x1
0

Figure 1.3: Level lines and the feasible region. Figure 1.4: Three-dimensional picture.

is 22 21 . Note that the optimal point is a vertex of the feasible region. This fact plays a crucial
role in linear optimization; see Section 2.1.2. Also note that this is the only optimal point.
In Figure 1.4, the same model is depicted in three-dimensional space. The values of z =
3x1 + 2x2 on the region 0v1 v2 v3 v4 form the region 0v10 v20 v30 v40 . From Figure 1.4 it is
obvious that the point v2 with coordinate values x1 = 4 21 and x2 = 4 21 is the optimal
solution. At v2 , the value of the objective function is z ∗ = 22 12 , which means that the
maximum profit is $22,500. This profit is achieved by producing 450,000 boxes of long
matches and 450,000 boxes of short matches.

1.2 Definition of an LO-model

In this section we define the standard form of an LO-model. Actually, the literature on
linear optimization contains a wide range of definitions. They all consist of an objective
together with a number of constraints. All such standard forms are equivalent; see Section
1.3.

1.2.1 The standard form of an LO-model

We first formulate the various parts of a general LO-model. It is always assumed that for
any positive integer d, Rd is a Euclidean vector space of dimension d; see Appendix B. Any
LO-model consists of the following four parts:

I Decision variables. An LO-model contains real-valued decision variables, denoted by

x1 , . . . , xn , where n is a finite positive integer. In Model Dovetail the decision variables
are x1 and x2 .
I Objective function. The objective function c1 x1 + . . . + cn xn is a linear function of
the n decision variables. The constants c1 , . . . , cn are real numbers that are called the
objective coefficients. Depending on whether the objective function has to be maximized
6 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

or minimized, the objective of the model is written as:

max c1 x1 + . . . + cn xn , or min c1 x1 + . . . + cn xn ,

respectively. In the case of Model Dovetail the objective is max 3x1 + 2x2 and the
objective function is 3x1 + 2x2 . The value of the objective function at a point x is
called the objective value at x.
I Technology constraints. A technology constraint of an LO-model is either a ‘≤’, a
‘≥’, or an ‘=’ expression of the form:

ai1 x1 + . . . + ain xn (≤, ≥, =) bi ,

where (≤, ≥, =) means that either the sign ‘≤’, or ‘≥’, or ‘=’ holds. The entry aij is the
coefficient of the j ’th decision variable xj in the i’th technology constraint. Let m be
the number of technology constraints. All (left hand sides of the) technology constraints
are linear functions of the decision variables x1 , . . . , xn .
I Nonnegativity and nonpositivity constraints. A nonnegativity constraint of an LO-
model is an inequality of the form xi ≥ 0; similarly, a nonpositivity constraint is of the
form xi ≤ 0. It may also happen that a variable xi is not restricted by a nonnegativity
constraint or a nonpositivity constraint. In that case, we say that xi is a free or unrestricted
variable. Although nonnegativity and nonpositivity constraints can be written in the
form of a technology constraint, we will usually write them down separately.

For i ∈ {1, . . . , m} and j ∈ {1, . . . , n}, the real-valued entries aij , bi , and cj are called
the parameters of the model. The technology constraints, nonnegativity and nonpositivity
constraints together are referred to as the constraints (or restrictions) of the model.
A vector x ∈ Rn that satisfies all constraints is called a feasible point or feasible solution of
the model. The set of all feasible points is called the feasible region of the model. An LO-
model is called feasible if its feasible region is nonempty; otherwise, it is called infeasible. An
optimal solution of a maximizing (minimizing) LO-model is a point in the feasible region with
maximum (minimum) objective value, i.e., a point such that there is no other point with a
larger (smaller) objective value. Note that there may be more than one optimal solution, or
none at all. The objective value at an optimal solution is called the optimal objective value.
Let x ∈ Rn . A constraint is called binding at the point x if it holds with equality at x. For
example, in Figure 1.2, the constraints (1.1) and (1.1) are binding at the point v2 , and the
other constraints are not binding. A constraint is called violated at the point x if it does not
hold at x. So, if one or more constraints are violated at x, then x does not lie in the feasible
region.
 1. 2 . D e f i niti on of an L O - mode l 7

A maximizing LO-model with only ‘≤’ technology constraints and nonnegativity con-
straints can be written as follows:
max c1 x1 + . . . + cn xn
s.t. a11 x1 + . . . + a1n xn ≤ b1
.. .. ..
. . .
am1 x1 + . . . + amn xn ≤ bm
x1 , . . . , xn ≥ 0.
Using the summation sign ‘ ’, this can also be written as:
P

n
X
max cj xj
j=1
Xn
s.t. aij xj ≤ bi for i = 1, . . . , m
j=1
x1 , . . . , xn ≥ 0.
In terms of matrices there is an even shorter notation. The superscript ‘T’ transposes a row
vector into a column vector, and an (m, n) matrix into an (n, m) matrix (m, n ≥ 1). Let
T T
c = c1 . . . cn ∈ Rn , b = b1 . . . bm ∈ Rm ,
 
 
a11 . . . a1n
x = x1 . . . xn ∈ Rn , and A =  ... .. 
 T m×n
. ∈R .


am1 . . . amn
The matrix A is called the technology matrix (or coefficients matrix), c is the objective vector, and
b is the right hand side vector of the model. The LO-model can now be written as:

max cT x Ax ≤ b, x ≥ 0 ,


where 0 ∈ Rn is the n-dimensional all-zero vector. We call this form the standard form of an
LO-model (see also Section 1.3). It is a maximizing model with ‘≤’ technology constraints,
and nonnegativity constraints. The feasible region F of the standard LO-model satisfies:

F = {x ∈ Rn | Ax ≤ b, x ≥ 0}.

In the case of Model Dovetail, we have that:

 
1 1
T T T 3 1
x2 , and A = 
  
c = 3 2 , b = 9 18 7 6 , x = x1 1
.
0
0 1
8 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

x2
(1.3)
(1.2)
v3 (1.4)
v4
v5
v2

(1.5)
(1.1)
0 v6 v1 x1

∗
Figure 1.5: The feasible region of Model Dovetail .

So Model Dovetail in standard form reads:

     

  
1 1  
9    
  x1  3 1  x1  18  x1 0 
max 3 2   ≤  , ≥ .

 x2  1 0  x2  7  x2 0 

0 1 6
 

Suppose that we want to add the following additional constraint to Model Dovetail. The
manager of Dovetail has an agreement with retailers to deliver a total of at least 500,000
boxes of matches next year. Using our decision variables, this yields the new constraint:

x1 + x2 ≥ 5. (1.5)

Instead of a ‘≤’ sign, this inequality contains a ‘≥’ sign. With this additional constraint,
Figure 1.3 changes into Figure 1.5. From Figure 1.5 one can graphically derive that the
optimal solution (x∗1 = x∗2 = 4 12 ) is not affected by adding the new constraint (1.5).
Including constraint (1.5) in Model Dovetail, yields Model Dovetail∗ :

Model Dovetail∗ .

max 3x1 + 2x2

s.t. x1 + x2 ≤ 9 (1.1)
3x1 + x2 ≤ 18 (1.2)
x1 ≤ 7 (1.3)
x2 ≤ 6 (1.4)
x1 + x2 ≥ 5 (1.5)
x1 , x2 ≥ 0.

In order to write this model in the standard form, the ‘≥’ constraint has to be transformed
into a ‘≤’ constraint. This can be done by multiplying both sides of it by −1. Hence,
x1 + x2 ≥ 5 then becomes −x1 − x2 ≤ −5. Therefore, the standard form of Model
 1. 2 . D e f i niti on of an L O - mode l 9

Dovetail∗ is:
 
1 1 9
   

 


    3 1    18      
  x1   x1   x1 0 
max 3 2  1 0 ≤  7 , ≥ .

 x2  0 1  x2
 
 6  x2
  0 


 

−1 −1 −5
 

Similarly, a constraint with ‘=’ can be put into standard form by replacing it by two ‘≤’
constraints. For instance, 3x1 − 8x2 = 11 can be replaced  Tby 3x1 − 8x2 ≤ 11 and
−3x1 + 8x2 ≤ −11. Also, the minimizing LO-model min c x Ax ≤ b, x ≥ 0 can
be written in standard form, since

min cT x Ax ≤ b, x ≥ 0 = − max −cT x Ax ≤ b, x ≥ 0 ;

 

see also Section 1.3.

1.2.2 Slack variables and binding constraints

Model Dovetail in Section 1.1 contains the following machine capacity constraint:

x1 + x2 ≤ 9. (1.1)

This constraint expresses the fact that the machine can produce at most 9 (× 100,000) boxes
per year. We may wonder whether there is excess machine capacity (overcapacity) in the case
of the optimal solution. For that purpose, we introduce an additional nonnegative variable
x3 in the following way:
x1 + x2 + x3 = 9.
The variable x3 is called the slack variable of constraint (1.1). Its optimal value, called the
slack, measures the unused capacity of the machine. By requiring that x3 is nonnegative, we
can avoid the situation that x1 + x2 > 9, which would mean that the machine capacity is
exceeded and the constraint x1 + x2 ≤ 9 is violated. If, at the optimal solution, the value
of x3 is zero, then the machine capacity is completely used. In that case, the constraint is
binding at the optimal solution.
Introducing slack variables for all constraints of Model Dovetail, we obtain the following
model:
10 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

Model Dovetail with slack variables.

max 3x1 + 2x2

s.t. x1 + x2 + x3 = 9
3x1 + x2 + x4 = 18
x1 + x5 = 7
x2 + x6 = 6
x1 , x2 , x3 , x4 , x5 , x6 ≥ 0.

In this model, x3 , x4 , x5 , and x6 are the nonnegative slack variables of the constraints (1.1),
(1.2), (1.3), and (1.4), respectively. The number of slack variables is therefore equal to the
number of inequality constraints of the model. In matrix notation the model becomes:
      
x1 x 0 
     1   


1 1 1 0 0 0  x2  9  x2   0 

  

 

   
  x1  3 1 0 1 0 0 
x 3
  18  
x 3
 
0  
max 3 2  1 0 0 0 1 0  x4   7   x4   0 .
= , ≥
        
x2
     

    
0 1 0 0 0 1  x5  6  x5   0 

   

 

 
 x6 x6 0 
If Im denotes the identity matrix with m rows and m columns (m ≥ 1), then the general
form of an LO-model with slack variables can be written as:
   
 x
max cT x A Im

= b, x ≥ 0 ,
xs

with x ∈ Rn , xs ∈ Rm , c ∈ Rn , b ∈ Rm , A ∈ Rm×n , and Im ∈ Rm×m . Note that the

value of xs (the vector of slack variables) satisfies xs = b − Ax and is therefore completely
determined by the value of x. This means that if the values of the entries of the vector x
are given, then the values of the entries of xs are fixed.

1.2.3 Types of optimal solutions and feasible regions

It may happen that an LO-model has more than one optimal solution. For instance, if we
replace the objective of Model Dovetail by

max x1 + x2 ,

then all points on the line segment v2 v3 (see Figure 1.2) have the same optimal objective
value, namely 9, and therefore all points on the line segment v2 v3 are optimal. In this case,
we say that there are multiple optimal solutions; see also Section 3.7 and Section 5.6.1. The
feasible region has two optimal vertices, namely v2 and v3 .
Three types of feasible regions can be distinguished, namely:
 1. 2 . D e f i niti on of an L O - mode l 11

x2 x2 x2

0 x1 0 x1 0 x1
(a) Bounded model, bounded (b) Unbounded model, (c) Bounded model, unbounded
feasible region. unbounded feasible region. feasible region.

Figure 1.6: Bounded and unbounded feasible regions.

I Feasible region bounded and nonempty. A feasible region is called bounded if all
decision variables are bounded on the feasible region (i.e., no decision variable can take
on arbitrarily large values on the feasible region). An example is drawn in Figure 1.6(a). If
the feasible region is bounded, then the objective values are also bounded on the feasible
region and hence an optimal solution exists. Note that the feasible region of Model
Dovetail is bounded; see Figure 1.2.
I Feasible region unbounded. A nonempty feasible region is called unbounded if it is not
bounded; i.e., at least one of the decision variables can take on arbitrarily large values on
the feasible region. Examples of an unbounded feasible region are shown in Figure 1.6(b)
and Figure 1.6(c). Whether an optimal solution exists depends on the objective function.
For example, in the case of Figure 1.6(b) an optimal solution does not exist. Indeed, the
objective function takes on arbitrarily large values on the feasible region. Therefore, the
model has no optimal solution. An LO-model with an objective function that takes on
arbitrarily large values is called unbounded; it is called bounded otherwise. On the other
hand, in Figure 1.6(c), an optimal solution does exist. Hence, this is an example of an
LO-model with an unbounded feasible region, but with a (unique) optimal solution.
I Feasible region empty. In this case we have that F = ∅ and the LO-model is called
infeasible. For example, if an LO-model contains the (contradictory) constraints x1 ≥ 6
and x1 ≤ 3, then its feasible region is empty. If an LO-model is infeasible, then it has
no feasible points and, in particular, no optimal solution. If F 6= ∅, then the LO-model
is called feasible.
So, an LO-model either has an optimal solution, or it is infeasible, or it is unbounded.
Note that an unbounded LO-model necessarily has an unbounded feasible region, but the
converse is not true. In fact, Figure 1.6(c) shows an LO-model that is bounded, although it
has an unbounded feasible region.
12 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

1.3 Alternatives of the standard LO-model

In the previous sections we mainly discussed LO-models of the form

max cT x Ax ≤ b, x ≥ 0 ,


with A ∈ Rm×n . We call this form the standard form of an LO-model. The standard form
is characterized by a maximizing objective, ‘≤’ technology constraints, and nonnegativity
constraints.
In general, many different forms may be encountered, for instance with both ‘≥’ and ‘≤’
technology constraints, and both nonnegativity (xi ≥ 0) and nonpositivity constraints (xi ≤
0). All these forms can be reduced to the standard form max c x Ax ≤ b, x ≥ 0 .
 T

The following rules can be applied to transform a nonstandard LO-model into a standard
model:
I A minimizing model is transformed into a maximizing model by using the fact that
minimizing a function is equivalent to maximizing minus that function. So, the objective
of the form ‘min cT x’ is equivalent to the objective ‘− max(−c)T x’. For example,
‘min x1 + x2 ’ is equivalent to ‘− max −x1 − x2 ’.
I A ‘≥’ constraint is transformed into a ‘≤’ constraint by multiplying both sides of the
inequality by −1 and reversing the inequality sign. For example, x1 − 3x2 ≥ 5 is
equivalent to −x1 + 3x2 ≤ −5.
I A ‘=’ constraint of the form ‘aT x = b’ can be written as ‘aT x ≤ b and aT x ≥ b’. The
second inequality in this expression is then transformed into a ‘≤’ constraint (see the
previous item). For example, the constraint ‘2x1 +x2 = 3’ is equivalent to ‘2x1 +x2 ≤ 3
and −2x1 − x2 ≤ −3’.
I A nonpositivity constraint is transformed into a nonnegativity constraint by replacing
the corresponding variable by its negative. For example, the nonpositivity constraint
‘x1 ≤ 0’ is transformed into ‘x01 ≥ 0’ by substituting x1 = −x10 .
I A free variable is replaced by the difference of two new nonnegative variables. For
example, the expression ‘x1 free’ is replaced by ‘x10 ≥ 0, x001 ≥ 0’, and substituting
x1 = x01 − x100 .
The following two examples illustrate these rules.
Example 1.3.1. Consider the nonstandard LO-model:

min −5x1 + 3x2 (1.7)

s.t. x1 + 2x2 ≥ 10
x1 − x2 ≤ 6
x1 + x2 = 12
x1 , x2 ≥ 0.
 1 . 3 . A l t e r nat i v e s o f t h e s ta n da r d L O - m o d e l 13

In addition to being a minimizing model, the model has a ‘≥’ constraint and a ‘=’ constraint. By
applying the above rules, the following equivalent standard form LO-model is found:

−max 5x1 − 3x2

s.t. −x1 − 2x2 ≤ −10
x1 − x2 ≤ 6
x1 + x2 ≤ 12
−x1 − x2 ≤ −12
x1 , x2 ≥ 0.
The (unique) optimal solution of this model reads: x∗1 = 9, x2∗ = 3. This is also the optimal
solution of the nonstandard model (1.7).

Example 1.3.2. Consider the nonstandard LO-model:

max 5x1 + x2 (1.8)

s.t. 4x1 + 2x2 ≤ 8
x1 + x2 ≤ 12
x1 − x2 ≤ 5
x1 ≥ 0, x2 free.
This model has a maximizing objective, and only ‘≤’ constraints. However, the variable x2 is unre-
stricted in sign. Applying the above rules, the following equivalent standard form LO-model is found:

max 5x1 + x02 − x200 (1.9)

0 00
s.t. 4x1 + 2x2 − 2x2 ≤ 8
x1 + x20 − x200 ≤ 12
x1 − x20 + x200 ≤ 5
x1 , x20 , x002 ≥ 0.
T  T
The point x̂ = x1∗ (x02 )∗ (x002 )∗ = 3 0 2 is an optimal solution of this model. Hence, the


point  ∗ 
x∗1
  
∗ x1 3
x = ∗ = =
x2 (x20 )∗ − (x002 )∗ −2
T
is an optimal solution of model (1.8). Note that x̂0 = 3 10 12 is another optimal solution of
 

(1.9) (why?), corresponding to the same optimal solution x∗ of model (1.8). In fact, the reader may
verify that every point in the set
  
 3 
 α  ∈ R3 α ≥ 0
2+α
 

is an optimal solution of (1.9) that corresponds to the optimal solution x∗ of model (1.8).
14 C h a p t e r 1 . B a s i c c o n c e p t s o f l i n e a r o p t i m i z at i o n

We have listed six possible general nonstandard models below. Any method for solving
one of the models (i)–(vi) can be used to solve the others, because they are all equivalent.
The matrix A in (iii) and (vi) is assumed to be of full row rank (i.e., rank(A) = m; see
Appendix B and Section 3.8). The alternative formulations are:

(i) max cT x Ax ≤ b, x ≥ 0 ; (iv) min cT x Ax ≥ b, x ≥ 0 ;

 

(standard form) (standard dual form; see Chapter 4)

(ii) max cT x Ax ≤ b ; (v) min cT x Ax ≥ b ;
 

(iii) max cT x Ax = b, x ≥ 0 ; (vi) min cT x Ax = b, x ≥ 0 .

 

Formulation (i) can be reduced to (ii) by writing:

    
A b
max cT x Ax ≤ b, x ≥ 0 = max cT x

x≤ .
−In 0
 
A b
h i
The notation −I and 0 is explained in Appendix B. Formulation (ii) can be reduced
n
to (i) as follows. Each vector x can be written as x = x0 − x00 with x0 , x00 ≥ 0. Hence,

max cT x Ax ≤ b = max cT (x0 − x00 ) A(x0 − x00 ) ≤ b, x0 , x00 ≥ 0

 

 x0  x0
     
0 00
 T T

= max c −c A −A ≤ b, x ≥ 0, x ≥ 0 ,
x00 x00
and this has the form (i). The reduction of (i) to (iii) follows by introducing slack variables
in (i). Formulation (iii) can be reduced to (i) by noticing that the constraints Ax = b can
be written as the two constraints Ax ≤ b and Ax ≥ b. Multiplying the former by −1
on both sides yields −Ax ≤ −b. Therefore, (iii) is equivalent to:
    
T A b
max c x x≤ .
−A −b
The disadvantage of this transformation is that the model becomes considerably larger. In
Section 3.8, we will see an alternative, more economical, reduction of (iii) to the standard
form. Similarly, (iv), (v), and (vi) are equivalent. Finally, (iii) and (vi) are equivalent because
n o
T
min cT x Ax = b, x ≥ 0 = − max (−c) x Ax = b, x ≥ 0 .


1.4 Solving LO-models using a computer package

Throughout this book, we will illustrate the ideas in each chapter by means of computer
examples. There are numerous computer packages for solving linear optimization models.
Roughly two types of linear optimization packages can be distinguished:
I Linear optimization solvers. A linear optimization solver takes input values for the
cost vector, the technology matrix, and the right hand side vector of the LO-model that
Other documents randomly have
different content
The Project Gutenberg eBook of The Smoky Valley
This ebook is for the use of anyone anywhere in the United States
and most other parts of the world at no cost and with almost no
restrictions whatsoever. You may copy it, give it away or re-use it
under the terms of the Project Gutenberg License included with this
ebook or online at www.gutenberg.org. If you are not located in the
United States, you will have to check the laws of the country where
you are located before using this eBook.

Title: The Smoky Valley

Author: Birger Sandzén

Author of introduction, etc.: Minna K. Powell

Release date: January 24, 2021 [eBook #64378]

Most recently updated: October 18, 2024

Language: English

Credits: Chuck Greif (This file was produced from images available at
The Internet Archive)

*** START OF THE PROJECT GUTENBERG EBOOK THE SMOKY

VALLEY ***
The Smoky Valley
Birger Sandzen
 THE SMOKY VALLEY
Reproductions of a Series of Lithographs of the Smoky Valley
in Kansas

By
Birger Sandzen

An Introduction by Minna K. Powell

CARL J. SMALLEY
Kansas City, Missouri
1922

Copyright, 1922, by Carl J. Smalley

Kansas City, Mo.
Published December, 1922

Printed by the Republican Press,

at McPherson, Kansas,
in the United States of America
 Sandzen and His Friend, the Smoky.
When Birger Sandzen looks into the seamed face of a pioneer farmer of
Kansas, he sees the conquest of a spirit. When he looks upon the face of the
Kansas prairie, he sees the conquest of the Wilderness and he makes the
World feel the courage of the Kansas spirit and the power of Kansas sinews.
An artist who penetrates below the surface of his subject and sees the soul
of it looking out, Birger Sandzen Was foreordained to celebrate in black and
white and in color, the moods and the meaning of the Smoky Hill River,
which winds so peacefully in and out among the farms of central Kansas.
The Smoky Hill River is not much wider than a creek, and the early
homesteader valued it chiefly because it watered his land and his stock.
Then came Birger Sandzen, artist, who settled near the stream in the town
of Lindsborg. Almost immediately a deep affection sprang up between the
artist and the river. Accustomed to a land of many streams and lakes, the
artist haunted the banks of the river that seemed to speak to him of home. He
served the friendly stream by celebrating its moods and sudden turnings, and
the stream taught the artist by gentle gradations its own affinity for the
prairie.
It was so that Birger Sandzen learned to love the Kansas landscape. But
first he sought the shadowed banks of the Smoky. By sunlight and moonlight
he studied it. Following its graceful windings, he caught the poetry of
Kansas,—the tired droop of cattle as they came to drink at dusk, the
grouping of horses in hillside pastures, huddled cottonwoods like shy
children along the clean banks of the stream.
Finally the river taught him to see the masterpieces of art in the strong
and rugged faces of the pioneer farmers whose land stretched along the
river’s bank.
He saw faces in which courage had drawn with a true hand lines of self-
conquest. He saw the beauty of fingers knotted and bent with much serving
and the glory of dimmed eyes. The pioneer men and women of Kansas were
crowned by Sandzen with the splendor of their deeds.
But always he returned to the quiet river, grateful for the woods that
hugged its banks and were mirrored in the water. His passion for the Smoky
grew and deepened. It became to him the heart of Kansas, and Kansas,
through the Smoky, became his friend.
And always, as he tramped up and down the river’s banks, he saw in
miniature the grandeur he was later on to find in the Rockies and the mastery
he was to sense in the Grand Canyon of the Colorado.
As he painted outcroppings of rock in the hilly pastures, he was preparing
unconsciously for his work of giving expression to the gigantic cliffs and
mountains of the great West. Tributaries of the Smoky, overflowing their
banks in the spring freshets, ran dry in summer and provided the artist with
beds deeply fissured like their titanic model, the Grand Canyon.
The hills near Lindsborg, are small replicas of the Rockies. They slope to
the very bank of the Smoky and Birger Sandzen climbed from bank to
summit where he looked out over the wide prairie and saw how lovely it
was.
Since then he has never tired of painting the landscape that is the heart of
Kansas, vibrating with the heroic toil and patience of the past and the hope
of the future.
Thus it is that when Mr. Sandzen makes a study of the moon stealing up
behind the willows before the flush of afternoon is quite gone, he puts into
the picture not only the objects a stranger might see, but also the deep love
he bears the river and the land it has enriched.
As a lithographer Mr. Sandzen has no rivals in this country, perhaps none
anywhere. His love of the open is that of a poet, to whom the out-of-doors
tells something of the immanence of God.
Sometimes his landscapes express the poignant loneliness that broods
over the Kansas prairie. Oftener he sees the delightful homeliness of the
farmsteads, changing the Smoky River Valley from a wilderness to a place
of hearthstones and human happiness.
MINNA K. POWELL.
Summer
Stony Pasture With Cottonwood Grove
The Old Homestead
Portrait Study
Twilight
In The Meadow
Home of A Pioneer
Smoky River
Hilltop
Willow
Horses in a Hilly Pasture
River Motif
Abandoned Farmhouse
Trees and Hills
Willows by The Smoky River
Olof Olson’s Homestead
Pond With Cottonwood Trees
Hilly Pasture With Cows
In The Park
 Riverbank

Copies of the lithographs reproduced in this

volume, limited to fifty proofs each, may be
obtained from the publisher. Prices from six to
fifty dollars each.
CARL J. SMALLEY.
Kansas City. Mo.
*** END OF THE PROJECT GUTENBERG EBOOK THE SMOKY VALLEY
***

Updated editions will replace the previous one—the old editions will
be renamed.

Creating the works from print editions not protected by U.S.

copyright law means that no one owns a United States copyright in
these works, so the Foundation (and you!) can copy and distribute it
in the United States without permission and without paying
copyright royalties. Special rules, set forth in the General Terms of
Use part of this license, apply to copying and distributing Project
Gutenberg™ electronic works to protect the PROJECT GUTENBERG™
concept and trademark. Project Gutenberg is a registered trademark,
and may not be used if you charge for an eBook, except by following
the terms of the trademark license, including paying royalties for use
of the Project Gutenberg trademark. If you do not charge anything
for copies of this eBook, complying with the trademark license is
very easy. You may use this eBook for nearly any purpose such as
creation of derivative works, reports, performances and research.
Project Gutenberg eBooks may be modified and printed and given
away—you may do practically ANYTHING in the United States with
eBooks not protected by U.S. copyright law. Redistribution is subject
to the trademark license, especially commercial redistribution.

START: FULL LICENSE

Welcome to Our Bookstore - The Ultimate Destination for Book Lovers
Are you passionate about books and eager to explore new worlds of
knowledge? At our website, we offer a vast collection of books that
cater to every interest and age group. From classic literature to
specialized publications, self-help books, and children’s stories, we
have it all! Each book is a gateway to new adventures, helping you
expand your knowledge and nourish your soul
Experience Convenient and Enjoyable Book Shopping Our website is more
than just an online bookstore—it’s a bridge connecting readers to the
timeless values of culture and wisdom. With a sleek and user-friendly
interface and a smart search system, you can find your favorite books
quickly and easily. Enjoy special promotions, fast home delivery, and
a seamless shopping experience that saves you time and enhances your
love for reading.
Let us accompany you on the journey of exploring knowledge and
personal growth!

ebookgate.com