Лема Фаркаша

Лема Фаркаша — твердження опуклої геометрії, що широко використовується в теорії оптимізації, зокрема при розгляді двоїстих задач лінійного програмування і доведення теореми Каруша — Куна — Такера в нелінійному програмуванні. Лема Фаркаша є однією з так званих теорем альтернативності, що стверджують про існування розв'язку однієї і тільки однієї з деяких двох систем лінійних рівнянь і нерівностей

Твердження

Нехай A – матриця розмірності m × n, $b\in \mathbb {R} ^{m}$. Тоді розв'язок має тільки одна з таких систем:

1. $Ax=b,\quad x\geq 0,\quad x\in \mathbb {R} ^{n}$
2. $y^{\top }A\leq 0,\quad \langle y,b\rangle >0\quad y\in \mathbb {R} ^{m}.$

Доведення

Нехай система 1 має розв’язок, тобто існує вектор $x\geq 0$ такий, що $Ax=b.$ Припустимо $y^{\top }A\leq 0,$ тоді:

$0<\langle y,b\rangle =\langle y,Ax\rangle =\langle y^{\top }A,x\rangle \leq 0$.

Одержана суперечність доводить, що система 2 не має розв’язку.

Припустимо, що система 1 не має розв’язку. Розглянемо замкнуту опуклу множину $Z=\left\{c:c=Ax,\;x\geq 0\right\}$. За припущенням $b\notin Z,$ тоді з огляду на теорему про віддільність опуклої множини і точки, що їй не належить, існують вектор $p\in \mathbb {R} ^{n},p\neq 0$ , і число α такі, що $\left\langle p,b\right\rangle >\alpha ,\quad \;\left\langle p,c\right\rangle \leq \alpha \quad \forall c\in Z.$ Оскільки, $0\in Z$ , то $\alpha \geq 0,\,\left\langle p,b\right\rangle >\alpha \geq 0.$ З іншого боку $\alpha \geq \left\langle p,Ax\right\rangle =\left\langle p^{\top }A,x\right\rangle .$ Компоненти вектора x можуть бути як завгодно великими, тому з останньої нерівності отримуємо $p^{\top }A\leq 0.$ Отже, p — розв’язок системи 2.

Наслідок

Для дійсної матриці A розмірності m × n і $b\in \mathbb {R} ^{m}$ має розв'язок одна і тільки одна з таких систем:

1. $Ax\leq b,\quad x\in \mathbb {R} ^{n},$
2. $A^{T}y=0,\quad b^{T}y<0,\quad y\in \mathbb {R} ^{m},\quad y\geq 0.$

Дане твердження іноді називають теоремою Гейла.

Доведення

Нехай $A'$ це матриця $A':=[A\quad -A\quad I]$, де $I$ це одинична матриця. Розмірність цієї матриці є рівною m × (2n+m).

Система нерівностей $Ax\leq b$ має розв'язок $x$ тоді і тільки тоді, коли система рівнянь $A'x'=b$ має невід'ємний розв'язок $x'\in \mathbb {R} ^{2n+m}$. Справді, якщо система рівнянь має такий розв'язок то позначивши $x_{i}=x'_{i}-x'_{n+i}$ одержуємо $Ax+x''=b,$ де $x''\in \mathbb {R} ^{m}$ позначає вектор елементами якого є $x''_{i}=x'_{2n+i}.$ Оскільки усі $x''_{i}\geq 0,$ то звідси одержуємо $Ax\leq b.$

Якщо ж $Ax\leq b$ має розв'язок $x\in \mathbb {R} ^{n},$ то можна знайти розв'язок системи рівнянь $A'x'=b$. Для цього для кожного індексу i, якщо $x_{i}\geq 0,$ то нехай $x'_{i}:=x_{i},\ x'_{n+i}:=0.$ Якщо $x_{i}<0,$ то нехай $x'_{i}:=0,\ x'_{n+i}:=-x_{i}.$ Значеннями $x'_{2n+i}$ визначимо різницю $b_{i}$ і добутку i-го рядка матриці A і вектора x. Тоді так визначений вектор $x'\in \mathbb {R} ^{2n+m}$ є розв'язком системи рівнянь $A'x'=b.$

Застосовуючи лему Фаркаша до системи $A'x'=b$ отримуємо твердження наслідку.

Лема Фаркаша випливає із теореми Гейла

Навпаки із теореми Гейла можна довести лему Фаркаша. Як і вище доводиться, що система $y^{\top }A\leq 0,\quad y\in \mathbb {R} ^{m}$ (яку транспонувавши зручніше розглядати у виді $A^{\top }y\leq 0$) має розв'язок тоді і тільки тоді коли має розв'язок невід'ємний розв'язок система $A'y'=0,$ де

$A':=[A^{\top }\quad -A^{\top }\quad I]$ є матрицею розмірності n × (2m + n). Додаткова умова $\langle y,b\rangle >0$ при цьому виконується тоді і лише тоді коли для відповідного вектора $y'$ (що одержується із $y$, як $x'$ із $x$ вище) виконується умова $\langle y',b'\rangle <0,$ де $b'$ є вектором перші m координат якого є рівні відповідним координатам вектора $b$ помноженим на -1, наступні m координат є рівні відповідним координатам вектора $b$, а останні n координат є рівні 0.

Відповідно якщо друга система у твердженні леми Фаркаша не має розв'язків то система $A'y'=0$ не має невід'ємних розв'язків, що задовольняють нерівність $\langle y',b'\rangle <0.$ Тоді із теореми Гейла випливає існування $x'\in \mathbb {R} ^{n}$ для якого $Ax'\leq -b,\quad -Ax'\leq b,\quad x'\leq 0.$ Тоді $x=x'$ є розв'язком першої системи в умові леми Фаркаша.

Див. також

• Метод Фур'є — Моцкіна

Посилання

• Моклячук М.П. Основи опуклого аналізу. [Архівовано 5 липня 2016 у Wayback Machine.] К.:ТвіМС, 2004. – 240с.

Література

• Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer. ISBN 9780387989402