Эта статья находится в разработке!
Ранее мы рассматривали уравнения вида [math] y = \lambda x - \mathcal{A} x [/math], где [math] y [/math] дано, так называемое "линейное уравнение 2 рода". Для ответа на вопрос "имеет ли решение это уравнение?" надо изучать [math] \sigma(\mathcal{A}) [/math].
Сложнее, когда задано уравнение вида [math]\mathcal{T}(x) = 0[/math] или [math]\mathcal{T}(x) = x[/math], где [math] T: X \xrightarrow[nonlinear]{} X [/math] — произвольный оператор из [math] X [/math] в [math] X [/math].
В этом параграфе мы покажем 3 способа решения таких уравнений.
Простые итерации
Решаем уравнение [math] x = \mathcal{T}(x) [/math]. Составляем последовательность [math] x_{n+1} = \mathcal{T}(x_n) [/math] и изучаем сходимость последовательности [math] \{ x_n \} \xrightarrow[]{?} x^* [/math].
Если [math] \mathcal{T} [/math] — непрерывный оператор, то [math] x_{n+1} \to \mathcal{T} x^*, \mathcal{T} x_n \to \mathcal{T} x^* [/math] и, по единственности предела, получаем [math] x^* = \mathcal{T} x^* [/math].
Во втором семестре у нас было определение производной Фреше: [math] \mathcal{T}(x+\Delta x) -\mathcal{T}(x) = \mathcal{T}'(x) \cdot \Delta x + o(\Delta x)[/math]. [math] \mathcal{T}' [/math] — линейный ограниченный оператор.
[math] \frac { \| o(\Delta x) \|} { \| \Delta x \| } \to 0 [/math]
| Теорема (Локальная теорема о простой итерации): |
Пусть известно, что существует [math] \overline{x}: \mathcal{T}(\overline{x}) = \overline{x} [/math] и [math] \| \mathcal{T}(\overline{x})' \| \le q \lt 1 [/math].
Тогда существует такой шар [math] V_{\delta} (\overline x) [/math], что если [math] x_0 \in V_{\delta} (\overline x) [/math], то:
- Метод простых итераций корректно определен: [math] \mathcal{T}x_n \in V_{\delta} (\overline x), n \ge 0[/math].
- [math] x_n \to \overline x [/math]
|
| Доказательство: |
| [math]\triangleright[/math] |
|
Положим [math] \varepsilon = \frac {1-q}2 [/math].
В силу определения производной Фреше существует [math] \delta \gt 0: \| \Delta x \| \lt \delta \implies \| \mathcal{T} (\overline x + \Delta x) - \mathcal{T}(\overline x) - \mathcal{T}'(\overline x) \cdot \Delta x \| \lt \varepsilon \| \Delta x \| [/math].
Убедимся в том, что такая [math] \delta [/math] подходит в качестве радуса шара из условия теоремы:
Предположим, что [math] x_n \in V_\delta (\overline x) [/math].
[math] \| x_{n+1} - \overline x \| = \| \mathcal{T}x_n - \mathcal{T} \overline x\| \le [/math]
[math] \le \| \mathcal{T} x_n - \mathcal{T} \overline x - \mathcal{T}' (\overline x) (x_n - \overline x) \| + \| \mathcal{T}'(\overline x) (x_n - \overline x)\| [/math].
Рассмотрим первое слагаемое: [math] x_n \in V_\delta (\overline x) \implies \| x_n - \overline x \| \lt \delta [/math], а значит, [math] \| \mathcal{T} x_n - \mathcal{T} \overline x - \mathcal{T}' (\overline x) (x_n - \overline x) \| \lt \varepsilon \| x_n - \overline x \| [/math].
Второе слагаемое: [math] \| \mathcal{T}'(\overline x) (x_n - \overline x)\| \le \| \mathcal{T}'(\overline x) \| \| x_n - \overline x \| \le q \| x_n - \overline x \| [/math]
Складывая полученное: [math] \varepsilon \| x_n - \overline x \| + q \| x_n - \overline x \| = (\frac {1-q}2 + q) \le \frac {1+q}2 \delta \lt \delta [/math].
Окончательно мы получили, что [math] x_n \in V_\delta (\overline x) \implies x_{n+1} \in V_\delta (\overline x) [/math], то есть метод простых итераций определен корректно. Попутно мы также установили, что [math] \| x_{n+1} - \overline x \| \le \frac {1+q}2 \| x_n - \overline x \| \le \hdots \le (\frac {1+q}2)^{n+1} \| x_0 - \overline x \| \xrightarrow[n \to \infty]{} 0 [/math], то есть [math] x_n \to \overline x [/math]. |
| [math]\triangleleft[/math] |
Метод Ньютона-Канторовича
Ньютоном был предложен классический способ решения уравнений (метод касательных). До Ньютона использовали метод половинного деления. В двадцатом веке Канторович перенес соответствующие методы на операторные уравнения вида [math] \mathcal{T} x = 0, \mathcal{T} [/math] — непрерывный оператор из [math] X [/math] в [math] X [/math], [math]X[/math]— нормированное пространство.
Предположим, что [math] \mathcal{T} (\overline x) = 0 [/math]. Получим схему метода Ньютона-Канторовича.
[math] x_0 [/math] — начальное приближение.
[math] \mathcal{T} (\overline x) = \mathcal{T}(x_0) + \mathcal{T}'(x_0) \cdot (\overline x - x_0) + \hdots [/math]. Обрежем последнюю часть: [math] 0 = \mathcal{T}(x_0) + \mathcal{T}'(x_0) \cdot (x_0 - \overline x) [/math].
Обозначим [math] \Gamma(x_0) = (\mathcal{T}'(x_0))^{-1} [/math].
[math] -\mathcal{T}(x_0) = \mathcal{T}'(x_0) \cdot (\overline x - x_0) [/math]
Домножим равенство с обеих сторон на [math] \Gamma(x_0) [/math]:
[math] -\Gamma(x_0) \mathcal{T}(x_0) = \Gamma(x_0) \mathcal{T}'(x_0) \cdot (\overline x - x_0) = \overline x - x_0 [/math].
[math] \overline x = x_0 - \Gamma(x_0) \mathcal{T}(x_0) [/math].
Теперь положим [math] x_{n+1} = x_n - \Gamma(x_n) \mathcal{T} (x_n) [/math] и получим итерацию метода Ньютона-Канторовича для функции
[math] \mathcal{F}(x) = x - \Gamma(x) \mathcal{T} (x)[/math]
[math] x_{n+1} = \mathcal{F}(x_n) [/math]
Покажем, что [math] \mathcal{F}'(\overline x) = 0 [/math], то есть [math] q = 0 [/math] из условия локальной теоремы о простой итерации.
| Утверждение: |
[math] \mathcal{F}'(\overline x) = 0 [/math] |
| [math]\triangleright[/math] |
|
[math] \| \mathcal{F} (\overline x + \Delta x) - \mathcal{F} (\overline x) \| [/math]
[math]= \| \overline x + \Delta x - \Gamma(\overline x + \Delta x) \mathcal{T} (\overline x + \Delta x) - \overline x + \Gamma(\overline x) \mathcal{T} (\overline x) \| [/math]
[math]= \| \Delta x - \Gamma(\overline x + \Delta x) \mathcal{T} (\overline x + \Delta x) \|[/math]
Запишем [math] 0 = \mathcal{T}(\overline x) [/math] через значение [math] \mathcal{T}' (\overline x + \Delta x) [/math]:
[math] 0 = \mathcal{T}(\overline x) [/math]
[math] = \mathcal{T}(\overline x + \Delta x) + \mathcal{T}'(\overline x + \Delta x) \cdot (\overline x - (\overline x + \Delta x)) + o(\overline x - (\overline x + \Delta x)) [/math]
[math]= \mathcal{T}(\overline x + \Delta x) - \mathcal{T}'(\overline x + \Delta x) \cdot \Delta x + o(\Delta x) [/math], откуда [math] \mathcal{T}(\overline x + \Delta x) = \mathcal{T}'(\overline x + \Delta x) \cdot \Delta x + o(\Delta x) [/math].
Подставим это равенство в выражение выше: [math] \| \Delta x - \Gamma(\overline x + \Delta x) \mathcal{T} (\overline x + \Delta x) \| [/math]
[math] =
\| \Delta x - \Gamma(\overline x + \Delta x) \mathcal{T}' (\overline x + \Delta x) \cdot \Delta x + \Gamma(\overline x + \Delta x) \cdot o(\Delta x) \| [/math]
[math] = \| \Delta x - \Delta x + \Gamma(\overline x + \Delta x)) \cdot o(\Delta x) [/math].
Итого: [math] \| \mathcal{F}(\overline x + \Delta x) - \mathcal{F}(\overline x) \| \le \| \Gamma(\overline x + \Delta x) \| \| o(\Delta x) \| [/math], откуда [math] \mathcal{F}(\overline x + \Delta x) - \mathcal{F}(\overline x) = o(\Delta x) \implies \mathcal{F}'(\overline x) = 0 [/math] |
| [math]\triangleleft[/math] |
Теорема Шаудера
Рассмотрим другую идею решения [math] \mathcal{T} x = x [/math]. Оно основывается на том факте, что если функция [math] f [/math] отображает отрезок [math] [a, b] [/math] в себя, то существует такая точка [math] c \in [a, b] : c = f(c) [/math].
Обобщение этого факта для [math] \mathbb{R}^n [/math] называется теоремой Брауэра:
| Теорема (Брауэр, о неподвижной точке): |
Пусть [math] M [/math] — ограниченное выпуклое замкнутое подмножество [math] \mathbb{R}^n [/math], [math] F [/math] непрерывно отображает [math] M [/math] в себя. Тогда [math] \exists x^*: F(x^*) = x^* [/math]. |
Как перенести этот факт в бесконечномерный случай? Ответ на это дает теорема Шаудера:
| Определение: |
| Пусть [math] X [/math] — B-пространство, [math] D \subset X [/math] — ограничено в [math] X [/math].
[math] \mathcal{T} [/math] — непрерывное отображение [math] D \mapsto X [/math]. Говорят, что [math] \mathcal{T} [/math] вполне непрерывно на [math] D [/math], если [math] \mathcal{T}(D) [/math] — относительно компактно в [math] X [/math]. |
| Теорема (Шаудер, о неподвижной точке): |
Пусть [math] M [/math] — ограниченное замкнутое выпуклое подмножество B-пространства [math] X [/math] и [math] \mathcal{T} [/math] вполне непрерывно отображает [math] M [/math] в себя.
Тогда [math] \exists x^* \in M : x^* = Tx^* [/math]. |
Замечание: теорему Брауэра нельзя будет назвать частным случаем теоремы Шаудера, так как при доказательстве теоремы Шаудера мы сошлемся на теорему Брауэера. У теоремы Шаудера также очень частое практическое применение.
Вспомогательные факты
| Утверждение (Факт Первый): |
Рассмотрим [math] \mathcal{T}_n [/math] — последовательность вполне непрерывных операторов на [math] D [/math], [math] \mathcal{T}_n \rightrightarrows \mathcal{T} [/math] ([math] \forall \varepsilon \gt 0 \, \exists N: \forall n \gt N, \forall x \in D : \| \mathcal{T}_n(x) - \mathcal{T}(x) \| \lt \varepsilon[/math]).
Тогда [math] \mathcal{T} [/math] вполне непрерывен на [math] D [/math]. |
| [math]\triangleright[/math] |
|
[math] \forall \varepsilon \gt 0 [/math] по равномерной сходимости, [math] \exists n_0: \| \mathcal{T}(x) - \mathcal{T}_{n_0}(x) \| \lt \varepsilon \, \forall x \in D [/math].
По предположению, [math] \mathcal{T}_{n_0} [/math] — вполне непрерывный: существует конечная [math] \varepsilon [/math]-сеть [math] y_1, \hdots, y_p [/math] для [math] \mathcal{T}_{n_0}(D) [/math].
[math] \forall y \in \mathcal{T}(D), y = \mathcal{T}x [/math]. Рассмотрим [math] \mathcal{T}_{n_0}(x) \in \mathcal{T}_{n_0}(D) [/math] и подберем такое [math] y_j [/math], что [math] \| y_j - \mathcal{T}_{n_0}x \| \lt \varepsilon [/math].
[math] \| y - y_j \| = \| \mathcal{T}x - y_j \| \le \| \mathcal{T}x - \mathcal{T}_{n_0}x \| + \| \mathcal{T}_{n_0}x - y_j \| [/math]. Первое слагаемое [math] \le \varepsilon [/math] по выбору [math] n_0 [/math] и равномерной сходимости. Второе слагаемое [math] \le \varepsilon [/math] по выбору [math] y_j [/math] из [math] \varepsilon [/math]-сети.
Окончательно, [math] \exists y_1, \hdots, y_p : \forall y \in \mathcal{T}(D) \exists y_j: \| y - y_j \| \lt 2 \varepsilon [/math]. Значит, мы получили [math] 2\varepsilon [/math]-сеть для [math] \mathcal{T}(D) [/math]. |
| [math]\triangleleft[/math] |
| Утверждение (Факт Второй): |
Рассмотрим [math] \mathcal{T}_n [/math] — последовательность вполне непрерывных операторов на [math] D [/math], [math] \mathcal{T}_n \rightrightarrows \mathcal{T} [/math].
Тогда множество [math] \mathcal{T}_1(D) \cup \mathcal{T}_2(D) \cup \hdots \cup \mathcal{T}_n(D) \cup \hdots \cup \mathcal{T}(D) [/math] относительно компактно. |
| [math]\triangleright[/math] |
|
По равномерной сходимости, [math] \forall \varepsilon \gt 0 \, \exists n_0: \forall n \gt n_0 \forall x \in D: \| \mathcal{T}(x) - \mathcal{T}_n(x) \| \lt \varepsilon [/math].
Рассмотрим множество [math] \mathcal{T}_1(D) \cup \mathcal{T}_2(D) \cup \hdots \cup \mathcal{T}_{n_0}(D) [/math]. Оно относительно компактно как конечное объединение относительно компактных множеств.
[math] \forall \varepsilon \gt 0 [/math] рассмотрим [math] \varepsilon [/math]-сеть для этого множества: [math] y_1, \hdots, y_p [/math].
Рассмотрим [math] \bigcup\limits_{n=1}^{\infty} \mathcal{T}_n(D) \cup \mathcal{T}(D) [/math]. Проверим, что [math] y_1, \hdots, y_p [/math] — [math] k \varepsilon [/math]-сеть для этого множества, где число [math] k [/math] определим позже.
Возьмем произвольный [math] y \in \bigcup\limits_{n=1}^{\infty} \mathcal{T}_n(D) \cup \mathcal{T}(D) [/math].
Рассмотрим, в какое из множеств попадает выбранный нами [math] y [/math]. Пусть, для начала, [math] y \in \mathcal{T}_n(D) [/math].
Если [math] n \le n_0 [/math], то [math] \exists y_j : \| y - y_j \| \lt \varepsilon [/math].
Пусть [math] n \gt n_0, y \in \mathcal{T}_n(D) \implies y = \mathcal{T}_n x[/math].
[math] \| y - y_j \| [/math]
[math] = \| \mathcal{T}_n x - y_j \| [/math]
[math] \le \| \mathcal{T}_n x - \mathcal{T} x \| + \| \mathcal{T} x - y_j \| [/math]
[math] \le \| \mathcal{T}_n x - \mathcal{T} x \| + \| \mathcal{T} x - \mathcal{T}_{n_0} x \| + \| \mathcal{T}_{n_0} x - y_j \| [/math].
Первые два слагаемых [math] \le \varepsilon [/math] по равномерной сходимости, третье [math] \le \varepsilon [/math] по выбору [math] \varepsilon [/math]-сети для [math] n_0 [/math].
Аналогичную оценку получаем, если [math] y \in \mathcal{T}(D) [/math].
В итоге, получили, что [math] y_1, \hdots, y_p [/math] — [math] 3\varepsilon [/math]-сеть для [math] \bigcup\limits_{n=1}^{\infty} \mathcal{T}_n(D) \cup \mathcal{T}(D) [/math]. |
| [math]\triangleleft[/math] |
Проекторы Шаудера
Основная идея данного доказательства — построение проекторов Шаудера.
[math] \mathcal{T} [/math] — вполне непрерывен на ограниченном [math] D [/math], [math] M = \mathcal{T}(D) [/math] — относительно компактно.
[math] \forall \varepsilon \gt 0 \exists y_1 \in M, \hdots, y_p \in M [/math] — конечная [math] \varepsilon [/math]-сеть.
Построим следующую функцию: [math] \forall j = 1, \hdots, p, \forall y \in M: [/math]
[math] \mu_j(y) = \begin{cases}
0 & \mbox{if } \| y - y_j \| \ge \varepsilon \\
\varepsilon - \| y - y_j \| & \mbox{if } \| y - y_j \| \lt \varepsilon \end{cases}
[/math]
Легко проверить, что для любого [math] j [/math] функция [math] \mu_j [/math] непрерывна на [math] M [/math].
TODO: Легко? Так давайте сделаем это.
Поскольку [math] \{ y_j \} [/math] — [math] \varepsilon [/math]-сеть, то [math] \forall y [/math] все [math] \mu_j(y) [/math] не могут быть равны нулю одновременно.
Обозначим [math] S(y) = \sum\limits_{j=1}^p \mu_j(y) [/math]. По предыдущему утверждению, [math] \forall y: S(y) \gt 0 [/math]
| Определение: |
| [math] P_\varepsilon (y) = \sum\limits_{j=1}^p \frac {\mu_j(y)} {S(y)} y_j [/math] — проектор Шаудера. |
Коэффициенты [math] \frac {\mu_j(y)} {S(y)} [/math] обозначим за [math] \alpha_j(y) [/math]. Из определения следует, что [math] \sum\limits_{j=1}^p \alpha_j(y) = 1 [/math], то есть, [math] P_\varepsilon(y) [/math] есть выпуклая комбинация точек [math] \varepsilon [/math] сети для любого [math] y [/math].
[math] P_\varepsilon(M) \subset \mathcal{L}(y_1, \hdots, y_p) [/math]
Если [math] M = \mathcal{T}(D) [/math] — выпуклое множество, то [math] P_\varepsilon(y) \in M [/math], как выпуклая комбинация точек [math] y_1, \hdots, y_p [/math].
Рассмотрим [math] \| P_\varepsilon (\mathcal{T} x) - \mathcal{T} x \| = \| \sum\limits_{j=1}^p \alpha_j y_j - \sum\limits_{j=1}^p \alpha_j y \| = \| \sum\limits_{j=1}^p \alpha_j (y_j - y) \| [/math].
Если [math] \| y_j - y \| \gt \varepsilon [/math], то [math] \alpha_j(y) = 0 [/math], поэтому, продолжая цепочку неравенств, [math] \| \sum\limits_{j=1}^p \alpha_j (y_j - y) \| \le \varepsilon \sum\limits_{j=1}^p \alpha_j \le \varepsilon [/math].
Получили, что [math] P_\varepsilon \mathcal{T} \rightrightarrows \mathcal{T} [/math], когда [math] \varepsilon \to 0 [/math].
Каждый из операторов [math] P_\varepsilon \mathcal{T} [/math] конечномерен: [math] \mathop{dim} R(P_\varepsilon \mathcal{T}) \lt +\infty [/math].
По неравенству, полученному чуть выше, также имеем [math] \| P_\varepsilon (\mathcal{T} x) - \mathcal{T} x \| \le \varepsilon \, \forall x \in D [/math].
В итоге мы имеем следующую теорему:
| Теорема: |
Проекторы Шаудера оператора [math] \mathcal{T} [/math] равномерно сходятся к [math] \mathcal{T} [/math]: [math] P_\varepsilon \mathcal{T} \rightrightarrows \mathcal{T} [/math], то есть любой вполне непрерывный оператор является равномерным пределом последовательности конечномерных операторов. |
Соединяя с теоремой Брауэра, получим:
[math] M [/math] — выпуклое ограниченное множество, оператор [math] \mathcal{T} : M \to M [/math] является вполне ограниченным.
Определим последовательность [math] \mathcal{T}_n = P_{\frac 1n} \mathcal{T} [/math]. [math] \mathcal{T}_n : M_n \to M_n [/math], где [math] M_n [/math] — конечномерное пространство.
Применяя теорему Брауэра, получаем, что [math] \forall n: \exists x_n \in M_n: x_n = \mathcal{T}_n x_n = x_n [/math].
Учитывая, что [math] M_1 \cup M_2 \cup \hdots [/math] относительно компактно, из [math] \{ x_n \} [/math] можно выделить сходящуюся подпоследовательность: [math] \exists x_{n_k} \to x^* \in M [/math].
[math] \| x^* - \mathcal{T}x^* \| = \| \lim(x_{n_k} - \mathcal{T} x_{n_k}) \| [/math].
По выбору [math] x_{n_k} [/math]: [math] x_{n_k} = \mathcal{T}_{n_k} x_{n_k} [/math].
По равномерной сходимости [math] \mathcal{T}_n \rightrightarrows \mathcal{T} [/math]: [math] \| \mathcal{T}_{n_k} x_{n_k} - \mathcal{T} x_{n_k} \| \le \varepsilon [/math], начиная с [math] k_0 [/math] для всех [math] x \in M [/math].
Откуда, окончательно, получаем, что искомый предел равен [math] 0 [/math], и [math] \| x^* - \mathcal{T} x^* \| = 0 [/math], и [math] x^* = \mathcal{T} x^* [/math]. Теорема Шаудера доказана.
That's all folks!
TODO: сделать картиночку, как в Looney Tunes в конце серии, только с Додоновым вместо Porky Pig
