Граница Чернова

Материал из Викиконспекты
Версия от 20:04, 6 апреля 2019; DespairedController (обсуждение | вклад) (Новая страница: « == Граница Чернова == {{Определение |definition = '''Граница Чернова''' (англ. ''Chernoff bound'') дает оц…»)
(разн.) ← Предыдущая | Текущая версия (разн.) | Следующая → (разн.)
Перейти к: навигация, поиск


Граница Чернова

Определение:
Граница Чернова (англ. Chernoff bound) дает оценку вероятности того, что сумма [math]n[/math] одинаково распределенных независимых случайных величин больше (или меньше) некоторого значения.
Теорема (Граница Чернова):
Пусть даны [math]X_1 X_2 \ldots X_n[/math] — одинаково распределенные независимые случайные величины, принимающие значения из множества [math]\{0, 1\}[/math],

[math]m = \mathbb{E} \sum_{i=1}^{n} X_i[/math],

Тогда:

[math]\mathbb{P} (|\dfrac{1}{n} \sum_{i=1}^{n} X_i - \dfrac{1}{n} m| \geqslant \delta) \leqslant 2e^{-2 \delta ^2 n}[/math]
Доказательство:
[math]\triangleright[/math]

Так как [math]X_1 X_2 \ldots X_n[/math] — одинаково распределенные и принимают значения из множества [math]\{0, 1\}[/math]:

[math]\mathbb {P}(X_i = 1) = p[/math]

[math]\mathbb{P}{(X_i = 0) = 1 - p = q}[/math]

[math]\mathbb {E} X_i = p[/math]


Пусть [math]\bar{X_i} = X_i - p[/math], тогда [math]\mathbb E\bar{X_i} = 0[/math]

Преобразуем выражение [math]\mathbb{P} (\dfrac{1}{n} \sum_{i=1}^{n} X_i - \dfrac{1}{n} m \geqslant \delta)[/math]. ([math]t[/math] — любое положительное число):

[math]\mathbb{P}(\dfrac{1}{n}\sum_{i=1}^{n} X_i - \dfrac{1}{n} m \geqslant \delta) = \mathbb {P} (\dfrac{1}{n}\sum_{i=1}^{n}\bar{X_i} \geqslant \delta) = \mathbb {P}(e^{t\sum_{i=1}^{n} \bar{X_i}} \geqslant e^{t \delta n})[/math]

Используем неравенство Маркова для оценки полученного выражения:

[math]\mathbb {P}(e^{ t\sum_{i=1}^{n}\bar{X_i}} \geqslant e^{t \delta n}) \leqslant \dfrac{\mathbb{E} (e^{ t\sum_{i=1}^{n}\bar{X_i}})}{e^{t \delta n}}[/math]

Матожидание можно преобразовать:

[math]\mathbb{E} (e^{ t\sum_{i=1}^{n}\bar{X_i}}) = \prod_{i = 1}^{n}\mathbb{E}(e^{t \bar{X_i}})[/math]

Оценим [math]\mathbb{E}(e^{t \bar{X_i}})[/math] с учётом того, что [math]p \in [0, 1][/math]

[math]\mathbb{E}(e^{t \bar{X_i}}) = p e^{tq} + qe^{-pt} \leqslant e ^ {\frac{t^2}{8}}[/math]

[math]\mathbb {P}(e^{ t\sum_{i=1}^{n}\bar{X_i}} \geqslant e^{t \delta n}) \leqslant \dfrac{e^{n\frac{t^2}{8}}}{e^{t \delta n}}[/math]

При [math]t = 4\delta[/math]: [math]\mathbb {P}(e^{ t\sum_{i=1}^{n}\bar{X_i}} \geqslant e^{t \delta n}) \leqslant e^{-2 \delta^2 n}[/math]

Аналогично доказывается, что: [math]\mathbb{P} (\dfrac{1}{n} \sum_{i=1}^{n} X_i - \dfrac{1}{n} m \leqslant -\delta) \leqslant e^{-2 \delta^2 n}[/math]

Таким образом: [math]\mathbb{P} (|\dfrac{1}{n} \sum_{i=1}^{n} X_i - \dfrac{1}{n} m| \geqslant \delta) \leqslant 2e^{-2 \delta ^2 n}[/math]
[math]\triangleleft[/math]

См. также

Источники информации