Изменения
Нет описания правки
# Петя и Вася играют в игру. Они бросают честную монету, и выписывают результаты бросков. У каждого из игроков есть критерий победы, выигрывает тот, чей критерий наступит раньше. Петя выигрывает в тот момент, когда результаты последних трех бросков равны 001. Вася выигрывает, когда результаты последних трех бросков равны 010. С какой вероятностью Петя выиграет?
# Можно ли сделать игру в предыдущем задании честной (чтобы вероятности выигрышей оказались равны $1/2$), используя нечестную монету?
# Сколько байт в бите? Можно ли ответить на этот вопрос с точки зрения теории информации? Какое определение нужно дать для байта в этом случае?
# Найдите в интернете распределение букв в английском тексте. Найдите энтропию этого распределения. Сравните с энтропией в случае, когда все буквы равновероятны.
# Найдите в интернете распределение букв в русском тексте. Найдите энтропию этого распределения. Сравните с энтропией в случае, когда все буквы равновероятны.
# Посмотрите комикс: https://xkcd.com/936/ Рассмотрим следующий подход к генерации пароля: выбираются 4 случайных английских слова и записываются через пробел. Найдите энтропию такого пароля.
# Докажите, что для монеты энтропия максимальна в случае честной монеты
# Докажите, что для $n$ исходов энтропия максимальна, если они все равновероятны
# Есть нечестная монета с неизвестной вероятностью $p \in (0, 1)$. Просимулируйте с помощью этой нечестной монеты честную
# Найдите энтропию для геометрического распределения с $p = 1/2$ (счетное число исходов, $i$-й исход происходит с вероятностью $1/2^i$).
# Найдите энтропию для геометрического распределения с произвольным $p$ (счетное число исходов, $i$-й исход происходит с вероятностью $(1-p)p^{i-1}$).
# Пусть заданы полные системы событий $A = \{a_1, ..., a_n\}$ и $B = \{b_1, ..., b_m\}$. Определим условную энтропию $H(A | B)$ как $-\sum\limits_{i = 1}^m P(b_i) \sum\limits_{j = 1}^n P(a_j | b_i) \log P(a_j | b_i))$. Докажите, что $H(A | B) + H(B) = H(B | A) + H(A)$
# Что можно сказать про $H(A | B)$ если $a_i$ и $b_j$ независимы для любых $i$ и $j$?
# Что можно сказать про $H(A | A)$?
# Энтропия кода Хемминга. Рассмотрим четырехбитный код Хемминга. По четырем информационным битам $X = (x_3, x_5, x_6, x_7)$ формируется три контрольных бита $y_1, y_2$ и $y_4$. Рассмотрим семерку битов $Y = (y_1, y_2, x_3, y_4, x_5, x_6, x_7)$. Пусть информационные биты выбираются случайно равновероятно. Чему равна энтропия $H(Y)$?
# Продолжение предыдущей задачи. Отправленное сообщение либо доставляется корректно, либо в нем изменяется ровно один бит. Пусть все восемь перечисленных вариантов равновероятны. Доставляется сообщение $Z$. Чему равна энтропия $H(Z | Y)$?
# Продолжение предыдущей задачи. Чему равна энтропия $H(Z)$?
# Зафиксируйте на свой выбор достаточно богатый язык программирования. Колмогоровской сложностью слова $x$ называется величина $K(x)$ - минимальная длина программы на зафиксированном языке программирования, которая на пустом входе выводит $x$. Обозначим длину слова $x$ как $|x|$. Докажите, что $K(x) \le |x| + c$ для некоторой константы $c$.
# Предложите семейство слов $x_1, x_2, \ldots, x_n, \ldots$, где $|x_i|$ строго возрастает и выполнено $K(x_i) = o(|x_i|)$.
# Предложите семейство слов $x_1, x_2, \ldots, x_n, \ldots$, где $|x_i|$ строго возрастает и выполнено $K(x_i) = o(\log_2 |x_i|)$.
# Колмогоровская сложность и энтропия Шеннона. Для слова $x$, в котором $i$-й символ алфавита встречается $f_i$ раз обозначим как $H(x)$ величину, равную энтропии случайного источника с распределением $p_i = f_i/|x|$. Докажите, что $K(x) \le nH(x) + O(\log n)$.
# Докажите, что для любого $c > 0$ найдется слово, для которого $K(x) < c n H(x)$
# Симуляция дискретного распределения непрерывным. Рассмотрим источник, который возвращает равномерно распределенное вещественное число от 0 до 1 (для решения этой задачи достаточно формального определения, что для любого отрезка вероятность попадания значения в этот отрезок пропорциональна его длине). Мы хотим просимулировать дискретное равновероятное распределение с $n$ исходами. Как это сделать за $O(1)$? Будем считать, что тип данных double имеет достаточно точности и что операции со значениями типа double выполняются за $O(1)$.
# Пусть теперь мы хотим просимулировать с помощью непрерывного равномерного распределения дискретное распределение с распределением вероятностей $[p_1, \ldots, p_n]$. Как это сделать за $O(\log n)$? Разрешается провести предподготовку за $O(n)$.
# Схема Уолкера. Требуется просимулировать с помощью непрерывного равномерного распределения дискретное распределение с распределением вероятностей $[p_1, \ldots, p_n]$. Как это сделать за $O(1)$? Разрешается провести предподготовку за $O(n)$.
# Будем генерировать бесконечную последовательность из 0 и 1 с помощью бросков честной монеты. Найдите матожидание числа бросков до выпадения трех нулей подряд. Проверьте свой результат численным моделированием.
# Будем генерировать бесконечную последовательность из 0 и 1 с помощью бросков честной монеты. Найдите матожидание числа бросков до первого вхождения 011. Проверьте свой результат численным моделированием.
# Будем генерировать бесконечную последовательность из 0 и 1 с помощью бросков честной монеты. Найдите матожидание числа бросков до первого вхождения 010. Проверьте свой результат численным моделированием.
# Рассмотрим случайное блуждание точки на прямой, пусть точка начинает в точке $p$ ($p$ - целое) и каждую секунду переходит равновероятно на 1 влево или вправо. Точка поглощается в точках 0 и $n$ ($n$ целое, больше $p$). Найдите вероятность поглощения в точке 0. Проверьте свой результат численным моделированием.
# Дана марковская цепь с двумя состояниями и вероятностью перехода из 1 в 2 равной $a$, вероятностью перехода из 2 в 1 равной $b$. Найдите в явном виде $n$-ю степень матрицы переходов.
# Для заданной рациональной дроби $p/q$ постройте марковскую цепь, все переходы которой имеют вероятность $1/2$, которая имеет поглощающее состояние с вероятностью поглощения $p/q$.
# Для заданной рациональной дроби $p/q$ постройте марковскую цепь, все переходы которой имеют вероятность $1/3$, которая имеет поглощающее состояние с вероятностью поглощения $p/q$.
# Для заданной рациональной дроби $p/q$ и целого $n$ постройте марковскую цепь, все переходы которой имеют вероятность $1/n$, которая имеет поглощающее состояние с вероятностью поглощения $p/q$.
# Рассмотрим случайное блуждание точки на прямой, пусть точка начинает в точке 0 и каждую секунду переходит равновероятно на 1 влево или вправо. Чему равно математическое ожидание координаты точки после $n$ шагов? Проверьте свой результат численным моделированием.
# Рассмотрим случайное блуждание точки на прямой, пусть точка начинает в точке 0 и каждую секунду переходит равновероятно на 1 влево или вправо. Чему равно математическое ожидание квадрата координаты точки после $n$ шагов? Проверьте свой результат численным моделированием.
# Рассмотрим случайное блуждание точки на прямой, пусть точка начинает в точке 0 и каждую секунду переходит равновероятно на 1 влево или вправо. Докажите, что математическое ожидание модуля координаты точки за $n$ шагов есть $O(\sqrt{n})$.
# Будем генерировать последовательность из 0 и 1 длины $n$ с помощью бросков честной монеты. Определите, с какой вероятностью некоторый префикс этой последовательности представляет собой запись двоичного числа, которое делится на 3. Проверьте свой результат численным моделированием.
# Будем генерировать последовательность из 0 и 1 длины $n$ с помощью бросков честной монеты. Предложите алгоритм определения, с какой вероятностью некоторый префикс этой последовательности представляет собой запись двоичного числа, которое делится на $p$ для заданного целого $p$. Проверьте свой результат численным моделированием.
# В Киндер-сюрпризах бывает $n$ различных игрушек. Вы покупаете по одному Киндер-сюрпризу со случайной игрушкой (может содержать игрушку, уже попадавшуюся ранее), пока не получите каждую из $n$ игрушек. Опишите процесс с помощью цепи Маркова. Посчитайте и оцените асимптотически матожидание количества купленных Киндер-сюрпризов. Проверьте свой результат численным моделированием.
# Посчитайте и оцените дисперсию для предыдущего задания.
# Блуждания по булевому кубу. Дана строка из $n$ нулей. За один шаг выбирается равномерно случайное число $i$ от $1$ до $n$ и $i$-й элемент строки заменяется на противоположный (0 на 1, а 1 на 0). Требуется найти математическое ожидание числа шагов до первого момента, когда строка будет полностью состоять из единиц. Разработайте алгоритм, который находит искомое матожидание. Примените свой алгоритм, чтобы найти значения матожидания для $n$ от 1 до 20.
# Предложите алгоритм решения задач 52-53 для произвольных выигрышных строк Васи и Пети (работающий за полином от суммы длин этих строк).
# Петя и Вася играют в игру. Они бросают честную монету, и выписывают результаты бросков. У каждого из игроков есть критерий победы, выигрывает тот, чей критерий наступит раньше. Петя выигрывает в тот момент, когда результаты последних трех бросков равны 001. Какую строку длины 3 оптимально выбрать Васе, чтобы его вероятность выигрыша была максимальна?
# Предложите решение предыдущей задачи для произвольной выигрышной строки Пети (за полином от длины этой строки).
# Серия «парадоксы теории вероятности». Мы предлагаем попытаться решать задачи этой серии самостоятельно, а не с помощью интернета, потому что они, конечно, там подробно разобраны. Парадокс Монти Холла. Представьте, что вы стали участником игры, в которой вам нужно выбрать одну из трёх дверей. За одной из дверей находится автомобиль, за двумя другими дверями — козы. Вы выбираете одну из дверей, например, номер 1, после этого ведущий, который знает, где находится автомобиль, а где — козы, открывает одну из оставшихся дверей, например, номер 3, за которой находится коза. После этого он спрашивает вас — не желаете ли вы изменить свой выбор и выбрать дверь номер 2? Увеличатся ли ваши шансы выиграть автомобиль, если вы примете предложение ведущего и измените свой выбор?
# Парадокс трёх заключённых. Трое заключённых, A, B и С, заключены в одиночные камеры и приговорены к смертной казни. Губернатор случайным образом выбирает одного из них и милует его. Стражник, охраняющий заключённых, знает, кто помилован, но не имеет права сказать этого. Заключённый A просит стражника сказать ему имя того (другого) заключённого, кто точно будет казнён: «Если B помилован, скажи мне, что казнён будет C. Если помилован C, скажи мне, что казнён будет B. Если они оба будут казнены, а помилован я, подбрось монету, и скажи имя B или C». Стражник говорит заключённому A, что заключённый B будет казнён. Заключённый A рад это слышать, поскольку он считает, что теперь вероятность его выживания стала 1/2, а не 1/3, как была до этого. Заключённый A тайно говорит заключённому С, что B будет казнён. Заключённый С также рад это слышать, поскольку он всё ещё полагает, что вероятность выживания заключённого А — 1/3, а его вероятность выживания возросла до 2/3. Как такое может быть?
# Нетранзитивные кости. Набор игральных костей нетранзитивен, если он состоит из трёх игральных костей A, B и C, для которых результат бросания кости A с вероятностью свыше 50% больше результата бросания кости B, результат бросания кости B с вероятностью свыше 50% больше результата бросания кости C, однако утверждение о том, что результат бросания кости A с вероятностью свыше 50% больше результата бросания кости C, является ошибочным. Постройте набор нетранзитивных костей.
# Усиленные нетранзитивные кости. Постройте набор из $n$ костей, в котором для любой кости есть другая, для которой с вероятностью свыше 50% будет получено большее число.
# Парадокс Берксона. Два независимых события могут становиться зависимыми, если произошло некоторое событие. Придумайте три события $A$, $B$ и $C$, такие что $A$ и $B$ независимы, но $A \cap C$ и $B \cap C$ зависимы после замены вероятностного пространства на $C$ и новой дискретной плотности вероятности $p_C(x) = p(x) / P(C)$.
# Парадокс дружбы — феномен, состоящий в том, что, как правило, у большинства людей друзей меньше, чем в среднем у их друзей. Прокомментируйте парадокс дружбы.
# Парадокс коробок Бертрана. Есть три коробки: первая содержит две золотых монеты, вторая содержит две серебряные монеты, третья содержит одну золотую и одну серебряную монету. После выбора случайной коробки и случайной монеты из нее, выбранная монета оказалась золотой. Какова вероятность того, что вторая монета в выбранной коробке также золотая?
# Парадокс Симпсона. Придумайте 4 дроби: $m_1/n_1$, $m_2/n_2$, $m_3/n_3$, $m_4/n_4$, чтобы выполнялось $m_1/n_1 < m_2/n_2$, $m_3/n_3 < m_4/n_4$ но $(m_1+m_3)/(n_1+n_3)>(m_2+m_4)/(n_2+n_4)$.
# Санкт-Петербургский парадокс. Рассматривается следующая задача. Вступая в игру, игрок платит некоторую сумму $s$, а затем подбрасывает честную монету, пока не выпадет 1. При выпадении 1 игра заканчивается, а игрок получает выигрыш, рассчитанный по следующим правилам. Если 1 выпала на $i$-м броске, игрок получает $2^i$. Для какой максимальной суммы $c$ есть смысл играть в эту игру?
# Парадокс галустков. Двое мужчин дарят друг другу на Рождество галстуки, купленные их жёнами. За напитками они начинают спорить, у кого галстук дешевле. Они приходят к тому, чтобы заключить пари — они будут консультироваться со своими жёнами и выяснят, какой галстук дороже. Условия пари в том, что человек с более дорогим галстуком должен отдать его проигравшему как утешительный приз. Первый человек рассуждает следующим образом: «Победа и поражения одинаково вероятны. Если я выиграю, я потеряю стоимость моего галстука. Но если я выиграю, то я выиграю больше, чем стоимость моего галстука. Поэтому шансы в мою пользу». Второй человек считает условия пари точно такими же, и, как ни парадоксально, кажется, оба мужчины имеют преимущество в этом пари.
# Парадокс двух конвертов. Есть два неразличимых конверта с деньгами. В одном находится сумма в два раза большая, чем во втором. Величина этой суммы неизвестна. Конверты дают двум игрокам. Каждый из них может открыть свой конверт и пересчитать в нём деньги. После этого игроки должны решить: стоит ли обменять свой конверт на чужой? Оба игрока рассуждают следующим образом. Я вижу в своём конверте сумму $X$. В чужом конверте равновероятно может находиться $2X$ или $\frac{X}{2}$. Поэтому если я поменяю конверт, то у меня в среднем будет $\left(2X+\frac{X}{2}\right)/2 = \frac54X$, то есть больше, чем сейчас. Значит, обмен выгоден. Однако обмен не может быть выгоден обоим игрокам. Где в их рассуждениях кроется ошибка?
# Пусть в парадоксе двух конвертов в качестве распределения используется следующее: с вероятностью $\frac{2^n}{3^{n+1}}$ в конверты помещаются суммы $2^n$ и $2^{n+1}$. Покажите, что в этом случае при обмене обмена вероятность получить $2X$ равна $1$, если игрок видит сумму $X=1$ и $\frac{11}{10}X$ в случае $X > 1$. Таким образом обмен выгоден в любом случае. Как такое возможно?
# Пусть $L$ - формальный язык. Докажите, что $(L^*)^* = L^*$
# Пусть $R$ и $S$ - языки. Докажите или опровергните, что $(R \cup S)^* = R^* \cup S^*$.
# Пусть $R$ и $S$ - языки. Докажите или опровергните, что $(R \cap S)^* = R^* \cap S^*$.
# Пусть $R$ и $S$ - языки. Докажите или опровергните, что $(R \cup S)^* = (R^*S^*)^*$.
# Пусть $R$ и $S$ - языки. Обозначим как $RS$ язык слов, представимых в виде конкатенации слова из $R$ и слова из $S$ (в этом порядке). Докажите или опровергните, что $(R\cup S)T=RT \cup ST$, $(R\cap S)T=RT \cap ST$.
# Пусть $L$ - язык. Обозначим как $Lc$ язык, который получается из $L$ дописыванием в конец каждому слову символа $c$. Обозначим как $Lc^{-1}$ язык, который получается из $L$ откидыванием всех слов, которые не заканчиваются на $c$, а затем у оставшихся слов откидыванием конечного символа $c$. Докажите или опровергните, что $(Lc)c^{-1}=L$, $(Lc^{-1})c=L$.
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых четность числа 0 равна четности числа 1
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых число единиц не кратно 3.
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых встречается подпоследовательность 001.
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых нет трех нулей подряд
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых есть три нуля подряд. Сделайте вывод из двух последних заданий.
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых есть три единицы подряд. Сделайте вывод из двух последних заданий.
# Постройте конечный автомат для языка слов над бинарным алфавитом, которые представляют собой двоичную запись чисел, кратных 5
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых число нулей кратно 3 и которые представляют собой двоичную запись чисел кратных 5.
# Постройте конечный автомат для языка слов над бинарным алфавитом, в которых число нулей кратно 3 или которые представляют собой двоичную запись чисел кратных 5. Сделайте вывод из последних двух заданий.
# Постройте детерминированный конечный автомат для языка слов над бинарным алфавитом, в которых третий символ с конца равен последнему символу.
# Запишите регулярное выражение для слов над бинарным алфавитом, содержащих два нуля подряд.
# Запишите регулярное выражение для слов над бинарным алфавитом, содержащих не более одного места, где встречаются два нуля подряд.
# Запишите регулярное выражение для слов над бинарным алфавитом, не содержащих два нуля подряд.
# Запишите регулярное выражение для слов над алфавитом $\{a, b, c\}$, содержащих нечетное число букв $a$.
# Запишите регулярное выражение для слов над бинарным алфавитом, задающих целое число в двоичной системе, не меньшее 51.
# Запишите регулярное выражение для слов над алфавитом $\{a, b, c\}$, содержащих хотя бы одну букву $a$ и хотя бы одну букву $b$.
# Запишите регулярное выражение для слов над алфавитом $\{a, b, c\}$, содержащих хотя бы две буквы $a$ и хотя бы одну букву $b$.
# Запишите регулярное выражение для слов над бинарным алфавитом, которые представляют собой двоичную запись числа, кратного трем.
# Постройте детерминированный конечный автомат для языка слов над бинарным алфавитом, в которых пятый символ с конца - единица.
# Докажите, что любой детерминированный автомат для языка слов над бинарным алфавитом, в которых $k$-й символ с конца равен 0, содержит $\Omega(2^k)$ состояний.
# Можно ли обобщить два предыдущих задания для любого размера алфавита $c$ следующим образом: построить семейство языков, для которых будут существовать НКА, содержащий $k$ состояний, но любые ДКА будут содержать $\Omega(c^k)$ состояний?
# Постройте конечный автомат для языка слов над бинарным алфавитом, которые представляют собой развернутую двоичную запись чисел кратных 5 (сначала на вход подаются младшие разряды).
# Постройте конечный автомат для языка слов над бинарным алфавитом, которые представляют собой развернутую двоичную запись чисел кратных 6 (сначала на вход подаются младшие разряды).
# Предложите для заданного ДКА размера $n$ алгоритм подсчета количества слов длины $d$ которые он допускает, за $O(dn)$.
# Предложите для заданного ДКА размера $n$ алгоритм подсчета количества слов длины $d$ которые он допускает, за $O(\log{(d)} \cdot poly(n))$ для некоторого полинома $poly$.
# Предложите для заданного ДКА размера $n$ алгоритм подсчета количества слов длины не больше $d$ которые он допускает, за $O(\log{(d)} \cdot poly(n))$ для некоторого полинома $poly$.
# Петя строит автомат для конкатенации языков $L_1$ и $L_2$ из автоматов для этих языков. Оказалось, что автомат для $L_1$ содержит только одно терминальное состояние и Петя просто объединил в одно это состояние и начальное состояние автомата для $L_2$. Всегда ли у Пети получится то, что нужно?
# Петя строит автомат для объединения языков $L_1$ и $L_2$ из автоматов для этих языков. Решив сэкономить, Петя просто объединил в одно начальные состояния автоматов для $L_1$ и $L_2$. Всегда ли у Пети получится то, что нужно?
# Петя строит автомат для замыкания Клини языка $L$. Решив сэкономить, Петя просто провёл $\varepsilon$-переход из каждого терминального состояния в начальное состояние, и сделал начальное состояние также терминальным. Всегда ли у Пети получится то, что нужно?
