Теория вероятностей: от жеребьёвки к моделям случайности

Вероятность нужна для двух практических задач: принимать решения, когда исход неизвестен, и понимать, насколько вероятен каждый исход. Обе задачи появились задолго до формальной теории.

Жребий, игры и первые записи

Жребий помогает принять решение, когда нет оснований выбрать один вариант из нескольких. Игры известны с древности. Игроку, однако, мало знать результат жребия. Ему нужно понять, выгодны ли условия игры.

Позже люди стали записывать данные: переписи городов, наблюдения астрономов. Накопив много записей, их начали сравнивать и задаваться вопросами: почему числа получились именно такими и какой механизм их породил. Так выросли две линии, из которых позже сложились вероятность и статистика.

Задача о прерванной игре

В 1654 году Паскаль и Ферма обсуждали задачу, которая стала классической. Игра идёт до трёх побед, каждый раунд честный и независимый от других. Игру прервали при счёте 2:1, банк равен 100. Как разделить банк?

Есть три разумных варианта:

• Поровну, 50:50. Ставки возвращаются, игра признаётся несостоявшейся.
• По счёту 2:1. Банк делится по числу выигранных раундов.
• По шансам на победу. Оценивается, чем мог бы закончиться матч, и банк делится по этим шансам.

Из зала предложили вернуть каждому половину ставки, поскольку сыграна лишь часть партий. Мысль интересная, но доля сыгранных партий не отвечает на главный вопрос: кто ближе к победе. Кроме того, до трёх побед игра длится не больше пяти партий, а не шести, как прикидывали вначале.

Расчёт по шансам

Представим, что игра продолжается. Игроку А нужна ещё одна победа, игроку Б — две. Доиграем мысленно два раунда, чтобы все пути имели одинаковую длину. Получаем четыре равновозможных продолжения.

Если А выиграет первый из добавленных раундов, второй уже ничего не меняет. Мы всё равно его учитываем, чтобы сравнивать пути одинаковой длины.

Ожидание и делёж банка

Ожидаемая доля каждого игрока равна его шансу, умноженному на банк:

Записи о смертности: сравнение вместо отдельного случая

В 1662 году Джон Граунт опубликовал анализ лондонских записей о смертности. Судьбу отдельного человека предсказать нельзя, но в больших группах видны устойчивые доли и изменения во времени. Для этого записи объединяют в таблицы и сравнивают между собой.

Объединение неточных наблюдений

В начале XIX века Лежандр и Гаусс разрабатывали методы объединения неточных наблюдений. Такие задачи возникали, например, в астрономии: разные наблюдения одного объекта дают разные числа, и из них нужно получить один ответ и оценку разброса.

Пять измерений одной длины

Одну и ту же длину измерили пять раз, см: 9.8; 9.9; 10.0; 10.1; 10.2.

Какое значение взять за ответ? Можно выбрать то, которому больше доверяем, или использовать среднее:

Систематическая ошибка

Если линейка неточна, все измерения смещены в одну сторону. Усреднение уменьшает случайный разброс, но смещение сохраняется.

Урожайность: честное сравнение условий

Два условия, A и B, например два вида пшеницы или два варианта удобрения. На одном участке урожай выше. Причиной может быть условие, но также почва или погода. Если условие A всегда стоит на левой половине поля, а B на правой, эффект условия смешивается с различиями почвы.

Решение — перемешать условия по участкам. Каждый участок получает условие случайно.

Рандомизация по Фишеру

Работая в Ротамстеде, Рональд Фишер развивал планирование экспериментов. Случайное назначение условий помогает сделать группы сравнимыми: неизмеренные факторы, например свойства почвы, в среднем распределяются между группами одинаково. Это уменьшает риск спутать влияние условия с различиями участков.

Порядок действий:

1. Делим поле на участки.
2. Для каждого участка случайно выбираем A или B.
3. Сравниваем средний урожай на участках A и на участках B.

Три шага Колмогорова

В 1933 году Андрей Колмогоров изложил основания теории вероятностей в виде аксиом. Работа с любой задачей идёт в три шага:

1. Назвать все возможные исходы опыта. Их множество обозначают \(\Omega\).
2. Указать событие, то есть набор исходов, шанс которого нас интересует.
3. Задать вероятности.

Аксиомы задают правила для вероятностей. Для любого события \(A\) выполняется

а для несовместных событий \(A\) и \(B\), которые не могут произойти одновременно,

Отсюда следует, например, что \(P(\bar A) = 1 - P(A)\): шанс противоположного события дополняет шанс события до единицы.

Вероятность и статистика: разные направления

Вероятность идёт от модели к данным. Правило известно: шанс орла равен \(1/2\). Спрашиваем, какие результаты дадут 20 бросков.

Статистика идёт наоборот. Результат уже есть: 14 орлов из 20. По нему пытаемся понять, какая модель монеты его породила.

Частота \(14/20 = 0.7\) ещё не доказывает, что шанс орла равен \(0.7\). При честной монете такой перекос тоже возможен из-за случайного разброса. Поэтому нужен способ учитывать этот разброс.

Монета под стаканом

Монету бросили и накрыли стаканом. Сторона уже определена физически, но её никто не видит.

Для тех, кто не заглядывал, ответ пока неизвестен, и шанс орла естественно считать \(1/2\). Если кто-то заглянул, монета не изменилась, но его информация стала другой.

Отсюда видно, что слово «случайно» может описывать два разных факта: механизм опыта, при котором никто не влияет на бросок, или наше незнание результата.

Два взгляда на вероятность

Частотный подход

Вероятность — это устойчивая доля, с которой событие происходит в длинной серии сопоставимых повторов. Если шанс орла равен \(1/2\), то при многих бросках доля орлов приближается к половине.

Байесовский подход

Вероятность выражает уверенность с учётом всей доступной информации. Новые сведения могут эту уверенность изменить. Тот, кто заглянул под стакан, оценивает шанс орла иначе, чем тот, кто не заглядывал.

Оба подхода требуют ясных предположений. Число \(1/2\) нужно объяснить правилами броска или тем, что нам известно о монете.

Что применяют на практике

В A/B-тестах чаще используют частотный подход. Он опирается на эмпирическое распределение: подсчитали, как клиенты ведут себя в разных вариантах, накопили данные и считаем, что они описывают клиентов за выбранный период.

Байесовский подход тоже применяется, но реже. Для байесовского расчёта нужно задать вероятностную модель и априорное распределение; подробное описание физики процесса и всех связей между признаками не обязательно. Построение модели может быть сложным как в крупных сервисах, так и в небольших компаниях.

Десять орлов подряд

В пьесе Тома Стоппарда «Розенкранц и Гильденстерн мертвы» монета снова и снова падает орлом, а герои ищут объяснение странной серии. Оценим, насколько такая серия вероятна. Пусть заранее выбраны 10 честных независимых бросков (число 10 взято для примера). Шанс, что все они окажутся орлами:

Каждый бросок даёт орла с шансом \(\frac{1}{2}\). Броски независимы, поэтому шансы перемножаются.

Редкое событие ещё не доказывает подвоха

Шанс \(\frac{1}{1024}\) мал, но не равен нулю, значит, серия возможна. Десять орлов подряд не доказывают, что монета нечестная: честная монета тоже иногда даёт такие серии. Чтобы судить о самой монете, нужно больше бросков. По одной серии о ней можно сказать немного.

Случайность как непредсказуемость

Мы называем случайным то, что нельзя предсказать. Заметив паттерн, мы считаем, что есть правило, и делаем вывод, что предположение о честной монете нарушено. Но любая конкретная последовательность из десяти бросков при честной монете имеет тот же шанс \(\frac{1}{1024}\), что и серия орлов. Паттерн говорит о нашем восприятии, а не о механизме опыта.

Две строки по 24 броска

В строке A орлы и решки чередуются без длинных серий. Строка B начинается с пяти орлов подряд. Большинство участников выбирает A как «более случайную», а B считает подозрительной. Однако обе строки могли получиться честной монетой: каждая конкретная строка из 24 бросков имеет одинаковый шанс.

Событие и все исходы

Опыт в этом разделе — один бросок. Все возможные результаты образуют пространство исходов:

Строчной буквой \(\omega\) обозначают результат, который получился. Событие — подмножество исходов Ω, которое нас интересует. Событие \(A = \{O\}\) означает «выпал орёл».

Три броска: дерево исходов

При нескольких бросках исходов становится больше. Каждая развилка дерева добавляет орла или решку:

Три броска дают восемь путей: OOO, OOP, OPO, OPP, POO, POP, PPO, PPP. Путь OPO означает: сначала орёл, затем решка, затем орёл. При честных независимых бросках его шанс равен \(\left(\frac{1}{2}\right)^3 = \frac{1}{8}\). Все восемь путей равновозможны, поэтому у каждого шанс \(\frac{1}{8}\).

Ровно один орёл: 3/8

Чтобы найти вероятность события, выделим подходящие пути и разделим их число на общее число путей:

1. Подходят пути с одним орлом: OPP, POP, PPO.
2. Всего путей восемь.
3. Положение орла различается, но условие выполнено во всех трёх случаях.

Хотя бы один орёл: дополнение

Перечислять семь путей с орлом можно, но проще найти единственный путь без орла: PPP. Событие «хотя бы один орёл» — дополнение к событию «ни одного орла»:

Шесть орлов и смешанная строка

Сравним две строки из шести бросков честной монеты: OOOOOO и OPOPPO. Если строка выбрана заранее, шанс каждой одинаков: \((1/2)^6 = 1/64\). Для конкретной строки нужны шесть определённых результатов в определённом порядке.

Разница появляется, когда вопрос касается не одной строки, а целого класса строк:

Отдельная строка из шести орлов так же редка, как любая другая конкретная строка. Но смешанных строк почти все, поэтому «какая-то смешанная строка» почти наверняка выпадет.

Почему мы замечаем закономерность

Мы почти автоматически выделяем паттерны. Строку OOOOOO легко описать одним правилом: «всегда орёл». Смешанную строку приходится запоминать поштучно, поэтому она кажется нам «более случайной», хотя шансы совпадают.

Здесь же проявляется сжатие. Архиваторы (zip, WinRAR) ищут избыточность: если последовательность описывается короткой программой, в файле много повторов, и его можно уменьшить. Человек поступает похоже: запоминает правило, а не каждое значение. Модели машинного обучения извлекают повторяющиеся закономерности, и простое предсказание следующего токена в языковых моделях даёт сильные результаты именно потому, что заставляет находить суть.

Случайность как непредсказуемость

Случайность здесь понимается как мера непредсказуемости. Строку, которую можно предсказать или описать коротким правилом, легко запомнить, и она кажется неслучайной. Непредсказуемую строку запомнить труднее, и мы называем её случайной.

Пять орлов: место задано заранее или нет

Рассмотрим два события:

• A: первые пять бросков — орлы. Место назвали заранее, поэтому шанс равен \((1/2)^5 = 1/32 \approx 0{,}031\).
• B: среди ста бросков где-нибудь есть серия из пяти орлов подряд.

Событие B включает случаи, когда серия стоит в любом месте. Окно из пяти бросков может начинаться с 1-го по 96-й бросок, то есть окон \(100 - 5 + 1 = 96\).

Если сложить шансы окон, получится \(96 \cdot \frac{1}{32} = 3\), что больше единицы, а вероятность не может быть больше единицы. Окна пересекаются: в шести орлах подряд есть и окно 1–5, и окно 2–6, но вся история одна. Поэтому в каждой истории серию отмечают один раз: встретилась она или нет.

Удачный «предсказатель»

Представим, что нужно угадать все исходы турнира на выбывание. Один аккаунт почти наверняка ошибётся. Но если завести много аккаунтов и перебрать разные варианты, то какой-то из них угадает всё. Со стороны это выглядит как маловероятное предсказание, хотя результат получен процедурой, а не удачей одного прогноза.

После пяти орлов

Серия из пяти орлов не меняет монету. Следующий бросок по-прежнему даёт решку с шансом \(1/2\): монета не «копит» долг и не обязана исправлять счёт. Доля орлов может приближаться к половине, но не из-за серии решек, а за счёт большого числа бросков.

Честный кубик: шесть равных шансов

У честного шестигранного кубика каждая грань выпадает с вероятностью \(\frac{1}{6}\). Исход опыта здесь одна грань, и все шесть исходов равновозможны.

Событие «выпало чётное» объединяет три исхода: 2, 4 и 6. Их шансы складываются:

Три правила, на которых держится расчёт

Любая модель опыта подчиняется трём правилам:

1. Вероятность события неотрицательна: \(P(A) \ge 0\).
2. Вероятность всего пространства исходов равна 1: \(P(\Omega)=1\).
3. Для несовместных событий вероятности складываются. Несовместные события не могут произойти вместе.

Один бросок не даёт одновременно двойку и четвёрку, поэтому

Дополнение: шанс того, что событие не наступит

Дополнение события \(A\) — все исходы, которые в \(A\) не входят. Его обозначают \(A^c\). Событие \(A\) и его дополнение не пересекаются и вместе покрывают все исходы, поэтому их вероятности в сумме дают 1:

Пример: шанс не выбросить шестёрку равен \(1 - \frac{1}{6} = \frac{5}{6}\). Считать так проще, чем перечислять пять граней, и тот же приём работал для «хотя бы один орёл» в предыдущей части.

Пересечение: выполнены оба условия

Пусть \(A\) — выпало чётное, а \(B\) — выпало не меньше четырёх. Тогда

Пересечение \(A \cap B\) — исходы, которые подходят под оба условия сразу. Это грани 4 и 6:

Исход 2 подходит только под \(A\), а исход 5 — только под \(B\). В пересечение они не попадают.

Объединение: выполнено хотя бы одно условие

Объединение \(A \cup B\) — выполнено хотя бы одно из условий, включая случай, когда выполнены оба. Исходы 4 и 6 входят и в \(A\), и в \(B\). Если просто сложить \(P(A)\) и \(P(B)\), они учтутся дважды, поэтому одно пересечение вычитают:

Подставим значения:

Проверка перечислением: \(A \cup B = \{2, 4, 5, 6\}\), четыре исхода из шести.

Неравномерный кубик: вероятности как веса

Пусть шестёрка выпадает с вероятностью \(\frac{1}{2}\), а каждая из остальных граней с вероятностью \(\frac{1}{10}\). Проверка: \(5 \cdot \frac{1}{10} + \frac{1}{2} = 1\).

Формула \(P(A) = \frac{|A|}{|\Omega|}\) здесь не годится: исходы не равновозможны, и подсчёт граней ничего не даст. Вероятности складываются как веса:

Правило «число благоприятных на число всех» работает только для конечных равновозможных исходов.

Два кубика: 36 равновозможных пар

Опыт с двумя кубиками даёт упорядоченную пару \((a, b)\): \(a\) — результат первого кубика, \(b\) — второго. Порядок важен: пара \((4, 6)\) отличается от \((6, 4)\). Всего пар \(6 \cdot 6 = 36\), и при честных независимых кубиках каждая имеет шанс \(\frac{1}{36}\).

Сумма 7 получается из шести пар: \((1,6), (2,5), (3,4), (4,3), (5,2), (6,1)\). Поэтому

Разные пары дают одинаковую сумму. Сама сумма — числовая характеристика исхода. Позже такую величину назовём случайной величиной.

Зависимость меняет пространство исходов

Теперь второй кубик выставляют на то же число, что выпало на первом. Каждый кубик по отдельности остаётся честным. Но пар становится только шесть:

Сумма 7 исчезает, все суммы чётные: \(a + a = 2a\). Здесь не изменилась честность граней, а изменилась связь результатов. Поэтому, прежде чем считать, нужно знать, зависят ли результаты друг от друга, потому что от этого зависит и список возможных исходов.

d12 или 2d6: какой кубик выбрать

Сравним два способа получить число от 1 до 12. d12 — один двенадцатигранный кубик: каждое число выпадает с шансом \(\frac{1}{12}\). 2d6 — сумма двух шестигранников, она распределена «куполом» с пиком при 7.

Выбор зависит от порога успеха:

Для 2d6 при пороге 7 успешны 21 пара. Это проще посчитать дополнением: пар с суммой не больше 6 будет 15, а \(36 - 15 = 21\). При пороге 10 успешны шесть пар: \((4,6), (5,5), (6,4), (5,6), (6,5), (6,6)\).

Два кубика чаще дают результат из середины, потому что к ней ведёт больше пар. При низком пороге это помогает 2d6, при высоком выгоднее плоский d12. Одинаковый максимум, 12, не означает одинаковую сложность испытания.

Три правила перемешивания

Плейлист можно собрать тремя способами. Все они используют случайность, но дают разный опыт прослушивания.

20 песен и 19 переходов

Пусть каталог состоит из 10 песен, а плейлист из 20 выборов выполняется независимо, с возвращением. Нужно найти шанс хотя бы одного повтора рядом.

Удобнее считать противоположное событие: соседних повторов нет.

• Первый выбор: любая из 10 песен, шанс \(10/10\).
• Каждый следующий выбор должен отличаться от предыдущей песни: 9 подходящих вариантов из 10, шанс \(9/10\).
• Между 20 позициями 19 переходов.

Шанс, что соседних повторов нет, равен \((9/10)^{19}\). Тогда шанс хотя бы одного повтора рядом:

Альбомы: процедура меняет шансы

Пусть есть альбом A из двух песен (A1, A2) и альбом B из восьми песен (B1–B8). Всего 10 разных треков. Сравним два способа выбора:

1. Выбрать альбом с шансами \(1/2\) и \(1/2\), затем песню внутри него с равными шансами.
2. Выбрать сразу одну из 10 песен, не глядя на альбомы.

Для первого способа шанс каждой песни считается как произведение шансов по шагам:

• песня A1: \(\frac{1}{2}\times\frac{1}{2}=\frac{1}{4}\);
• песня B1: \(\frac{1}{2}\times\frac{1}{8}=\frac{1}{16}\).

Для второго способа каждая песня получает \(\frac{1}{10}\).

Проверка: \(2\cdot\frac{1}{4}+8\cdot\frac{1}{16}=1\). Все шансы в сумме дают единицу.

Почему так: альбом выбирается с одинаковым шансом независимо от размера. На короткий альбом приходится тот же вес, что на длинный, поэтому каждая его песня получает больший шанс. Таким образом, при первом способе треки короткого альбома звучат заметно чаще.

Кнут: от жеребьёвки к алгоритму

Сначала случайность получали жеребьёвкой: бросали монету, тянули камешки или палочки разной длины. Затем появились готовые таблицы случайных цифр. С развитием компьютеров возникли две практические потребности:

• нужны длинные последовательности чисел для симуляций;
• расчёт нужно иметь возможность точно повторить, например, чтобы проверить программу.

Из этого следует задача: получить нужные свойства случайности по воспроизводимому правилу. Приставка «псевдо» здесь важна. Настоящую случайность алгоритм не производит, он выдаёт последовательность, которая ведёт себя как случайная. Подробно этот путь описан Кнутом в «Искусстве программирования» (том 2, §3.1).

Генератор, который застрял

Кнут построил алгоритм K из множества запутанных преобразований и ожидал очень хорошую последовательность. Сложность сама по себе качества не гарантировала. При первом запуске алгоритм быстро пришёл к числу 6065038420 и стал повторять его:

Алгоритм попал в неподвижную точку: из этого состояния он уже не выходит.

Из этого примера следуют несколько выводов:

• По виду результатов качество генератора не определить. Последовательность может выглядеть случайной, а при отдельных начальных значениях зациклиться или выдать строгий паттерн.
• Аналитически разобрать сложный алгоритм тоже трудно.
• Поэтому генераторы строят из операций, у которых изучены свойства и границы их поведения, а затем комбинируют.

Порядок результатов несёт информацию

Возьмём две строки по двенадцать бросков, в каждой шесть орлов и шесть решек. Если смотреть только на долю орлов, строки неразличимы.

Верхняя строка строго чередуется, и её продолжение легко угадать. В нижней порядок нерегулярен. Доля одинаковая, но если игнорировать порядок, теряется часть информации.

Seed: как повторить опыт

Генератор случайных чисел — алгоритм, а не настоящая случайность. Его начальное состояние задаёт seed (зерно). Один seed и один алгоритм дают одну и ту же последовательность.

import numpy as np

SEED = 12345
rng = np.random.default_rng(SEED)   # создаём генератор один раз
flips = rng.random(10) < .5         # все броски берём из него

Миллион опытов не исправит неверное правило

Симуляция повторяет опыт, который вы описали. Если описание неверно, тысячи повторов лишь точнее оценят неверную модель. Пусть второй кубик копирует первый: тогда сумма равна \(2x\) и всегда чётна. Сумма 7 не появится ни в одном повторе.

Большое число повторов уточняет вероятность внутри модели. Саму модель нужно проверять отдельно.

Порядок действий перед расчётом

Для нового вопроса назовите три вещи: процедуру (что делаем), событие (что считаем успехом) и предположения (честность, независимость, выбор с возвращением или без). Только после этого считайте формулу или запускайте симуляцию.

Цель семинара — выработать базовую интуицию и умение проводить симуляции, которые понадобятся в математической статистике и A/B-тестах.

Ход занятия

Сначала разбираем монету, затем кубики и музыкальный плейлист. В каждом блоке можно менять параметры: число бросков, вероятность орла, порог суммы, длину серии. Сравнивайте свою догадку с результатом и возвращайтесь к задачам лекции.

Фиксируем среду

SEED = 12345
rng = np.random.default_rng(SEED)

SEED задаёт начальное состояние генератора, поэтому при одинаковом значении результаты совпадают у всех. Генератор создаётся один раз, иначе будет повторяться первый результат. Остальной служебный код подключает NumPy и matplotlib и задаёт оформление рисунков. Успешный запуск выводит строку Среда готова. NumPy 2.1.3.

Вспомогательные функции

• tape(values, ax, title, highlights) рисует ряд клеток O и P; highlights обводит серии.
• has_run(trials, length) проверяет для каждой истории, есть ли серия из length орлов подряд. Орёл здесь True.
• compare(labels, estimates, exact) сравнивает симуляцию с точными значениями.
• dice_grid(mask, title) рисует сетку 6×6 пар кубиков и выделяет нужные клетки.

from numpy.lib.stride_tricks import sliding_window_view

def has_run(trials, length=5):
    x = np.asarray(trials, dtype=bool)
    if x.ndim != 2 or length < 1:
        raise ValueError('Нужен массив историй и положительная длина серии')
    if x.shape[1] < length:
        return np.zeros(x.shape[0], dtype=bool)
    return sliding_window_view(x, length, axis=1).all(axis=-1).any(axis=1)

trials = rng.random((1000, 30)) < .5
print(has_run(trials, 5).mean())

Литература

• «Что не так? Три парадокса теории вероятностей».
• «Важнейшая модель теории вероятностей».
• Кнут, «Искусство программирования», том 2, §3.1.

Переключения и серии

Переключение — это пара соседних бросков с разными результатами: орёл сменился решкой или решка орлом. Серия — подряд идущие одинаковые результаты.

В строке ООРРРО два переключения: между вторым и третьим бросками и между пятым и шестым. Серии здесь ОО, РРР и О.

Для честной монеты следующий бросок отличается от предыдущего с шансом 1/2. В строке из 24 бросков 23 соседние пары, поэтому в среднем ожидается \(23 \cdot \frac{1}{2} = 11.5\) переключения.

Признак выбираем до просмотра

Строку, записанную вручную из 24 бросков, сравнивают с 5000 случайными строками той же длины. Для каждой строки считают число переключений:

human_text = 'OPOOPOPOPOPOOPOPOPOPOP'
human = np.array(list(human_text)) == 'O'
trials = rng.random((5000, len(human))) < .5
switch_counts = (trials[:, 1:] != trials[:, :-1]).sum(axis=1)

Выражение trials[:, 1:] != trials[:, :-1] сравнивает каждый бросок с предыдущим.

У строки «человека» 19 переключений, у генератора — 10 (при этом в его строке самая длинная серия 6). Гистограмма для 5000 строк собрана около 11–12 переключений, а значение 19 стоит на её правом краю.

Признак нужно выбрать до просмотра результата. Если перебрать много признаков и оставить тот, где строка выделилась, «необычность» найдётся почти у любой строки.

Подгонка под типичное число переключений

Чтобы проверить этот вывод, строку меняли. Сначала получили строку с 9 переключениями и самой длинной серией 4, а у генератора в той же проверке было 11 переключений и серия 5. Затем подобрали строку с 12 переключениями, как у генератора. По самой длинной серии она всё равно отличается: 4 против 5.

Вывод такой: подгоняя строку под один признак, можно добиться, чтобы она выглядела типичной по этому признаку. Но один признак ничего не доказывает. Перед сравнением назовите признак и объясните, почему он важен для вопроса.

Случайное блуждание

Пусть орёл означает шаг вправо на +1, а решка — шаг влево на −1. Накопленная сумма шагов называется случайным блужданием. Её значение после \(n\) бросков равно \(H - T\), где \(H\) — число орлов, \(T\) — число решек. Эту величину называют перевесом.

n = 10000
p = .5
flips = rng.random(n) < p
steps = np.arange(1, n+1)
count = np.cumsum(flips)
frequency = count / steps
lead = 2*count - steps

Здесь count — число орлов к каждому моменту, frequency — доля орлов, lead — перевес. Поскольку \(T = n - H\), получаем \(H - T = 2H - n\).

Доля и перевес

Доля орлов равна \(H/n\). Подставим \(H = \frac{(H-T) + n}{2}\) и получим точную связь:

Доля отличается от 1/2 на перевес, делённый на \(2n\). Значит, доля может быть близка к 1/2, а перевес при этом оставаться большим: отклонение доли равно перевесу, делённому на \(2n\), и перевес не обязан уменьшаться при увеличении \(n\).

Честная монета, 10 000 бросков:

Доля 0.5072, перевес +144. Проверка по формуле: \(\frac{144}{2 \cdot 10000} = 0.0072\), и \(0.5 + 0.0072 = 0.5072\).

Короткие истории

Для 100 бросков получили долю 0.53 и перевес +6. В начале истории доля заметно уходила от 1/2, и лишь потом стала держаться около него. На 10 бросках доля может быть 0.7 у совершенно честной монеты (7 орлов из 10): перевес при этом всего +4.

Случайное блуждание в игре

Пусть орёл приносит игроку +1, а решка −1. Тогда перевес после \(n\) бросков равен \(\text{орлы} - \text{решки} = 2 \cdot \text{орлы} - n\). Каждый бросок сдвигает точку вправо или влево, и такая траектория называется случайным блужданием.

Доля орлов и перевес связаны точно:

Поэтому доля может приблизиться к \(0.5\), а перевес при этом остаться большим. Это разные величины, и отвечают они на разные вопросы.

flips = rng.random(n) < p
count = np.cumsum(flips)
frequency = count / steps
lead = 2*count - steps

Честная игра: доля стабилизируется, перевес колеблется

При \(p = 0.5\) на 100 000 бросках получили долю 0.5005 и перевес +94. Доля орлов сходится к \(0.5\), а перевес на длинной дистанции не прилипает к нулю: на графике он колеблется примерно от −100 до +250.

Небольшое преимущество на длинной дистанции

При \(p = 0.55\) орёл выигрывает у решки уже в самих правилах. На 100 000 бросках доля составила 0.5484, перевес +9680. Перевес растёт почти линейно, а доля уверенно держится около \(0.55\).

При \(p = 0.52\) получили долю 0.5173 и перевес +3464 за те же 100 000 бросков. Преимущество меньше, но на длинной дистанции оно тоже накапливается.

В коротких сессиях такое преимущество почти не заметно, и результат легко принять за случайность.

Как это работает в азартных играх

Казино получает небольшое преимущество в каждой ставке. В одном вечере оно почти незаметно, но при большом числе игр и игроков оно накапливается. Поэтому долгосрочный итог определяется не удачей отдельной сессии, а шансом.

Отдельно стоят так называемые dark patterns: механики, которые вызывают зависимость и заставляют играть чаще. Они увеличивают число сессий, а значит, и число бросков, на которых работает преимущество.

Распределение числа орлов в 20 бросках

Повторим эксперимент «20 бросков» 10 000 раз. По горизонтали отложим число орлов в одной истории, по вертикали — долю таких историй. Это другой график, чем накопленная доля орлов.

from math import comb

n = 20
M = 10_000
k = np.arange(n+1)
counts = (rng.random((M,n)) < .5).sum(axis=1)
observed = np.bincount(counts, minlength=n+1)/M
exact = np.array([comb(n,int(j))/2**n for j in k])

Ровно 10 орлов: эксперимент даёт 0.178, точный подсчёт — 0.176.

Точный подсчёт опирается на число способов выбрать позиции орлов среди 20 бросков, делённое на число всех строк:

При меньшем числе повторов расхождение между опытом и точным значением становится заметнее, поэтому для проверки формулы нужно много повторов.

Серия длины 5 в 60 бросках

Серия — это несколько одинаковых результатов подряд. Чтобы найти серию из пяти орлов в истории из 60 бросков, проверяем все окна длины 5. Ключевая строка:

sliding_window_view(x, length, axis=1).all(axis=-1).any(axis=1)

Окно сдвигается по строке, и для каждого положения проверяется, выпали ли пять орлов подряд. Если хотя бы одно окно подошло, серия есть.

В одной истории серия из пяти орлов нашлась, в другой при длине 7 её не было, а в следующем запуске семерка появилась. Ответ «есть или нет» относится к конкретной истории. Перезапуск даёт новую историю и новый ответ.

Окна и их шансы

В строке из 100 бросков окон длины 5 будет \(100-5+1=96\). Соседние окна пересекаются: серия из шести орлов попадает одновременно в окна 1–5 и 2–6. Поэтому шансы окон нельзя складывать. Сумма \(96 \cdot \frac{1}{32} = 3\) больше единицы, но вероятность не может быть больше 1: одна история учитывается в нескольких окнах.

Первые пять или где-нибудь

Сравним два события для 100 бросков:

Первое событие фиксирует место заранее. Второе допускает 96 позиций, поэтому его шанс заметно выше.

M, n, length = 30_000, 100, 5
trials = rng.random((M,n)) < .5
first = trials[:,:length].all(axis=1)
anywhere = has_run(trials,length)

Симуляция на 30 000 историях даёт 0.031 и около 0.81, что совпадает с расчётом.

Что меняет длина истории и шанс орла

• В 1000 бросках серия из пяти орлов почти наверняка есть: доля историй близка к 1.
• Десять орлов подряд в фиксированных первых десяти бросках имеют шанс \(\left(\frac{1}{2}\right)^{10} = \frac{1}{1024}\). Где-нибудь в 1000 бросках такая серия встречается примерно в 38% историй.
• Пусть \(p\) — шанс орла. При \(p = 0.7\) доля историй с серией из пяти орлов уже около 1 при 100 бросках. При \(p = 0.3\) рост идёт медленнее.

Больше бросков и больше вероятность орла дают больше мест для совпадения. Небольшие колебания графика — случайный разброс новых историй.

Проверка задач о монете

Задача 1. После пяти орлов подряд решка «нужнее»? Бросок независим от прошлых, поэтому шанс решки остаётся \(\frac{1}{2}\). Симуляция: среди историй, начинающихся с пяти орлов (около 3000 из 100 000), следующая решка выпала в 0.512 случаев.

x = rng.random((100_000,6)) < .5
selected = x[:,:5].all(axis=1)
next_tail = (~x[selected,5]).mean()

Задача 2. В трёх бросках что вероятнее: ровно один орёл или три орла?

• Ровно один орёл: OPP, POP, PPO — три из восьми равновозможных строк, шанс \(\frac{3}{8} = 0.375\).
• Три орла: только OOO, шанс \(\frac{1}{8} = 0.125\).

Симуляция дала 0.375 и 0.124. Результаты близки к расчёту для заданной модели честной монеты с независимыми бросками; это не проверяет честность реальной монеты.

Кубик честный, если до броска все шесть граней равновозможны: шанс каждой равен \(\frac{1}{6}\). Это утверждение о модели, а не обещание ровных частот в конкретной серии бросков.

Честность и частоты

Проверим на опыте: бросим честный кубик 60 раз, затем 6000 раз, и сравним доли граней с \(\frac{1}{6}\).

for n in [60, 6000]:
    values = rng.integers(1,7,n)
    frequencies = np.bincount(values,minlength=7)[1:]/n
    # ... построение столбцов frequencies и линии 1/6

При 60 бросках столбцы заметно различаются: грань 2 выпала с долей около 0.23, грань 1 — около 0.10. При 6000 бросках все шесть столбцов почти совпадают с линией \(\frac{1}{6}\).

Короткая серия показывает лишь малую часть возможных исходов, поэтому разброс ещё не доказывает нечестность кубика. Чтобы оценить такой разброс, нужна модель: сначала задаём шансы, затем смотрим, насколько типичны наблюдаемые частоты.

Сетка пар

Опыт с двумя кубиками описывается упорядоченной парой \((a, b)\): первый и второй кубики различимы. Для честных независимых кубиков всего пар \(6 \cdot 6 = 36\), и каждая равновероятна: \(\frac{1}{36}\). Удобно расположить их в таблице 6×6: строка задаёт результат первого кубика, столбец — второго, в клетке стоит сумма.

Событие «сумма не меньше порога» выделяем булевой маской:

threshold = 10
first_die, second_die = np.meshgrid(np.arange(1,7), np.arange(1,7), indexing='ij')
sum_grid = first_die + second_die
event = sum_grid >= threshold
print('Точная вероятность:', event.mean())

np.meshgrid создаёт две матрицы: в первой каждая клетка хранит результат первого кубика, во второй — второго. Их сумма даёт сумму каждой пары, а event.mean() — долю выделенных клеток, то есть вероятность.

d12 или 2d6

Сравним два варианта: один двенадцатигранный кубик d12 и сумму двух шестигранных 2d6. Оба дают значения от 1 до 12 (у 2d6 единица невозможна), но распределены по-разному: d12 — равномерно, у 2d6 пик приходится на 7.

Симуляция подтверждает таблицу. При пороге 10 d12 дал 25.35% против точных 25.00%, 2d6 — 16.56% против 16.67%. При пороге 7 d12 дал 49.79% против 50.00%, 2d6 — 58.04% против 58.33%.

Причина в числе пар: к сумме 7 ведут 6 пар, а к сумме 2 или 12 — по одной. Поэтому два кубика концентрируют шансы в середине. При высоком пороге это невыгодно, при пороге около середины — выгодно. Одинаковый максимум (12) не означает одинаковую сложность испытания.

Зависимость, которую не видно по одному кубику

Пусть первый кубик бросается, а второй выставляется на то же число. Заметим ли мы подмену, если смотреть только на второй кубик?

repeats = 12000
first = rng.integers(1,7,repeats)
independent = rng.integers(1,7,repeats)
copied = first.copy()
for second, name in [(independent, 'Независимые'), (copied, 'Второй копирует первый')]:
    print(name, ': частота суммы 7 =', np.mean(first+second==7))

В независимой модели сумма 7 встречается примерно в 16% случаев, во второй модели — ни разу (0.0).

Частоты граней второго кубика в обеих моделях близки к \(\frac{1}{6}\), поэтому по ним подмену не заметить. Различие видно в таблице пар: независимые кубики заполняют всю сетку, а копирующая модель — только диагональ (1,1), (2,2), …, (6,6). Там сумма всегда равна \(2x\) и чётна, поэтому сумма 7 не появляется.

Тренажёр: кубики

3. \(A\) — «чётное», \(B\) — «не меньше 4». Найдите \(P(A \cap B)\) и \(P(A \cup B)\). Почему нельзя просто сложить \(P(A)\) и \(P(B)\)?

Решение. \(A \cap B = \{4, 6\}\), \(P = \frac{2}{6} = \frac{1}{3}\). \(A \cup B = \{2, 4, 5, 6\}\), \(P = \frac{4}{6} = \frac{2}{3}\). Сумма \(P(A) + P(B) = \frac{3}{6} + \frac{3}{6} = 1\) считает 4 и 6 дважды, поэтому пересечение вычитают: \(\frac{3}{6} + \frac{3}{6} - \frac{2}{6} = \frac{4}{6}\).

4. У двух независимых кубиков что вероятнее: хотя бы одна шестёрка или ровно одна?

Решение. Хотя бы одна шестёрка: \(\frac{11}{36} \approx 30.6\%\). Ровно одна: \(\frac{10}{36} \approx 27.8\%\). Событие «хотя бы одна» включает «ровно одну» и ещё пару (6,6). Симуляция дала 0.306 и 0.278.

5. Замените копирование на 7 - first и подпишите вторую модель «Дополняет до семи». Предскажите вид таблицы пар и частоту суммы.

Решение. Второй кубик всегда равен \(7 - \text{first}\), поэтому пары лежат на побочной диагонали: (1,6), (2,5), …, (6,1). Сумма всегда равна 7, её частота равна 1. Частоты граней второго кубика при этом остаются близкими к \(\frac{1}{6}\).

Пороги 7 и 12 для выбора между d12 и 2d6 разобраны в таблице выше.

Повтор рядом и повтор вообще

Пусть из десяти песен независимо выбирают десять раз. Тогда «любой повтор» и «повтор рядом» — разные события.

• Любой повтор: какая-либо песня встречается дважды. Его не будет, только если все десять выборов различны. Шанс этого равен \(\frac{10!}{10^{10}} \approx 0.0004\), поэтому повтор почти наверняка есть.
• Повтор рядом: две соседние позиции совпадают. На каждой паре шанс совпадения \(\frac{1}{10}\), а без совпадения следующий выбор проходит с шансом \(\frac{9}{10}\). Для девяти переходов получаем \(1-(9/10)^9 \approx 0.61\).

Три правила выбора

Перестановка использует каждую песню не больше одного раза, поэтому повторов нет вовсе. Запрет соседнего повтора не мешает вернуться к песне позже. Его можно реализовать так:

k, n = 10, 10
out = [int(rng.integers(k))]
for _ in range(n - 1):
    prev = out[-1]
    j = int(rng.integers(k - 1))   # выбираем из k-1 песен, без предыдущей
    out.append(j + (j >= prev))    # сдвиг индекса пропускает предыдущую песню

20 выборов из 10 песен

Проверим формулу симуляцией:

K, n, M = 10, 20, 30_000
songs = rng.integers(0, K, (M, n))
repeat = (songs[:, 1:] == songs[:, :-1]).any(axis=1)
exact_repeat = 1 - ((K - 1) / K) ** (n - 1)

Симуляция дала 0.865, формула \(1-(9/10)^{19} \approx 0.8649\). Чтобы повтора рядом не было, каждый из 19 переходов должен пройти с шансом \(\frac{9}{10}\). Искомый шанс — дополнение к этому произведению.

От числа прослушиваний и размера каталога

При \(n\) прослушиваниях и \(K\) песнях шанс соседнего повтора равен \(1-\left(1-\frac{1}{K}\right)^{n-1}\).

Чем длиннее плейлист, тем больше мест для совпадения. Чем больше каталог, тем меньше шанс совпасть на каждом шаге. Эти выводы относятся к независимому выбору с возвращением.

Альбомы: процедура задаёт шансы

В библиотеке два альбома: A из двух песен и B из восьми. Сравним два способа выбора.

В первом способе альбом получает половину выбора независимо от размера. Поэтому песня короткого альбома получает больший вес. Во втором способе все песни равноправны.

Если сделать альбомы по 5 песен, то в первом способе каждая песня получит \(\frac12\cdot\frac15=\frac1{10}\), как и во втором. Разница исчезает. Слова «выберем случайно» недостаточно: нужно описать процедуру.

Ответы на вопросы главы

1. Равные вероятности не гарантируют равных частот в короткой серии. Короткая серия содержит случайный разброс, а частоты приближаются к \(\frac16\) только с ростом числа бросков.
2. Суммы двух честных кубиков не равновозможны. Сумма 7 получается шестью парами, а сумма 2 — только парой (1, 1): шансы \(\frac{6}{36}\) и \(\frac{1}{36}\).
3. Запрет соседнего повтора убирает повтор рядом по построению: выбор идёт из песен, кроме предыдущей. Перестановка убирает любой повтор за один проход.

Задания для самостоятельной работы

Перед запуском запишите ожидаемое направление изменения.

• Длина серии 3 вместо 5. Ответ: доля историй с серией вырастет. Короткая серия может начаться в большем числе мест.
• Кубик с неравными вероятностями. Ответ: частоты сойдутся к заданным весам, а не к \(\frac16\).
• Плейлисты из 10 и 100 песен одинаковой длины (20 прослушиваний). Ответ: для 10 песен шанс соседнего повтора около 0.865, для 100 — около \(1-0.99^{19} \approx 0.17\). Большой каталог даёт меньше повторов.
• Дополнительно. Какой шанс, что звучит песня альбома A? Ответ: \(\frac12\) при выборе альбома, затем песни, и \(\frac15\) при выборе из всех десяти.