Лекція 9. Основи комбінаторики та теорії ймовірностей #

Огляд #

Усі розділи дискретної математики, які ми проходили досі, описують детермінований світ: множина або містить елемент, або ні (Лекція 1); два об’єкти або перебувають у відношенні, або ні; висловлення або істинне, або хибне. Проте більшість реальних задач фаху звучить інакше: «наскільки ймовірно, що навмання взятий відбиток виявиться бракованим?», «як часто друкарська машина дає збій за зміну?», «якою мірою можна довіряти партії, якщо у вибірці з тиражу трапилося два дефекти?». Тут потрібна математика градуйованої певності — теорія ймовірностей, яка кожному непевному твердженню зіставляє число від $0$ до $1$, що вимірює, наскільки воно правдоподібне.

Ця лекція будує скінченну (дискретну) ймовірність з трьох цеглин.

1. Мова. Дослід, простір елементарних наслідків $\Omega$ і події — які виявляться не чим іншим, як множинами з Лекції 1, тож уся алгебра множин переноситься сюди дослівно, лише змінюється прочитання.
2. Міра. Як зіставити події число $P(A) \in [0,1]$: класичне (лапласове) означення через відношення $m/n$ і комбінаторні засоби, потрібні, щоб полічити ці $m$ і $n$.
3. Числення подій. Теореми, що комбінують ймовірності, — правило протилежної події, умовна ймовірність, теореми множення й додавання, формула повної ймовірності та формула Байєса, — кожну з яких ми доводимо, а не лише проголошуємо.

Наприкінці ми вивчаємо випадкові величини — математичне сподівання $M(X)$, дисперсію $D(X)$ і середньоквадратичне відхилення $\sigma$ — та оглядово перелічуємо типові розподіли. Наскрізна прикладна нитка — контроль якості друку та вибіркові перевірки тиражу: саме ймовірнісні моделі стоять за стандартами приймального контролю, за оцінкою надійності обладнання та за діагностикою джерела дефекту.

Про строгість. Кілька результатів нижче оформлено як теореми й супроводжено доведенням у межах позначок Доведення. … $\blacksquare$. Уся теорія ймовірностей тримається на кількох простих властивостях, а решта — їхні наслідки. Читайте доведення активно: майже кожне з них — це спочатку дія над множинами (з Лекції 1), а потім застосування властивості ймовірності. Коли словесна умова заплутує, перекладіть її мовою множин над $\Omega$ — арифметика піде слідом.

9.1 Випадкові події та простір елементарних наслідків #

Дослід, наслідок, простір #

Випадковим дослідом (випробуванням) називають процес, окремий результат якого не можна передбачити наперед із певністю, хоча множина всіх можливих результатів відома, а сам дослід можна (принаймні подумки) повторювати за однакових умов. Класичні приклади — підкидання монети, кидання грального кубика, витягання кулі з ящика, витягання лотерейного квитка; так само влаштована й «вибірка одного відбитка з тиражу».

Означення (простір елементарних наслідків). Простором елементарних наслідків $\Omega$ (позначають також $U$ чи $S$) називають множину всіх можливих результатів досліду. Кожен окремий результат $\omega \in \Omega$ — це елементарний наслідок (елементарна подія), який уже не розкладається на дрібніші.

Означення (подія). Подія — це будь-яке твердження про дослід, що стає однозначно істинним або хибним, щойно відомий наслідок; формально це підмножина $A \subseteq \Omega$. Кажуть, що подія $A$ настала, якщо здійснений наслідок $\omega$ належить $A$. Подію, що містить більш ніж один елементарний наслідок, називають складеною.

Отже, згідно зі слайдами, «подія — будь-який факт, який може відбутися чи не відбутися», а мовою множин це просто підмножина простору $\Omega$.

Приклад 9.1 (кубик). Кинемо один симетричний гральний кубик: $\Omega = \{1,2,3,4,5,6\}$, $|\Omega| = 6$. Елементарна подія «випало $4$» — це синглетон $\{4\}$. Складена подія $A =$ «випало парне число» — це $\{2,4,6\}$; подія $B =$ «випало більше за $4$» — це $\{5,6\}$. Тоді $A \cup B = \{2,4,5,6\}$, $A \cap B = \{6\}$, а $\overline{A} = \{1,3,5\}$.

Приклад 9.2 (дві монети). Підкинемо дві розрізнювані монети: $\Omega = \{ГГ, ГР, РГ, РР\}$ (Г — герб, Р — решка), $|\Omega| = 4$. Подія «рівно один герб» — це $\{ГР, РГ\}$. Зауважте, що цей простір є декартовим добутком $\{Г,Р\} \times \{Г,Р\}$ з Лекції 1: складені простори будують із простих саме операцією добутку.

Події — це множини: алгебра подій #

Оскільки подія є підмножиною $\Omega$, усі операції над множинами з Лекції 1 діють без жодних змін — змінюється лише прочитання. Ця таблиця-словник — найкорисніша в усій лекції; тримайте її перед очима.

Тому закони де Моргана з Лекції 1 у мові подій читаються так:

$$\overline{A \cup B} = \overline{A} \cap \overline{B} \quad (\text{«не (}A\text{ або }B\text{)»} = \text{«ані те, ані те»}), \qquad \overline{A \cap B} = \overline{A} \cup \overline{B}.$$

Зауваження (чому «події — це множини» важливо). Це не гарний збіг, який варто відзначити й забути. Кожне перетворення ймовірностей нижче — спершу перетворення множин, і лише потім застосування властивості міри. Тому навичка з Лекції 1 — вправно об’єднувати, перетинати й доповнювати множини — тут працює безпосередньо.

9.2 Типи подій #

Те, як події пов’язані одна з одною, вирішує, яке правило застосовувати далі, тож класифікацію варто сформулювати точно (слайд 2).

Достовірна подія — настає в кожному випробуванні. Це весь простір $\Omega$; згодом доведемо, що її ймовірність дорівнює $1$. Приклад: «кубик показав число з $\{1,\dots,6\}$».

Неможлива подія — не настає ніколи. Це порожня множина $\varnothing$; її ймовірність дорівнює $0$. Приклад: «кубик показав $7$».

Сумісні події — можуть настати в одному випробуванні: $A \cap B \neq \varnothing$. На одному кубику $A =$ «парне» і $B =$ «більше за $3$» мають спільний наслідок $6$, тож вони сумісні.

Несумісні події — не можуть настати разом: $A \cap B = \varnothing$ (диз’юнктні множини з Лекції 1). «Випало $2$» і «випало $5$» не можуть статися одночасно за одного кидка. Різні елементарні наслідки завжди попарно несумісні.

Означення (повна група подій). Події $A_1, \dots, A_n$ утворюють повну групу (є розбиттям простору $\Omega$), якщо вони попарно несумісні ($A_i \cap A_j = \varnothing$ при $i \ne j$) і в об’єднанні дають увесь простір ($A_1 \cup \dots \cup A_n = \Omega$). Тоді в кожному випробуванні настає рівно одна з них.

Протилежні події — окремий випадок повної групи з двох подій: $A$ і $\overline{A}$ несумісні й разом вичерпують $\Omega$. Приклад: «кубик показав $6$» і «кубик не показав $6$». Далі доведемо, що $P(A) + P(\overline{A}) = 1$.

Незалежні події — настання однієї не змінює ймовірності другої (точне означення — у §9.4). Витягли кулю, повернули її назад, витягли знову — це незалежні випробування.

Залежні події — настання однієї змінює ймовірність другої. Витягання двох куль без повернення робить другий добір залежним від першого.

Типова помилка (незалежність — це не несумісність). Ці поняття майже протилежні. Далі ми доведемо, що дві несумісні події з додатними ймовірностями обов’язково залежні: якщо настала $A$, то $B$ вже неможлива — а це максимальна можлива зміна ймовірності $B$. Не ототожнюйте «$A \cap B = \varnothing$» з «$A, B$ незалежні».

9.3 Класичне означення ймовірності #

Коли скінченний дослід має $n$ рівноможливих елементарних наслідків, з яких рівно $m$ сприятливі для події $A$, класичну (лапласову) ймовірність означують як відношення (слайд 3).

Означення (класична ймовірність). Якщо всі елементарні наслідки рівноможливі, то

$$P(A) = \frac{m}{n} = \frac{|A|}{|\Omega|} = \frac{\text{кількість сприятливих наслідків}}{\text{кількість усіх наслідків}}.$$

Гіпотеза «рівноможливості» істотна й ґрунтується на симетрії: у симетричної монети, правильного кубика, добре перетасованої колоди чи ретельно перемішаного ящика немає фізичної причини надавати перевагу якомусь наслідку. Там, де симетрії немає (погнута монета, невідомий технологічний процес), класичне означення не працює, і ми звертаємось до статистичної ймовірності (§9.10).

Приклад 9.3 (кубик). $P(\text{парне}) = \tfrac{3}{6} = \tfrac12$, бо парними є $3$ з $6$ рівноможливих граней.

Приклад 9.4 (карти). Зі стандартної колоди на $52$ карти $P(\text{туз}) = \tfrac{4}{52} = \tfrac{1}{13}$, а $P(\text{фігурна карта}) = \tfrac{12}{52} = \tfrac{3}{13}$ (валети, дами, королі).

Основні властивості ймовірності #

Оскільки завжди $0 \le m \le n$, з означення миттєво випливають три властивості.

Теорема 9.1 (властивості класичної ймовірності). Для будь-якої події $A$:

$$0 \le P(A) \le 1, \qquad P(\Omega) = 1, \qquad P(\varnothing) = 0.$$

Доведення. Кількість сприятливих наслідків задовольняє $0 \le m \le n$, тож $0 \le \tfrac{m}{n} \le 1$. Для достовірної події сприятливі всі наслідки, $m = n$, звідки $P(\Omega) = \tfrac{n}{n} = 1$. Для неможливої події немає жодного сприятливого наслідку, $m = 0$, звідки $P(\varnothing) = \tfrac{0}{n} = 0$. $\blacksquare$

Отже, «ймовірність ніколи не буває вищою за $1$» (слайд 4) — це не окрема аксіома, а простий наслідок означення.

Протилежна подія #

Теорема 9.2 (правило протилежної події). Для будь-якої події $A$

$$P(\overline{A}) = 1 - P(A).$$

Доведення. Події $A$ і $\overline{A}$ несумісні ($A \cap \overline{A} = \varnothing$) і разом вичерпують простір ($A \cup \overline{A} = \Omega$). У класичній моделі сприятливі для $A$ наслідки та сприятливі для $\overline{A}$ наслідки не перетинаються, а разом дають усі $n$ наслідків, тож $m_A + m_{\overline{A}} = n$. Поділивши на $n$, дістаємо $P(A) + P(\overline{A}) = 1$, звідки $P(\overline{A}) = 1 - P(A)$. $\blacksquare$

Це — робочий кінь усіх обчислень «принаймні один», бо доповнення «жодного» майже завжди рахувати легше. Ми скористаємося ним у Задачі 4 (§9.8): «виграш хоча б по одному квитку» простіше знайти через «жодного виграшу».

Приклад 9.5. Кинули два кубики. Замість того, щоб рахувати всі способи дістати принаймні одну шістку, знайдемо ймовірність протилежної події «жодної шістки»: кожен кубик уникає шістки з ймовірністю $\tfrac56$, тож $P(\text{жодної шістки}) = \tfrac56 \cdot \tfrac56 = \tfrac{25}{36}$ (незалежність кубиків — §9.5). Тоді $P(\text{принаймні одна шістка}) = 1 - \tfrac{25}{36} = \tfrac{11}{36} \approx 0{,}306$.

9.4 Умовна ймовірність #

Часто ми дізнаємось часткову інформацію — відомо, що настала пов’язана подія $B$, — і маємо переглянути ймовірність $A$ з огляду на це.

Означення (умовна ймовірність). Для подій $A, B$ з $P(B) > 0$ умовною ймовірністю $A$ за умови $B$ називають

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}.$$

Інтуїція. Звістка «$B$ настала» звужує світ з усього $\Omega$ до самого $B$: наслідки поза $B$ стали неможливими. Ми перемасштабовуємо так, щоб $B$ несла повну ймовірність $1$ (ділимо на $P(B)$), і питаємо, яка частка ймовірності $B$ лежить також у $A$ (чисельник $P(A \cap B)$). У класичній моделі це видно прямо:

$$P(A \mid B) = \frac{|A \cap B| / |\Omega|}{|B| / |\Omega|} = \frac{|A \cap B|}{|B|}$$

— буквально «сприятливі-всередині-$B$ поділити на розмір $B$».

Приклад 9.6 (кубик). Нехай $A =$ «випало $2$», $B =$ «випало парне». Тоді

$$P(A \mid B) = \frac{P(\{2\})}{P(\{2,4,6\})} = \frac{1/6}{3/6} = \frac13.$$

Звістка «число парне» піднімає шанс двійки з $\tfrac16$ до $\tfrac13$, бо лишилося лише три можливі наслідки.

Незалежні події #

Якщо звістка про $B$ нічого не змінює в ймовірності $A$, події називають незалежними. Це формалізує §9.2.

Означення (незалежність). Події $A$ і $B$ незалежні, якщо

$$P(A \cap B) = P(A)\,P(B).$$

Рівносильно (коли $P(B) > 0$) це означає $P(A \mid B) = P(A)$: знання про $B$ не додає інформації про $A$. Для залежних подій, навпаки, $P(A \mid B) \ne P(A)$, і в обчисленнях слід брати саме умовну ймовірність.

Отже, як зазначено на слайді 5, умовна ймовірність по-різному входить у формули для залежних і незалежних подій: у першому випадку $P(A \mid B)$ треба обчислювати з умови задачі, у другому вона просто дорівнює $P(A)$.

Типова помилка (переставляння умови). $P(A \mid B)$ і $P(B \mid A)$ — різні числа; їх ототожнення називають помилкою прокурора. «Імовірність такого збігу ДНК за умови невинності — один на мільйон» — це $P(\text{збіг} \mid \text{невинний})$, а не $P(\text{невинний} \mid \text{збіг})$. Формула Байєса (§9.6) — це якраз машина для перетворення однієї з них на іншу.

9.5 Теорема множення ймовірностей #

Переписавши означення умовної ймовірності без дробу, дістаємо ймовірність того, що настануть обидві події (слайд 6).

Теорема 9.3 (теорема множення). Для подій $A, B$ з додатними ймовірностями

$$P(A \cap B) = P(B)\,P(A \mid B) = P(A)\,P(B \mid A).$$

Якщо події незалежні, то $P(B \mid A) = P(B)$, і формула спрощується до

$$P(A \cap B) = P(A)\,P(B).$$

Доведення. За означенням умовної ймовірності $P(A \mid B) = \dfrac{P(A \cap B)}{P(B)}$; помноживши обидві частини на $P(B)$, дістаємо $P(A \cap B) = P(B)\,P(A \mid B)$. Симетрично, міняючи ролями $A$ і $B$, маємо $P(A \cap B) = P(A)\,P(B \mid A)$. Для незалежних подій $P(B \mid A) = P(B)$ за означенням, звідки $P(A \cap B) = P(A)\,P(B)$. $\blacksquare$

Наочна схема — дерево ймовірностей. Теорему множення зручно читати з дерева: кожна гілка позначена своєю (умовною) ймовірністю, а ймовірність шляху дорівнює добутку ймовірностей уздовж нього. Наприклад, шлях «спершу $A$, потім $B$» має ймовірність $P(A) \cdot P(B \mid A) = P(A \cap B)$.

Приклад 9.7 (незалежні кидки). Кинули кубик двічі. Оскільки кидки незалежні, $P(\text{перша } 6 \text{ і друга } 6) = \tfrac16 \cdot \tfrac16 = \tfrac{1}{36}$, що збігається з прямим переліком $36$ рівноможливих пар.

Загальне правило множення (ланцюгове) #

Для більшого числа подій теорема множення узагальнюється на ланцюгове правило:

$$P(A_1 \cap A_2 \cap \dots \cap A_n) = P(A_1)\,P(A_2 \mid A_1)\,P(A_3 \mid A_1 \cap A_2) \cdots P(A_n \mid A_1 \cap \dots \cap A_{n-1}).$$

Його доводять індукцією за $n$: база $n = 2$ — це Теорема 9.3, а крок отримують, застосувавши теорему множення до пари $\big( A_1 \cap \dots \cap A_{n-1},\ A_n \big)$. Саме ланцюгове правило працює в задачах на послідовне витягання без повернення (Задача 2, §9.8).

9.6 Формула повної ймовірності та формула Байєса #

Нехай перша стадія досліду породжує одну з кількох гіпотез (причин, сценаріїв), а пізніша подія $A$ має відому ймовірність за кожної гіпотези. Формула повної ймовірності складає ці частини в $P(A)$.

Теорема 9.4 (формула повної ймовірності). Нехай гіпотези $H_1, \dots, H_n$ утворюють повну групу (попарно несумісні, $H_1 \cup \dots \cup H_n = \Omega$, кожна $P(H_i) > 0$). Тоді для будь-якої події $A$

$$P(A) = \sum_{i=1}^{n} P(H_i)\,P(A \mid H_i).$$

Доведення. Оскільки гіпотези покривають увесь простір, за дистрибутивністю (Лекція 1)

$$A = A \cap \Omega = A \cap \Big( \bigcup_{i=1}^{n} H_i \Big) = \bigcup_{i=1}^{n} (A \cap H_i).$$

Події $A \cap H_i$ попарно несумісні, бо $(A \cap H_i) \cap (A \cap H_j) \subseteq H_i \cap H_j = \varnothing$ при $i \ne j$. Тому за властивістю адитивності (сума ймовірностей несумісних подій) і теоремою множення

$$P(A) = \sum_{i=1}^{n} P(A \cap H_i) = \sum_{i=1}^{n} P(H_i)\,P(A \mid H_i). \qquad \blacksquare$$

Читають це як зважене середнє: імовірність $A$ — це середнє її умовних імовірностей $P(A \mid H_i)$, кожну з яких зважено на правдоподібність відповідної гіпотези $P(H_i)$.

Формула Байєса #

Формула повної ймовірності працює «вперед»: від причин $H_i$ до наслідку $A$. Формула Байєса (слайд 7) обертає її назад — переглядає ймовірність кожної причини після того, як спостережено наслідок. Це — математика навчання на досвіді.

Теорема 9.5 (формула Байєса). Нехай $H_1, \dots, H_n$ — повна група з $P(H_i) > 0$, а $A$ — подія з $P(A) > 0$. Тоді для кожного $i$

$$P(H_i \mid A) = \frac{P(H_i)\,P(A \mid H_i)}{\displaystyle\sum_{j=1}^{n} P(H_j)\,P(A \mid H_j)} = \frac{P(H_i)\,P(A \mid H_i)}{P(A)}.$$

Доведення. За означенням умовної ймовірності (бо $P(A) > 0$) і теоремою множення в чисельнику

$$P(H_i \mid A) = \frac{P(H_i \cap A)}{P(A)} = \frac{P(H_i)\,P(A \mid H_i)}{P(A)}.$$

Нарешті підставляємо в знаменник формулу повної ймовірності $P(A) = \sum_{j} P(H_j)\,P(A \mid H_j)$. $\blacksquare$

Словник. $P(H_i)$ називають апріорною ймовірністю (переконання до спостереження), $P(A \mid H_i)$ — правдоподібністю (наскільки гіпотеза $i$ передбачає спостережене), а $P(H_i \mid A)$ — апостеріорною ймовірністю (переглянуте переконання). Формула Байєса — це правило перетворення «апріорі $+$ дані» на «апостеріорі».

Приклад 9.8 (яка машина дала брак — повна ймовірність і Байєс). Тираж друкують три машини. Машина I дає $50\%$ накладу, машина II — $30\%$, машина III — $20\%$. Частка дефектних відбитків у них становить відповідно $2\%$, $3\%$ і $5\%$. Гіпотези $H_1, H_2, H_3$ — «відбиток надрукувала машина I / II / III»; подія $A$ — «відбиток дефектний».

Крок 1 — повна ймовірність дефекту.

$$P(A) = 0{,}5 \cdot 0{,}02 + 0{,}3 \cdot 0{,}03 + 0{,}2 \cdot 0{,}05 = 0{,}010 + 0{,}009 + 0{,}010 = 0{,}029.$$

Тобто загалом бракованих близько $2{,}9\%$ тиражу.

Крок 2 — Байєс: навмання взятий дефектний відбиток, яка машина найімовірніше винна?

$$P(H_1 \mid A) = \frac{0{,}010}{0{,}029} \approx 0{,}345, \quad P(H_2 \mid A) = \frac{0{,}009}{0{,}029} \approx 0{,}310, \quad P(H_3 \mid A) = \frac{0{,}010}{0{,}029} \approx 0{,}345.$$

Хоча машина III дає найбільшу частку браку ($5\%$), вона друкує мало ($20\%$), тож за знайденим дефектом машини I і III однаково ймовірні як джерело. Це типовий сюжет діагностики: апостеріорна ймовірність поєднує «схильність до дефекту» з «обсягом роботи».

Зауваження (базова частота). Формула Байєса пояснює, чому навіть дуже «точний» тест може давати оманливі висновки, коли шукана подія рідкісна. Якщо хвороба (чи дефект) трапляється рідко, то нечисленні справжні спрацювання тесту тонуть у морі хибних спрацювань від численної «здорової» більшості. Нехтування базовою частотою — поширена помилка міркування, яку виправляє саме байєсів підхід.

9.7 Теорема додавання ймовірностей #

Теорема множення відповідає на питання «настануть обидві?». Теорема додавання (слайди 8–9) відповідає на питання «настане хоча б одна?».

Несумісні події #

Теорема 9.6 (додавання для несумісних подій). Якщо події $A$ і $B$ несумісні ($A \cap B = \varnothing$), то

$$P(A \cup B) = P(A) + P(B).$$

Загальніше, для попарно несумісних $A_1, \dots, A_n$

$$P(A_1 \cup \dots \cup A_n) = P(A_1) + \dots + P(A_n).$$

Доведення. У класичній моделі сприятливі для $A$ наслідки й сприятливі для $B$ наслідки не перетинаються (бо $A \cap B = \varnothing$), тож кількість сприятливих для $A \cup B$ дорівнює $m_A + m_B$. Поділивши на $n$, дістаємо $P(A \cup B) = \tfrac{m_A + m_B}{n} = \tfrac{m_A}{n} + \tfrac{m_B}{n} = P(A) + P(B)$. Загальний випадок доводять індукцією за $n$. $\blacksquare$

Приклад 9.9. Кинули кубик. Події «випало $1$» і «випало $2$» несумісні, тож $P(\{1\} \cup \{2\}) = \tfrac16 + \tfrac16 = \tfrac13$. Зокрема, ймовірності всіх шести елементарних наслідків у сумі дають $\tfrac66 = 1$ — властивість повної групи.

Сумісні події #

Для сумісних подій пряме додавання $P(A) + P(B)$ двічі враховує спільну частину $A \cap B$, тож її треба відняти.

Теорема 9.7 (додавання для сумісних подій). Для будь-яких подій $A$ і $B$

$$P(A \cup B) = P(A) + P(B) - P(A \cap B).$$

Доведення. Запишемо $A \cup B$ як об’єднання двох несумісних частин: $A \cup B = A \cup (B \setminus A)$, де $A \cap (B \setminus A) = \varnothing$. За Теоремою 9.6

$$P(A \cup B) = P(A) + P(B \setminus A). \tag{1}$$

Далі $B$ теж розпадається на дві несумісні частини: $B = (A \cap B) \cup (B \setminus A)$, звідки

$$P(B) = P(A \cap B) + P(B \setminus A) \ \Longrightarrow\ P(B \setminus A) = P(B) - P(A \cap B). \tag{2}$$

Підставивши (2) у (1), дістаємо $P(A \cup B) = P(A) + P(B) - P(A \cap B)$. $\blacksquare$

Зауваження. Це — ймовірнісний двійник формули включень-виключень для потужностей $|A \cup B| = |A| + |B| - |A \cap B|$ з Лекції 1: поділивши її на $|\Omega|$ у класичній моделі, дістаємо саме Теорему 9.7. Для несумісних подій $A \cap B = \varnothing$, доданок $P(A \cap B) = 0$ зникає, і Теорема 9.7 переходить у Теорему 9.6.

Приклад 9.10 (карти). Витягли одну карту з $52$. Події «король» і «черва» сумісні (є король черв). Тому

$$P(\text{король або черва}) = P(\text{король}) + P(\text{черва}) - P(\text{король черв}) = \tfrac{4}{52} + \tfrac{13}{52} - \tfrac{1}{52} = \tfrac{16}{52} = \tfrac{4}{13}.$$

9.8 Розв’язані задачі (зі слайдів) #

Ці чотири задачі зі слайдів охоплюють усі щойно доведені теореми. Кожен крозв’язок наведено повністю.

Задача 1 — дві білі кулі з двох ящиків (незалежні події) #

Умова (слайд 10). У першому ящику $2$ білі та $10$ червоних куль. У другому — $8$ білих і $4$ червоні. З кожного ящика витягли по одній кулі. Яка ймовірність, що обидві кулі білі?

Розв’язання. Позначимо $A$ — «біла куля з $1$-го ящика», $B$ — «біла куля з $2$-го ящика». Кожен ящик містить $12$ куль, тож за класичним означенням

$$P(A) = \frac{2}{12} = \frac16, \qquad P(B) = \frac{8}{12} = \frac23.$$

Добір із різних ящиків незалежний (вміст другого ящика не залежить від того, що взяли з першого), тому за теоремою множення для незалежних подій

$$P(A \cap B) = P(A)\,P(B) = \frac16 \cdot \frac23 = \frac{2}{18} = \frac{1}{9} \approx 0{,}111.$$

Відповідь: $P(A \cap B) = \tfrac19 \approx 0{,}111$.

Задача 2 — дві білі кулі з одного ящика (залежні події) #

Умова (слайд 11). У ящику $10$ білих і $14$ червоних куль ($24$ разом). З ящика витягли $2$ кулі (без повернення). Яка ймовірність, що обидві білі?

Розв’язання. Позначимо $A$ — «перша куля біла», $B$ — «друга куля біла». Тепер добори залежні: перша витягнута куля не повертається, тож умови для другого добору змінюються. Спершу

$$P(A) = \frac{10}{24}.$$

Якщо перша куля була білою, у ящику лишилося $9$ білих із $23$ куль, тож

$$P(B \mid A) = \frac{9}{23}.$$

За теоремою множення для залежних подій

$$P(A \cap B) = P(A)\,P(B \mid A) = \frac{10}{24} \cdot \frac{9}{23} = \frac{90}{552} = \frac{15}{92} \approx 0{,}163.$$

Відповідь: $P(A \cap B) = \tfrac{15}{92} \approx 0{,}163$.

Зауваження (порівняйте Задачі 1 і 2). Формально обидві задачі про «дві білі кулі», але в Задачі 1 добори незалежні ($P(A \cap B) = P(A)P(B)$), а в Задачі 2 — залежні ($P(A \cap B) = P(A)P(B \mid A)$). Різниця в одному множнику: $P(B)$ проти $P(B \mid A)$. Саме тому, читаючи умову, найперше з’ясовуйте: чи повертають вибраний об’єкт назад?

Задача 3 — деталь першого сорту (умовна ймовірність) #

Умова (слайд 12). Знайти ймовірність того, що навмання взята деталь є першого сорту, якщо відомо, що $4\%$ деталей браковані, а $75\%$ небракованих деталей — першого сорту.

Розв’язання. Позначимо $A$ — «деталь небракована», $B$ — «деталь першого сорту». Бути першого сорту може лише небракована деталь, тож подія «перший сорт» — це насправді $A \cap B$. З умови

$$P(A) = 1 - 0{,}04 = 0{,}96, \qquad P(B \mid A) = 0{,}75.$$

За теоремою множення

$$P(A \cap B) = P(A)\,P(B \mid A) = 0{,}96 \cdot 0{,}75 = 0{,}72.$$

Відповідь: ймовірність узяти деталь першого сорту дорівнює $0{,}72 = 72\%$.

Задача 4 — виграш хоча б по одному квитку (сумісні залежні події) #

Умова (слайд 13). На $100$ лотерейних квитків є $5$ виграшних. Куплено $2$ квитки. Яка ймовірність виграшу хоча б по одному квитку?

Розв’язання. Позначимо $A$ — «виграв перший квиток», $B$ — «виграв другий квиток». Потрібно знайти $P(A \cup B)$. Події сумісні (можуть виграти обидва квитки) і залежні (квитки різні, добір без повернення).

Спосіб 1 — через протилежну подію (найшвидший). Протилежна подія «жодного виграшу» означає, що обидва квитки невиграшні. Невиграшних квитків $95$; за теоремою множення для залежних подій

$$P(\overline{A} \cap \overline{B}) = \frac{95}{100} \cdot \frac{94}{99} = \frac{8930}{9900} \approx 0{,}902.$$

Тоді за правилом протилежної події

$$P(A \cup B) = 1 - P(\overline{A} \cap \overline{B}) \approx 1 - 0{,}902 = 0{,}098.$$

Спосіб 2 — через теорему додавання для сумісних подій (перевірка).

$$P(A) = P(B) = \frac{5}{100} = 0{,}05, \qquad P(A \cap B) = P(A)\,P(B \mid A) = \frac{5}{100} \cdot \frac{4}{99} = \frac{20}{9900} \approx 0{,}00202.$$

$$P(A \cup B) = P(A) + P(B) - P(A \cap B) = 0{,}05 + 0{,}05 - 0{,}00202 \approx 0{,}098.$$

Обидва способи дають однакову відповідь. Відповідь: $P(A \cup B) \approx 0{,}098$.

Зауваження. Тут ми скористалися законом де Моргана: «жодного виграшу» $= \overline{A \cup B} = \overline{A} \cap \overline{B}$ — обидва квитки невиграшні. Це знову підкреслює: перекласти умову мовою множин — половина розв’язання.

9.9 Основи комбінаторики #

Щоб застосувати класичне означення $P(A) = m/n$, треба полічити наслідки. Комбінаторика дає для цього кілька засобів, що спираються на два прості правила.

Правило суми й правило добутку #

Правило суми. Якщо об’єкт можна вибрати одним із $k$ взаємно виключних способів, причому перший спосіб дає $m_1$ варіантів, другий — $m_2$, …, $k$-й — $m_k$, то загальна кількість варіантів дорівнює $m_1 + m_2 + \dots + m_k$. («Або / окремі випадки» — додаємо.)

Правило добутку. Якщо процедура складається з $k$ послідовних кроків, де крок $1$ можна виконати $n_1$ способами, крок $2$ — $n_2$ способами незалежно від першого вибору, …, крок $k$ — $n_k$ способами, то всю процедуру можна виконати

$$n_1 \cdot n_2 \cdots n_k \ \text{способами.}$$

(«І / послідовні кроки» — множимо.)

Обґрунтування правила добутку. Результат процедури — це впорядкований набір $(x_1, \dots, x_k)$, де $x_i$ — один із $n_i$ варіантів кроку $i$. Множина всіх таких наборів — це декартів добуток $X_1 \times \dots \times X_k$ з Лекції 1, а потужність скінченного декартового добутку дорівнює добутку потужностей. $\blacksquare$

Приклад 9.11. Артикул складається з $3$ великих латинських літер, за якими йдуть $2$ цифри. За правилом добутку різних артикулів $26 \cdot 26 \cdot 26 \cdot 10 \cdot 10 = 26^3 \cdot 10^2 = 1\,757\,600$.

Перестановки #

Означення (перестановки). Перестановка $n$ різних об’єктів — це впорядкований набір усіх $n$ об’єктів без повторів (слайд 14). Кількість перестановок дорівнює

$$P_n = n! = 1 \cdot 2 \cdot 3 \cdots n, \qquad \text{за домовленістю } 0! = 1.$$

Доведення. Заповнюємо $n$ позицій зліва направо. Першу позицію можна зайняти $n$ способами, другу — $n - 1$ (один об’єкт уже використано), …, останню — $1$ способом. За правилом добутку кількість способів дорівнює $n(n-1) \cdots 1 = n!$. $\blacksquare$

Приклад 9.12. Кількість способів розставити $5$ книжок на полиці: $P_5 = 5! = 120$.

Розміщення #

Означення (розміщення). Розміщення з $n$ по $k$ — це впорядкована вибірка $k$ різних об’єктів з $n$ (порядок важливий, без повторів; слайд 15). Кількість розміщень

$$A_n^{k} = \frac{n!}{(n-k)!} = \underbrace{n(n-1) \cdots (n-k+1)}_{k \text{ множників}}.$$

Доведення. Заповнюємо $k$ упорядкованих позицій із $n$ об’єктів: $n$ варіантів для першої позиції, $n - 1$ для другої, …, $n - k + 1$ для $k$-ї. Добуток цих $k$ множників дорівнює $\dfrac{n!}{(n-k)!}$ після скорочення «хвоста» $(n-k)(n-k-1) \cdots 1$. $\blacksquare$

Приклад 9.13. Скількома способами з $10$ працівників можна призначити керівника проєкту й окремо його заступника (дві різні посади)? Порядок важливий, тож це розміщення: $A_{10}^{2} = 10 \cdot 9 = 90$.

Сполучення #

Означення (сполучення). Сполучення з $n$ по $k$ — це вибірка $k$ об’єктів з $n$, у якій порядок не має значення (без повторів; слайд 16), тобто $k$-елементна підмножина. Кількість сполучень

$$C_n^{k} = \frac{n!}{k!\,(n-k)!}, \qquad 0 \le k \le n.$$

Доведення. Полічимо впорядковані $k$-вибірки двома способами. З одного боку, їх $A_n^{k} = \dfrac{n!}{(n-k)!}$. З іншого боку, щоб побудувати впорядковану вибірку, можна спершу обрати підмножину з $k$ об’єктів (нехай таких підмножин $C_n^{k}$), а потім упорядкувати її $k!$ способами (перестановки). За правилом добутку $A_n^{k} = C_n^{k} \cdot k!$, звідки

$$C_n^{k} = \frac{A_n^{k}}{k!} = \frac{n!}{k!\,(n-k)!}. \qquad \blacksquare$$

Приклад 9.14. Комісію з $3$ осіб обирають із $10$. Порядок неважливий, тож це сполучення:

$$C_{10}^{3} = \frac{10!}{3!\,7!} = \frac{10 \cdot 9 \cdot 8}{3 \cdot 2 \cdot 1} = 120.$$

Порівняйте з упорядкованим добором $A_{10}^{3} = 720$: поділ на $3! = 6$ прибирає порядок.

Типова помилка (розміщення чи сполучення?). Єдине питання, що обирає засіб: чи дає перестановка вибраних об’єктів інший результат? Так $\Rightarrow$ розміщення $A_n^{k}$; ні $\Rightarrow$ сполучення $C_n^{k}$. «Керівник і заступник» — це впорядкована пара (розміщення); «комісія з трьох» — неупорядкована (сполучення).

Трикутник Паскаля та біном Ньютона #

Числа $C_n^{k}$ мають дві властивості, якими постійно користуються.

• Симетрія: $C_n^{k} = C_n^{\,n-k}$ (обрати $k$ об’єктів «усередину» — те саме, що обрати $n - k$ об’єктів «назовні»).
• Тотожність Паскаля: $C_n^{k} = C_{n-1}^{\,k-1} + C_{n-1}^{k}$.

Твердження 9.8 (тотожність Паскаля). $C_n^{k} = C_{n-1}^{\,k-1} + C_{n-1}^{k}$.

Доведення (комбінаторне). Зафіксуємо один конкретний об’єкт $x$ серед $n$. Кожна $k$-підмножина або містить $x$, або ні. Ті, що містять $x$, доукомплектовують решту $k - 1$ членів з інших $n - 1$ об’єктів — таких $C_{n-1}^{\,k-1}$. Ті, що не містять $x$, обирають усі $k$ членів з інших $n - 1$ об’єктів — таких $C_{n-1}^{k}$. Ці випадки не перетинаються й вичерпують усі підмножини, тож їхні кількості додаються. $\blacksquare$

Ця тотожність породжує трикутник Паскаля: кожне число дорівнює сумі двох чисел над ним. У рядку з номером $n$ стоять коефіцієнти $C_n^{0}, C_n^{1}, \dots, C_n^{n}$.

Ті самі числа $C_n^{k}$ є коефіцієнтами розкладу степеня двочлена — бінома Ньютона:

$$(a + b)^{n} = \sum_{k=0}^{n} C_n^{k}\, a^{k} b^{\,n-k} = C_n^{0} b^{n} + C_n^{1} a b^{n-1} + \dots + C_n^{n} a^{n}.$$

Зокрема, при $a = b = 1$ маємо $\sum_{k=0}^{n} C_n^{k} = 2^{n}$ — це знову кількість усіх підмножин $n$-елементної множини (Теорема 1.17 з Лекції 1). А підставивши $a = p$, $b = 1 - p$, дістаємо, що ваги біноміального розподілу $C_n^{k} p^{k}(1-p)^{n-k}$ у сумі дають $1$ (це знадобиться в §9.11).

9.10 Статистична (частотна) ймовірність і закон великих чисел #

Класичне означення $P(A) = m/n$ працює лише за рівноможливих наслідків. Коли симетрії немає (погнута монета, невідома частка браку в новому технологічному процесі), ймовірність оцінюють емпірично (слайд 17).

Означення (відносна частота). Якщо в $N$ незалежних випробуваннях подія $A$ настала $N_A$ разів, то її відносною частотою називають

$$W(A) = \frac{N_A}{N}.$$

Відносна частота — величина дослідна: її обчислюють після серії випробувань, і за різних серій вона трохи різна. Проте спостереження показує, що зі зростанням $N$ частота стабілізується навколо певного числа.

Означення (статистична ймовірність). Статистичною ймовірністю події $A$ називають число, навколо якого стабілізується відносна частота $W(A)$ при необмеженому зростанні кількості випробувань $N$.

Закон великих чисел (Я. Бернуллі, спрощене формулювання). При збільшенні числа незалежних випробувань $N$ відносна частота $W(A) = N_A / N$ як завгодно мало відрізняється (зі скільки завгодно високою певністю) від імовірності $P(A)$:

$$W(A) = \frac{N_A}{N} \xrightarrow[\;N \to \infty\;]{} P(A).$$

Саме закон великих чисел робить осмисленими вислови «ймовірність дощу», «ймовірність відмови жорсткого диска протягом року» чи «частка браку на друкарській лінії» — там, де жодної симетрії немає. Для правильних (симетричних) механізмів статистична й класична ймовірності збігаються: полічена частка парних граней кубика в довгій серії кидків наближається до класичного $\tfrac12$.

Приклад 9.15 (контроль тиражу). Друкарня перевірила $N = 5000$ відбитків нового тиражу й виявила $N_A = 65$ дефектних. Статистична оцінка ймовірності дефекту —

$$W(A) = \frac{65}{5000} = 0{,}013 = 1{,}3\%.$$

Оскільки процес новий і симетрії тут немає, класичне означення незастосовне, а частота $0{,}013$ — найкраща доступна оцінка ймовірності дефекту, яку далі використовують для планування контролю.

9.11 Випадкові величини: сподівання, дисперсія, розподіли #

Часто нас цікавить не який наслідок настав, а число, з ним пов’язане, — кількість дефектних відбитків у вибірці, сума очок на двох кубиках, час роботи механізму до збою.

Означення (випадкова величина). Випадкова величина — це правило $X$, що кожному елементарному наслідку $\omega \in \Omega$ зіставляє число $X(\omega)$. Якщо множина її значень скінченна (чи зліченна), величину називають дискретною; якщо величина набуває всіх значень із проміжку — неперервною.

Дискретну величину задають законом розподілу — таблицею її значень $x_i$ та відповідних імовірностей $p_i = P(X = x_i)$, причому $p_i \ge 0$ і $\sum_i p_i = 1$.

Математичне сподівання #

Означення (математичне сподівання). Математичним сподіванням дискретної випадкової величини $X$ називають зважене за ймовірностями середнє її значень (слайд 18):

$$M(X) = \sum_{i} x_i\, p_i = x_1 p_1 + x_2 p_2 + \dots + x_k p_k.$$

(Для неперервної величини суму заступає інтеграл $M(X) = \int x\, f(x)\, dx$, де $f$ — щільність; це поза межами дискретного курсу.)

Сподівання — це «довгострокове середнє» значення $X$, до якого прямує середнє арифметичне результатів при багаторазовому повторенні досліду (це гарантує закон великих чисел). Основні властивості (наводимо без доведення):

$$M(C) = C, \qquad M(CX) = C\,M(X), \qquad M(X + Y) = M(X) + M(Y),$$

причому остання (адитивність) правдива незалежно від того, залежні $X$ і $Y$ чи ні.

Приклад 9.16 (кубик). Для числа очок на одному кубику $M(X) = \sum_{k=1}^{6} k \cdot \tfrac16 = \tfrac{1+2+3+4+5+6}{6} = \tfrac{21}{6} = 3{,}5$. Саме число $3{,}5$ жодного разу не випадає — сподівання є середнім, а не прогнозом окремого кидка.

Дисперсія та середньоквадратичне відхилення #

Саме лише сподівання не описує розкид значень. Його вимірюють дисперсією (слайд 19).

Означення (дисперсія, середньоквадратичне відхилення). Дисперсія випадкової величини $X$ — це сподіване значення квадрата відхилення від середнього:

$$D(X) = M\big( (X - M(X))^2 \big) = \sum_i \big( x_i - M(X) \big)^2 p_i.$$

На практиці зручніша рівносильна формула

$$D(X) = M(X^2) - \big( M(X) \big)^2.$$

Середньоквадратичним відхиленням називають $\sigma(X) = \sqrt{D(X)}$; воно має ту саму розмірність, що й сама величина $X$.

Корисні властивості: $D(C) = 0$, $D(CX) = C^2 D(X)$, а для незалежних $X$ і $Y$ — $D(X + Y) = D(X) + D(Y)$.

Приклад 9.17 (число дефектів — повний розрахунок $M$, $D$, $\sigma$). Нехай $X$ — число дефектних відбитків у невеликій пачці, із законом розподілу

Спершу сподівання:

$$M(X) = 0 \cdot 0{,}5 + 1 \cdot 0{,}3 + 2 \cdot 0{,}15 + 3 \cdot 0{,}05 = 0{,}3 + 0{,}3 + 0{,}15 = 0{,}75.$$

Далі $M(X^2) = 0^2 \cdot 0{,}5 + 1^2 \cdot 0{,}3 + 2^2 \cdot 0{,}15 + 3^2 \cdot 0{,}05 = 0{,}3 + 0{,}6 + 0{,}45 = 1{,}35$, звідки

$$D(X) = M(X^2) - (M(X))^2 = 1{,}35 - 0{,}75^2 = 1{,}35 - 0{,}5625 = 0{,}7875, \qquad \sigma = \sqrt{0{,}7875} \approx 0{,}887.$$

Отже, у пачці в середньому $0{,}75$ дефектного відбитка з розкидом близько $\pm 0{,}89$.

Види розподілів (оглядово) #

Кілька законів розподілу трапляються так часто, що мають власні назви (слайди 20–21).

• Рівномірний дискретний. Усі $n$ значень рівноможливі, $p_i = \tfrac1n$; це модель правильного кубика чи монети. Тут $M(X) = \tfrac1n \sum_i x_i$.
• Біноміальний. Кількість «успіхів» $X$ у $n$ незалежних однакових випробуваннях, де успіх у кожному має ймовірність $p$:

  $$P(X = k) = C_n^{k}\, p^{k} (1-p)^{\,n-k}, \qquad M(X) = np, \qquad D(X) = np(1-p).$$

  Це основна модель вибіркового контролю: $X$ — число дефектних у вибірці обсягу $n$ за частки браку $p$.
• Розподіл Пуассона. Наближення біноміального при великому $n$ і малому $p$ (рідкісні події): $P(X = k) = \dfrac{\lambda^{k} e^{-\lambda}}{k!}$, де $\lambda = np$; тут $M(X) = D(X) = \lambda$. Моделює, наприклад, число рідкісних дефектів на великому аркуші.
• Нормальний (Гаусса). Неперервний розподіл із симетричною «дзвоноподібною» кривою; до нього прямує сума багатьох дрібних незалежних впливів (центральна гранична теорема). Ним описують сумарні колірні відхилення, коливання щільності фарби тощо. Детально — у подальших курсах.

Приклад 9.18 (біноміальна модель вибірки). Частка браку на лінії $p = 0{,}25$; беруть вибірку з $n = 8$ копій. Число дефектних $X$ має біноміальний розподіл (діаграма вище). Сподіване число дефектних $M(X) = np = 8 \cdot 0{,}25 = 2$, дисперсія $D(X) = np(1-p) = 8 \cdot 0{,}25 \cdot 0{,}75 = 1{,}5$, а $\sigma = \sqrt{1{,}5} \approx 1{,}22$. Наприклад, ймовірність, що у вибірці не буде дефектних, $P(X = 0) = C_8^0 (0{,}25)^0 (0{,}75)^8 = 0{,}75^8 \approx 0{,}100$.

Застосування у видавництві та поліграфії #

Ймовірнісні моделі — це щоденний інструмент контролю якості в поліграфії.

• Вибірковий приймальний контроль тиражу. Перевірити весь тираж дорого, тому з нього беруть вибірку обсягу $n$ і рахують дефектні відбитки. Число дефектних у вибірці — біноміальна (при доборі без повернення — гіпергеометрична) випадкова величина; за нею ухвалюють рішення «прийняти / відхилити партію». Саме на цьому ґрунтуються стандарти приймального контролю за рівнем якості AQL (напр., ISO 2859-1).
• Ймовірність бездефектного відбитка та надійність обладнання. Якщо ймовірність дефекту одного відбитка дорівнює $q$, то ймовірність, що вся сторінка з $r$ незалежних елементів вийде бездефектною, — $(1-q)^{r}$; ймовірність «хоча б одного дефекту» зручно рахувати через протилежну подію (§9.3). Так само оцінюють імовірність збою друкарської машини за зміну.
• Діагностика джерела дефекту (Байєс). Виявивши брак, за формулою Байєса визначають, яка машина, секція чи фарбова група найімовірніше його спричинила (Приклад 9.8), — ймовірнісний аналог «пошуку винуватця».
• Колірна відповідність. Відхилення кольору $\Delta E$ від еталона — випадкова величина; контроль полягає в оцінці ймовірності $P(\Delta E > \text{допуск})$ та сподіваного відхилення $M(\Delta E)$ і його розкиду $\sigma$.
• Комбінаторика макета. Кількість варіантів спуску полос, розкладки кольорів чи компонування обкладинки — це задачі на перестановки, розміщення й сполучення (§9.9); вони визначають, скільки макетів доведеться перебрати чи згенерувати.
• Розпізнавання й фільтрування тексту. Байєсів класифікатор (наївний Байєс) — пряме застосування формули Байєса — лежить в основі OCR і фільтрів спаму, потрібних у редакційно-видавничих системах.

Підсумок #

• Випадковий дослід має простір елементарних наслідків $\Omega$; подія — це підмножина $A \subseteq \Omega$. Події є множинами, тож алгебра об’єднання / перетину / доповнення й закони де Моргана з Лекції 1 переносяться дослівно.
• Типи подій: достовірна ($\Omega$), неможлива ($\varnothing$), сумісні проти несумісних ($A \cap B = \varnothing$), протилежні $A, \overline{A}$, повна група (розбиття), незалежні проти залежних.
• Класична ймовірність $P(A) = \tfrac{m}{n} = \tfrac{|A|}{|\Omega|}$ для рівноможливих наслідків зводить задачу до підрахунку; звідси $0 \le P(A) \le 1$, $P(\Omega) = 1$, $P(\varnothing) = 0$ та правило протилежної події $P(\overline{A}) = 1 - P(A)$.
• Умовна ймовірність $P(A \mid B) = \dfrac{P(A \cap B)}{P(B)}$ звужує простір до $B$; для незалежних подій $P(A \mid B) = P(A)$.
• Теорема множення: $P(A \cap B) = P(A)\,P(B \mid A)$ (залежні) $= P(A)\,P(B)$ (незалежні); узагальнення — ланцюгове правило.
• Формула повної ймовірності $P(A) = \sum_i P(H_i)\,P(A \mid H_i)$ (доведена через розбиття) та формула Байєса $P(H_i \mid A) = \dfrac{P(H_i)\,P(A \mid H_i)}{\sum_j P(H_j)\,P(A \mid H_j)}$ перетворюють апріорі й правдоподібності на апостеріорі.
• Теорема додавання: $P(A \cup B) = P(A) + P(B)$ (несумісні) і $P(A \cup B) = P(A) + P(B) - P(A \cap B)$ (сумісні) — ймовірнісні включення-виключення.
• Комбінаторика: правила суми й добутку $\Rightarrow$ перестановки $P_n = n!$, розміщення $A_n^{k} = \dfrac{n!}{(n-k)!}$, сполучення $C_n^{k} = \dfrac{n!}{k!(n-k)!}$ (звідки $A_n^{k} = C_n^{k}\, k!$); тотожність Паскаля $C_n^{k} = C_{n-1}^{k-1} + C_{n-1}^{k}$ і біном Ньютона $(a+b)^n = \sum_k C_n^{k} a^k b^{n-k}$.
• Статистична ймовірність $W(A) = \tfrac{N_A}{N}$ оцінює $P(A)$ там, де симетрії немає; закон великих чисел гарантує $W(A) \to P(A)$.
• Випадкові величини: закон розподілу; математичне сподівання $M(X) = \sum_i x_i p_i$, дисперсія $D(X) = M(X^2) - (M(X))^2$ і середньоквадратичне відхилення $\sigma = \sqrt{D(X)}$; типові розподіли — рівномірний, біноміальний, Пуассона, нормальний.