Парадокси в математичній статистиці

Вступ

Спочатку статистика була “державною арифметикою”. (Саме слово “статистика” походить від латинського слова status – держава.) З найдавніших часів статистику використовували для того, щоб інформувати правителів держав про величину податку, який можна зібрати з підданих, або про кількість солдат, на яку можна розраховувати у воєнний час. В Китаї облік населення проводився більше чотирьох тисяч років назад. За Біблією, Мойсей також підраховував всіх чоловіків свого народу старше 20 років. Їх виявилося 603 550 душ. Четверта книга Мойсея (Числа) містить багато інших результатів підрахунку людей, але вони здаються перебільшеними, так само як і дані Афінея про кількість рабів в грецьких полісах за часів Римської імперії. Вельми сумнівно, щоб в Афінах було 400 000 рабів, а в Коринфі – 460 000. Неясно, як отримані ці дані, але точно відомо, що Рим був першим містом з населенням більше мільйона жителей. Перший англійський статистичний документ “Книга судного дня”, написаний в ХІ віці, також виник в зв¢язку з потребами армії і податкообкладення. З цієї причини при перепису населення жінки не враховувалися аж до недавніх часів. Статистика стала наукою аж в ХVІІ віці. Її основоположниками є Джон Граунт (1620 – 1674) і сер Вільям Петті (1623 – 1687). В роботі Петті “Політична арифметика” Англія, Голландія і Франція порівнювалися за їх населенням, торгівлею і судоходством. З розвитком капіталізму статистичними даними стали цікавитися не тільки державні діячі, а й капіталісти. Для обробки даних використовувалися все більш складні математичні методи, при цьому збільшувалася й вигода від їх застосування, наприклад, в страхуванні. Компанія Ллойда, нині одна з найкрупніших страхових компаній у світі, була заснована в ХVІІ віці і займала в той час лише кав¢ярню на Тауер-стріт в Лондоні. Успіх в страховій справі визначається точністю даних і належними математичними висновками. Поступова розвиваючись, математична статистика перетворилася в самостійну область математики. Важко не писати сатиричні твори як мінімум в дусі Ювенала, але ще важче не знайти парадоксів в математичній статистиці. За одним жартом, в 1901 р. 33% студенток Гарвардського університету вийшли заміж за своїх викладачів. Насправді ж в той час в університеті навчалися тільки 3 дівчини, одна з яких вийшла заміж зза свого професора. Так що твердження правильне, але вводить в оману. Далі, припустимо, що в деякій країні в університети прийнято на 20% хлопців більше, ніж дівчат. Якщо всі абітурієнти однаково добре підготовлені і кількість абітурієнтів-хлопців співпадає з кількістю абітурієнтів-дівчат, то очевидним є висновок, що приймальні комісії віддають перевагу хлопцям. Але, оскільки більше дівчат, ніж хлопців, бажають вчитися на популярніших факультетах, де доля неприйнятих більша, може статися, що не дивлячись на пропорційний прийом, в університеті буде вчитися більше хлопців, ніж дівчат. Аналіз текстів, проведений в 1913 р. Л. Ейресом, також вводить в оману або, як мінімум, його можна невірно трактувати. Ейрес стверджував, що 50 найбільш часто вживаних слів складають приблизно 50% звичайного тексту, 300 найбільш часто вживаних слів складають 75% тексту, а 1000 найбільш часто вживаних слів складають 90%. Не дивлячись на цей факт, не можна сказати, що коли нам відомі 50 чи 100 слів якоїсь мови, то ми вже наполовину її розуміємо, оскільки знання деяких слів, навіть якщо вони часто вживаються, навряд чи допоможе в розумінні будь-якого тексту. Не дивно, що багато людей вважають, що існує три види неправди: невинний обман, нахабна брехня і статистика.

1.Парадокс Байєса

А) Історія парадоксу

Томас Байєс, один з видатних засновників математичної статистики, був учнем де Муавра. Його теорема, доведена десь біля 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й зараз. Більше того, теоретична прірва між прихильниками байєсівського і антибайєсівського підходів продовжує поглиблюватися. (Навести теорему Байєса.) Сама по собі теорема незаперечна, але в більшості її застосувань апріорні ймовірності невідомі. В такому випадку, як правило, вважають, що оскільки попередня інформація про причини гіпотез відсутня, їх ймовірності слід вважати однаковими, але такий підхід, взагалі кажучи, неприйнятний. Байєс використовував свою теорему у випадках, коли апріорні ймовірності мали неперервні розподіли, зокрема, рівномірний на інтервалі (0,1). За теоремою Байеса, якщо в n + m спостереженнях подія, що має невідому ймовірність p, відбулася n раз, то ймовірність того, що p належить підінтервалу (a, b) , дорівнює:

Байєс керувався тим, що коли у нас немає ніякої попередньої інформації про p, то апріорна ймовірність цього параметру рівномірна на всьому інтервалі (0, 1). Наприклад, якщо n = 1, m = 0, a = ½ і  b = 1, то за наведеною вище формулою, шанси того, що шукана ймовірність p більша ½, дорівнюють ¾. Досі багато спеціалістів не довіряють цьому результату, оскільки сумніваються в рівномірності апріорного розподілу.

            Незнання апріорного розподілу виявилося настільки руйнівним для обгрунтованості статистичних висновків з теореми Байєса, що ця теорема була майже виключена з статистичних досліджень. Але в другій третині ХХ сторіччя байєсівський підхід знову отримав деякий розвиток завдяки важливій ролі, яку він відіграє при пошуку допустимих і мінімаксних оцінок. Все більше поширюваляся думка, що послідовне застосування формули Байєса (коли після кожного спостереження апостеріорні ймовірності перераховуються і на наступному кроці вони використовуються як апріорні ймовірності) знижує роль початкового апріорного розподілу, оскільки після багатократного перерахування початковий розподіл навряд чи впливає на заключний апостеріорний розподіл.

Б) Парадокс

Нехай можливими значеннями випадкової величини X є цілі числа. Припустимо, що розподіл X залежить від параметру p, що належить відрізку (a, b). Якщо незалежні спостереження X₁, X₂, X₃,… отримані з невідомого розподілу X, то можна чекати, що послідовність апостеріорних розподілів (підрахованих за початковим рівномірним апріорним розподілом) все більше і більше концентрується коло істинного значення p. Парадоксально, що це не завжди вірно. Наприклад, істинним значенням p може бути ¼, а послідовність апостеріорних розподілів при збільшенні кількості спостережень все більше концентрується коло ¾.

В) Пояснення парадоксу

Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде приймати найбільше значення в околі істинного значення, тобто близько до ¼. Але це міркування не суперечить тому, що функції апостеріорних щільностей можуть все більше зосереджуватися коло ¾. Треба тільки, щоб функція щільності, яка має пік в ¼, потім швидко спадала, але залишалася високою коло ¾. Відповідний приклад навів Д. Фрідман (1963). Нехай апріорний розподіл p рівномірний на відрізку [1/8, 7/8]. Визначимо тепер функцію f(p) на цьому відрізку так, щоб її значеннями були натуральні числа, за виключенням точок p = ¼ і p = ¾, де f(1/4) = f(3/4) = ¥. Нехай розподіл випадкової величини X (який залежить від p) має вигляд P{X = i} = c(p)(1 – p)pⁱ. Тоді при належному виборі f(p) вказана вище парадоксальна ситуація виконується.

2. Парадокси оцінок математичного сподівання

А) Історія парадоксу

Урівнювання протилежних значень і відхилень в одному “середньому”, тобто підсумовування спостережень в одне значення має давні традиції. Есхіл писав в трагедії “Евменіди”: “Богу завжди середина любі, і міру шанує божество”, а послідовники китайського філософа Конфуція кажуть, що “в нерухомості середнього є найвеличніша досконалість”. Математично поняття “середнього” можна інтерпретувати багатьма способами (арифметичного середнього, геомктричного середнього, медіани і т. д.). Але в статистичних застосуваннях протягом тривалого часу вкрай важливу роль грло арифметичне середнє. Вже в перших видатних результатах в теорії ймовірностей і математичній статистиці вивчалося арифметичне середнє статистичної вибірки і росло розуміння важливості його використання.

Дати постановку задачі про оцінювання параметру множини ймовірнісних розподілів за незалежними спостереженнями. Сказати, що коли цей параметр є математичним сподіванням, то оцінка арифметичного середнього є незміщеною і слушною. Разом з тим таких оцінок може бути багато, і перевагу серед них доцільно віддати оцінкам з меншою дисперсією. Парадокси показують, що (за винятком випадку нормальних розподілів) арифметичне середнє вибірки не є незміщеною оцінкою математичного сподівання з найменшою дисперсією. Більш того, якщо ми не наполягаємо на незміщеності, то навіть у випадку многовимірних нормальних розподілів не завжди корисно оцінювати математичне сподівання вибірковим середнім.

3. Парадокс методу найменших квадратів

А) Історія парадоксу

            Із-за неминучих похибок вимірювань часто здається, що теоретичні формули і ємпіричні дані протирічать одне одному. На початку минулого сторіччя Лежандр, Гаус і Лаплас запропонували ефективний метод, який дозволяє зменшити вплив помилок вимірювань. (Наприклад, Лежандр розробив і застосував його в 1805 р. для знаходження орбіт комет.) Основоположниками цієї теорії були Галілей (1632), Ламберт (1760), Ейлер (1778) та інші. Новий прийом, названий методом найменших квадратів, детально досліджений Гаусом в його роботі “Теорія руху небесних тіл” (1809). Саме Гаус вказав також на ймовірнісний характер цього методу. (Хоча Лежандр звинувачував Гауса в плагіаті, він не міг пред¢явити для цього достатні підстави. Гаус претендував на пріоритет лише в використанні методу, а не в його публікації.) Лаплас опублікував свій основний труд з теорії ймовірностей в 1812 р., присвятивши його “великому Наполеону”. Протягом всієї четвертої глави його книги йде виклад числення похибок. З того часу метод найменших квадратів розвинувся в новий розділ математики. Можливості методу часом переоцінюють і часто використовують тоді, коли інші методи підходили б більше. На цю проблему звертав увагу ще Коші (1853) під час “дебатів” з Б’єнеме.

В) Пояснення парадоксу

            Якщо похибки вимірювань розподілені нормально, тобто їх щільність роподілу має вигляд , то вказаного вище протиріччя не буде, оскільки максимізує.

В методі найменших квадратів Гаус виходив з припущення про нормальнтй розподіл похибок, що зустрічаєтьсч на практиці найчастіше. Але коли відомо, що розподіл похибок відмінний від нормального, використання методу найменших квадратів не завжди вигідне. У вказаному вище парадоксі застосування оцінки  більш виправдане.

            Парадокс можна сформулювати так: оцінка методу найменших квадратів не завжди співпадає з оцінкою методу максимальної правдоподібності. (Насправді можна показати, що оцінки параметру зсува за двома вказанами методами співпадають тільки для нормальних розподілів.)