Що насправді перевіряє однофакторний ANOVA
Однофакторний ANOVA відповідає на одне питання: чи можуть усі ці групи мати спільне середнє генеральної сукупності? В e-Handbook від NIST/SEMATECH нульову гіпотезу сформульовано так: між середніми генеральної сукупності для різних рівнів фактора A немає різниці, а за альтернативною середні не однакові (NIST, розділ 7.4.3). Зверніть увагу на те, чого там немає: тест не каже, яке саме середнє інше і наскільки.
Назва трохи вводить в оману: середні порівнюють, аналізуючи дисперсії. Загальну мінливість у даних поділено на дві частини: ту, що пояснюється належністю до групи, і ту, що лишається всередині груп. Коли перша велика порівняно з другою, належність до групи справді щось вирішує. Ось і вся ідея, а все в таблиці вище — це бухгалтерія навколо неї.
Чому б не зробити кілька t-тестів
Бо кожен доданий тест — це ще один лотерейний квиток на хибнопозитивний результат. Три групи дають три попарні порівняння. Якщо кожне виконано при α = 0,05 і припустити, що тести незалежні, імовірність хоча б однієї хибної тривоги становить 1 − 0,95³, тобто близько 14%. Десять груп дають 45 пар, і той самий розрахунок 1 − 0,95⁴⁵ виходить за 90%. Пари ділять між собою дані, тож реальні цифри трохи інші, але напрям очевидний.
ANOVA обходить проблему, ставлячи одне питання один раз. Лише якщо цей загальний тест значущий, є сенс розбиратися з окремими парами, причому процедурою, яка тримає загальну помилку під контролем.
Як складається F-статистика
Для k груп і N спостережень загалом калькулятор обчислює три суми квадратів і відповідні ступені свободи:
- SSB = Σ nᵢ(x̄ᵢ − x̄)², df₁ = k − 1
- SSW = ΣΣ (x − x̄ᵢ)², df₂ = N − k
- SST = SSB + SSW, ступенів свободи N − 1
- MSB = SSB / df₁, MSW = SSW / df₂, F = MSB / MSW
MSW — це середнє внутрішньогрупових дисперсій, тобто чистий розкид. MSB показує, як далеко середні груп лежать від загального середнього, з урахуванням розміру груп. Якщо нульова гіпотеза правильна, обидві величини оцінюють одне й те саме, і F опиняється поблизу 1. P-значення — це площа верхнього хвоста F-розподілу з (df₁, df₂) ступенями свободи, того самого, на якому тримається таблиця F-розподілу.
Розібраний приклад від початку до кінця
Калькулятор відкривається з трьома групами по десять балів, тож k = 3 і N = 30. Ось що виходить, по порядку.
Середні груп: 83,4, 89,3 і 84,7. Загальне середнє — 85,8.
Кожна група вносить у SSB величину n(x̄ᵢ − x̄)²: 57,6, 122,5 і 12,1. Разом SSB = 192,2.
Усередині груп суми квадратів відхилень дорівнюють 640,4, 208,1 і 252,1. Отже, SSW = 1100,6, а SST = 1292,8.
Ступені свободи — 2 і 27. MSB = 192,2 / 2 = 96,1, а MSW = 1100,6 / 27 = 40,763.
Тоді F = 96,1 / 40,763 = 2,3575, p = 0,1138. Критичне значення F(2, 27) на рівні 5% — 3,354, і 2,3575 до нього не дотягує.
Чесний висновок такий: ці дані не показують надійної різниці між трьома середніми. Друга група в середньому майже на шість балів вища за першу, і це схоже на щось, але лише перша група розкидана від 71 до 98, а десяти спостережень на групу замало, щоб відрізнити шестибальну різницю від такого розкиду. Ета-квадрат становить 0,1487 — великий ефект за звичними орієнтирами, проте не значущий. Обидва твердження правдиві одночасно, і саме тому розмір ефекту варто наводити поруч із p-значенням, а не замість нього.
Допущення, які варто перевірити
- Незалежні спостереження. Кожне значення має належати окремому обʼєкту, а значення однієї групи не повинні впливати на значення іншої. Для повторних вимірювань на тих самих людях потрібен план із повторними вимірюваннями, який цей інструмент не охоплює.
- Приблизна нормальність у кожній групі. У довіднику NIST сказано, що ANOVA застосовують за припущення, що вибірки взято з нормально розподілених сукупностей. З кількома значеннями в групі це важко перевірити, тож спирайтеся на графік і розуміння того, як поводиться вимірювана величина.
- Схожий розкид у групах. Класичний F-тест обʼєднує внутрішньогрупові дисперсії. Погляньте на стандартні відхилення в таблиці груп: якщо одне в кілька разів більше за інше, а розміри груп різні, до граничного p-значення ставтеся з підозрою.
Ета-квадрат: наскільки велика різниця
Ета-квадрат — це SSB / SST, частка загальної мінливості, що припадає на відмінності між групами. Він змінюється від 0 до 1 і його легко пояснити людині без статистичної освіти: 0,15 означає, що близько 15% розкиду балів повʼязано з належністю до групи. Поширені орієнтири — 0,01 малий, 0,06 середній, 0,14 великий — належать Коену. Сприймайте їх як грубу лінійку, а не вирок, бо те, що вважається суттєвим ефектом, залежить від галузі. На малих вибірках ета-квадрат трохи завищений, адже описує вибірку, а не генеральну сукупність.
Після значущого результату
Мале p-значення каже, що якесь середнє інше, і не більше. Зазвичай далі виконують post hoc тест, наприклад Тьюкі (HSD), який порівнює всі пари груп і водночас контролює загальну помилку. Якщо можна, плануйте його до того, як побачите дані. Коли цікавить лише один конкретний контраст, скажімо лікування проти контролю, плановане порівняння і простіше, і потужніше. Щоб оцінити, чи має F-тест шанси помітити потрібну вам різницю, почніть із калькулятора аналізу потужності.
Поширені запитання
Що перевіряє однофакторний ANOVA?
Він перевіряє, чи можуть середні трьох і більше груп походити з генеральних сукупностей з однаковим середнім. Нульова гіпотеза стверджує, що можуть; альтернативна — що середнє принаймні однієї групи інше. Тест порівнює, наскільки розходяться між собою середні груп і наскільки розкидані значення всередині кожної групи. Якщо перше помітно переважає друге, F-статистика зростає, а p-значення зменшується.
Чому б просто не виконати кілька t-тестів?
Кожен додатковий тест — ще один шанс натрапити на випадковість. Для трьох груп потрібно три попарні порівняння; якщо кожне робити при α = 0,05 і вважати тести незалежними, імовірність хоча б одного хибного спрацювання сягає близько 14%. Для десяти груп є 45 пар, і ця імовірність перевищує 90%. ANOVA ставить одне питання з одним α.
Як читати F-статистику?
F — це середній квадрат між групами, поділений на середній квадрат усередині груп. Значення біля 1 означає, що середні груп розходяться приблизно так, як можна очікувати від самого шуму. Значення набагато більше за 1 означає, що середні розійшлися більше, ніж пояснює внутрішньогруповий розкид. Порівняйте p-значення з α або знайдіть критичне значення в таблиці F-розподілу.
ANOVA значущий. Які саме групи відрізняються?
ANOVA цього не покаже. Значуща F-статистика лише говорить, що принаймні одне середнє інше. Щоб знайти пари, виконайте post hoc процедуру, наприклад тест Тьюкі (HSD): він порівнює всі пари й водночас тримає під контролем загальну частоту помилок. Цей калькулятор виконує лише загальний (omnibus) тест.
Чи можна застосувати ANOVA лише до двох груп?
Так, і результат збігається з двовибірковим t-тестом із обʼєднаною дисперсією: F дорівнює квадрату t, а p-значення однакові. Для двох груп t-тест зазвичай зручніший, бо дає ще й знакову різницю та довірчий інтервал. На прикладі вище для груп 1 і 2 маємо F = 3,692, а t-статистика для тих самих груп дорівнює −1,9215; її квадрат — 3,692.
Що, якщо дисперсії або розміри груп різні?
Коли групи однакового розміру, класичний F-тест значно толерантніший до нерівних дисперсій. Якщо розміри різні, а розкид помітно відрізняється, класичний тест може ввести в оману, і безпечніше скористатися варіантом на кшталт ANOVA Велча. Цей калькулятор виконує класичний F-тест із рівними дисперсіями, тому перед тим як довіряти граничному результату, погляньте на стандартні відхилення груп у таблиці.