Проблема множественных сравнений при проверках статистических теорий
Кирилл Мильчаков
Прежде чем перейти к теме применения статистических методов для проверки гипотез в условиях множественных сравнений
стоит остановиться на проблеме множественных сравнений. Если мы принимаем традиционные 0,05 за критический уровень значимости, то вероятность ошибки 1 типа составляет 5 %, что значит, вероятность справедливо отвергнуть ложную нулевую гипотезу составит 0,95, или 95 %. Если мы проведем три сравнения (сравним попарно три группы, проверяя три статистические гипотезы), вероятность отсутствия ошибки 1 типа в любом из сравнений составит 0,95n (где n — количество производимых сравнений), то есть 0,95 в 3 степени или 0,857, или 85,7 %, а значит, вероятность допустить хотя бы одну ошибку 1 типа будет равна 1 – 0,857 = 0,142, или 14,2 % вместо декларируемых 5 %.
В такой ситуации необходимо применять меньший критический уровень значимости, который рассчитывается по формуле:
p* = (1 – 0,95)/n
p* — критический уровень значимости для множественных сравнений
n — количество производимых сравнений
Для данного примера p* = (1 – 0,9)/3 = 0,0166, то есть различия между группами можно считать статистически значимыми, только если p < 0,0166. Из этого следует, что в публикациях, где встречается «p(1-2) < 0,05, p(2-3) > 0,05, p(1-3) > 0,05» , совершенно невозможно сделать вывод о статистической значимости различий между группами 1 и 2, а потому стоит с осторожность относиться к интерпретации соответствующих данных.
Количество возможных попарных сравнений можно рассчитать по формуле:
n = 0,5N(N – 1),
n — количество производимых сравнений,
N – количество изучаемых групп.
Чтобы избежать проблемы множественных сравнений важно:
1. Планировать ход анализа данных до начала их сбора.
2. При проведении анализа данных строго следовать плану.
3. Разглашать результаты проверки всех статистических гипотез, а не
только тех, где нулевая гипотеза была отвергнута.
Относительно практических вариантов поправок для множественных сравнений смотрите в статье дисперсионный анализ там Вы найдете наиболее популярные поправки, такие как поправка Бонферрони и Тьюки. Удачи в расчетах!
