Статистика и планирование эксперимента для непосвященных: Как отучить статистику лгать [Майкл Х. Херцог] (pdf) читать онлайн

Майкл Х. Херцог, Грегори Фрэнсис, Аарон Кларк

Статистика и планирование
эксперимента
для непосвященных
Как отучить статистику лгать

Michael H. Herzog • Gregory Francis • Aaron Clarke

Understanding Statistics
and Experimental Design
How to Not Lie with Statistics

Майкл Х. Херцог • Грегори Фрэнсис • Аарон Кларк

Статистика и планирование
эксперимента
для непосвященных
Как отучить статистику лгать

Москва, 2023

УДК
ББК

Х39

519.242
22.183
Х39
Майкл Х. Херцог, Грегори Фрэнсис, Аарон Кларк
Статистика и планирование эксперимента для непосвященных:
Как отучить статистику лгать / пер. с англ. А. А. Слинкина. – М.:
ДМК Пресс, 2023. – 174 с.: ил.
ISBN 978-5-93700-195-5
Непонимание статистики – важная проблема в нашем обществе.
Благодаря компьютерным технологиям собирать статистические дан‑
ные стало проще, но главную задачу – правильно обработать резуль‑
таты – по-прежнему берет на себя человек. Из этой книги вы узнаете,
как использовать и интерпретировать статистику и статистические
данные в различном окружении. Рассмотрены основные понятия
и принципы статистики, наиболее распространенные статистические
критерии, множественная проверка гипотез, планирование экспери‑
мента, а также метастатистика.
Издание пригодится тем, кто хочет понять принципы статистики
и научиться интерпретировать ее результаты, не вдаваясь в математи‑
ческие детали вычислений. Для изучения материала требуется мини‑
мальный уровень математической подготовки.
УДК 519.242
ББК 22.183

This book is licensed under the terms of the Creative Commons
Attribution 4.0 International License (http://creativecommons.org/licenses/
by-nc/4.0/), which permits any noncommercial use, sharing, adaptation,
distribution and reproduction in any medium or format, as long as you give
appropriate credit to the original author(s) and the source, provide a link to
the Creative Commons licence and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть вос‑
произведена в какой бы то ни было форме и какими бы то ни было
средствами без письменного разрешения владельцев авторских прав.

ISBN (анг.) 978-3-030-03498-6
ISBN (рус.) 978-5-93700-195-5

© Herzog M., Francis G., Clarke A., 2019.
This book is an open access publication.
© Оформление, издание, перевод, ДМК Пресс, 2023

Оглавление
Предисловие от издательства............................................ 9
Предисловие........................................................................ 10
ЧАСТЬ I. ПРИНЦИПЫ СТАТИСТИКИ.......................... 15
Глава 1. Основы теории вероятностей............................ 16
1.1. Путаница вокруг простых понятий теории вероятностей:
условные вероятности......................................................................16
1.1.1. Базовый сценарий...............................................................16
1.1.2. Второй тест..........................................................................20
1.1.3. Еще пример: синдром Гийена–Барре................................22
1.2. Недоразумения вокруг вероятностей:
отношение шансов...........................................................................22
1.2.1. Основные сведения об отношении шансов (ОШ).............22
1.2.2. Частичная информация и мир, полный болезней............25

Глава 2. Планирование эксперимента и основы
статистики: теория обнаружения сигналов (ТОС)......... 26
2.1. Классический сценарий ТОС.....................................................26
2.2. ТОС и доля правильных ответов...............................................29
2.3. Эмпирическая d'.........................................................................32

Глава 3. Главная концепция статистики.......................... 38
3.1. Еще один способ оценки отношения сигнал–шум..................38
3.2. Недостаточная выборка.............................................................41
3.2.1. Выборочное распределение среднего...............................43
3.2.2. Сравнение средних.............................................................46
3.2.3. Ошибки типа I и II...............................................................49

6



Оглавление

3.2.4. Ошибка типа I: p-значение связано с порогом.................51
3.2.5. Ошибка типа II: подтверждения, пропуски......................54
3.3. Резюме........................................................................................56
3.4. Пример........................................................................................57
3.5. Следствия, комментарии и парадоксы.....................................60

Глава 4. Вариации на тему t-критерия............................ 71
4.1. Немного терминологии.............................................................71
4.2. Стандартный подход: проверка нулевой гипотезы................72
4.3. Другие t-критерии.....................................................................73
4.3.1. Одновыборочный t-критерий............................................73
4.3.2. t-критерий для зависимых выборок..................................74
4.3.3. Односторонние и двусторонние критерии.......................75
4.4. Предположения в основе t-критерия и их нарушения............75
4.4.1. Данные должны быть независимы и одинаково
распределены...............................................................................76
4.4.2. Распределения генеральной совокупности
нормальные..................................................................................76
4.4.3. Шкала зависимой переменной..........................................77
4.4.4. Равные дисперсии генеральной совокупности................77
4.4.5. Фиксированный размер выборки......................................78
4.5. Непараметрический подход......................................................79
4.6. Принципиальные основы статистических критериев............80
4.7. Что дальше?................................................................................80

ЧАСТЬ II. МНОЖЕСТВЕННАЯ ПРОВЕРКА
ГИПОТЕЗ............................................................................. 83
Глава 5. Задача множественной проверки гипотез...... 84
5.1. Независимые проверки.............................................................84
5.2. Зависимые проверки.................................................................86
5.3. Сколько научных результатов неверно?..................................87

Глава 6. Дисперсионный анализ (ANOVA)....................... 88
6.1. Однофакторный ANOVA с независимыми переменными.........88
6.2. Логика ANOVA............................................................................88
6.3. О чем ANOVA говорит, а о чем нет: апостериорные
критерии...........................................................................................92
6.4. Предположения..........................................................................93
6.5. Пример вычисления для однофакторного ANOVA
с независимыми переменными......................................................93

Оглавление 

7

6.5.1. Вычисление ANOVA............................................................93
6.5.2. Апостериорные критерии..................................................95
6.6. Размер эффекта..........................................................................97
6.7. Двухфакторный ANOVA с независимыми переменными.......98
6.8. ANOVA с повторными измерениями......................................103

Глава 7. Планирование эксперимента:
подгонка модели, мощность и сложные планы..........105
7.1. Подгонка модели......................................................................105
7.2. Мощность и размер выборки..................................................108
7.2.1. Оптимизация плана..........................................................108
7.2.2. Вычисление мощности.....................................................109
7.3. Возможное снижение мощности при сложном плане
эксперимента..................................................................................113

Глава 8. Корреляция.........................................................119
8.1. Ковариация и корреляция.......................................................119
8.2. Проверка гипотез с помощью корреляции............................120
8.3. Интерпретация корреляции....................................................122
8.4. Размер эффекта........................................................................124
8.5. Сравнение с подгонкой модели, ANOVA и t-критерием.......124
8.6. Предположения и подводные камни......................................125
8.7. Регрессия...................................................................................126

ЧАСТЬ III. МЕТААНАЛИЗ И КРИЗИC НАУКИ.........129
Глава 9. Метаанализ..........................................................130
9.1. Стандартизованные размеры эффектов................................130
9.2. Метаанализ...............................................................................132
Приложение. Стандартизованные размеры эффектов
в более сложных случаях................................................................133

Глава 10. Воспроизводимость......................................... 137
10.1. Кризис воспроизводимости..................................................137
10.2. Тест избыточного успеха.......................................................140
10.3. Избыточный успех как следствие статистического
смещения публикации...................................................................143
10.4. Избыточный успех как следствие необязательной
остановки........................................................................................145
10.5. Избыточный успех и теоретические утверждения..............149

8



Оглавление

Глава 11. Величина избыточного успеха......................151
11.1. При определении смещения возможны трудности.............151
11.2. Насколько широко распространены эти проблемы?...........154
11.3. Что происходит?.....................................................................156
11.3.1. Непонимание воспроизводимости................................156
11.3.2. Статистическое смещение публикации........................157
11.3.3. Необязательная остановка.............................................157
11.3.4. Выдвижение гипотез после того, как результаты
стали известны...........................................................................158
11.3.5. Гибкость анализа.............................................................158
11.3.6. Непонимание того, что такое предсказание.................159
11.3.7. Небрежность и избирательная двойная проверка........160

Глава 12. Предлагаемые улучшения
и нерешенные проблемы................................................162
12.1. Любой ли эксперимент следует публиковать?.....................162
12.2. Предварительное объявление...............................................163
12.3. Альтернативные виды статистического анализа................166
12.4. Роль воспроизводимости.......................................................168
12.5. Упор на механизмы................................................................170

Предисловие от издательства
Отзывы и пожелания
Мы всегда рады отзывам наших читателей. Расскажите нам, что вы
думаете об этой книге – что понравилось или, может быть, не по‑
нравилось. Отзывы важны для нас, чтобы выпускать книги, которые
будут для вас максимально полезны.
Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя
на страницу книги и оставив комментарий в разделе «Отзывы и ре‑
цензии». Также можно послать письмо главному редактору по адресу
dmkpress@gmail.com; при этом укажите название книги в теме письма.
Если вы являетесь экспертом в какой-либо области и заинтересованы
в написании новой книги, заполните форму на нашем сайте по адресу
http://dmkpress.com/authors/publish_book/ или напишите в издательство по
адресу dmkpress@gmail.com.

Список опечаток
Хотя мы приняли все возможные меры для того, чтобы обеспечить
высокое качество наших текстов, ошибки все равно случаются. Если
вы найдете ошибку в одной из наших книг – возможно, ошибку в ос‑
новном тексте или программном коде, – мы будем очень благодар‑
ны, если вы сообщите нам о ней. Сделав это, вы избавите других чи‑
тателей от недопонимания и поможете нам улучшить последующие
издания этой книги.
Если вы найдете какие-либо ошибки в коде, пожалуйста, сообщи‑
те о них главному редактору по адресу dmkpress@gmail.com, и мы ис‑
правим это в следующих тиражах.

Нарушение авторских прав
Пиратство в интернете по-прежнему остается насущной проблемой.
Издательство «ДМК Пресс» очень серьезно относится к вопросам за‑
щиты авторских прав и лицензирования. Если вы столкнетесь в ин‑
тернете с незаконной публикацией какой-либо из наших книг, пожа‑
луйста, пришлите нам ссылку на интернет-ресурс, чтобы мы могли
применить санкции.
Ссылку на подозрительные материалы можно прислать по адресу
dmkpress@gmail.com.
Мы высоко ценим любую помощь по защите наших авторов, благо‑
даря которой мы можем предоставлять вам качественные материалы.

Предисловие
Наука, общество и статистика
Современный мир до краев заполнен статистикой. Статистика зна‑
ет, что мы едим, как тренируемся, с кем дружим, как учим своих
детей и какие принимаем лекарства. Очевидно, что статистика вез‑
десуща, как и – к глубокому сожалению – окружающие ее домыслы.
В главе 1 мы расскажем о том, как судьи выносят неправильные при‑
говоры, – отправлять человека в тюрьму или нет, – поскольку не по‑
нимают даже основ статистики. Мы покажем, что пациенты совер‑
шают самоубийство, потому что врачи не умеют интерпретировать
результаты анализов. Ученые зачастую ничуть не лучше. Мы знаем
коллег, которые слепо доверяли результатам статистических про‑
грамм, даже когда они не имели ни малейшего смысла. Встречались
нам и опубликованные научные статьи, в которых результаты не со‑
гласуются с теоретическими выводами авторов.
Есть старое изречение (иногда его приписывают Марку Твену, но,
по-видимому, оно все же старше): «Существует три вида лжи: ложь,
наглая ложь и статистика». Мы вынуждены признать, что в нем име‑
ется зерно истины. Люди часто неправильно пользуются статистиче‑
ским анализом. Быть может, до прямой лжи (высказывания заведомо
ложного утверждения) и не доходит, но статистика зачастую только
запутывает, а не проясняет дело. Название этой книги отражает наши
усилия повысить качество использования статистики так, чтобы те,
кто занимается анализом, научились лучше интерпретировать свои
данные, а те, кто читает статистические результаты, лучше их пони‑
мали. Понимание ключевых идей статистики поможет осознать, что
многие научные результаты по сути своей бессмысленны, и объяс‑
нит, почему многие эмпирические науки в настоящее время стал‑
киваются с кризисом воспроизводимости. Вычисление статистики
может оказаться очень трудным делом (отсюда и сложные програм‑
мы, и толстые книги с глубокими теоремами), но ясное понимание
основных принципов статистики вполне доступно каждому.
В 2013 году, вдохновленные этими идеями, мы начали читать курс
в Федеральной политехнической школе Лозанны, Швейцария, по‑
священный концептуальным основам статистики и планирования
эксперимента. С годами курс стал довольно популярным, его стали

Предисловие 

11

посещать студенты, обучающиеся биологии, нейронаукам, медици‑
не, генетике, психологии и биоинженерии. Обычно такие студенты
уже прослушали один или несколько курсов по статистике, на кото‑
рых им преподавали детали статистического анализа. На нашем же
курсе и в этой книге акцент сделан на базовых принципах этого ана‑
лиза; мы хотим кратко объяснить, что это такое, и привить читателю
понимание возможностей и ограничений анализа.

Об этой книге
Предварительные знания и цель. Как уже было сказано, непонимание
статистики стало важной проблемой в нашем обществе. И одно из ее
проявлений в том, что вычислить статистические показатели теперь
так просто, что наличие хорошего образования кажется ненужным.
Однако же все в точности наоборот. Простота использования статисти‑
ческих программ позволят выполнять анализ данных, не понимая, что
программа делает и как интерпретировать ее результаты. Итог – не‑
состоятельные выводы. Читатель, вероятно, удивится тому, насколько
проблема серьезна и сколь велико количество бесполезных исследо‑
ваний. И еще, наверное, с удивлением узнает, что даже такие базовые
термины, как p-значение, означают совсем не то, что многим кажется.
Главная цель этой книги – кратко и по существу изложить основы
математической статистики. Понимание этих основ подготовит чи‑
тателя к правильному восприятию и критической оценке научных
публикаций во многих отраслях науки. Мы не собираемся учить чи‑
тателя вычислять статистические характеристики. Это вполне мож‑
но оставить компьютеру.
Читательская аудитория. Эта книга адресована всем гражданам
и научным работникам, имеющим желание понять принципы ста‑
тистики и научиться интерпретировать ее результаты, не вдаваясь
в математические детали вычислений. Как ни странно, этой цели
можно достичь в очень короткой книжке, содержащей совсем немно‑
го уравнений. Мы думаем, что любой человек (а не только студент
или ученый), имеющий или не имеющий предварительную подго‑
товку в области статистики, сможет извлечь из этой книги пользу.
Мы свели уровень необходимой математической подготовки
к минимуму и всюду, где возможно, обращались к интуиции. Урав‑
нения мы включали только тогда, когда они делали изложение по‑
нятнее. Для понимания основных идей достаточно самой элемен‑
тарной математики и лишь немногих базовых понятий из теории
вероятностей. Да и те интуитивно понятны из контекста.

12



Предисловие

Чего нет в этой книге. Эта книга не курс математической стати‑
стики (например, в ней ничего не говорится о борелевской алгебре).
Это и не традиционный учебник статистики, в который принято
включать многочисленные критерии и методы. Это не руководство
по программам статистического анализа типа SPSS или R. Книга
не является полным справочником по статистическим критериям.
Мы стремились включить достаточно информации для понимания
фундаментальных основ статистики, но не больше.
О чем эта книга. В части I мы излагаем философию статистики с ми‑
нимальным привлечением математики, чтобы были понятны клю‑
чевые концепции. Мы познакомимся с самым простым t-критерием
и покажем, как избежать недоразумений, связанных с вероятностями.
Усвоив материал части I, читатель сможет избежать большинства
подводных камней и понять, что на самом деле вычисляют наиболее
известные статистические критерии. Мы опишем проверку нулевой
гипотезы, не прибегая к сложному математическому аппарату, а при‑
менив более простой подход на основе теории обнаружения сигналов
(ТОС). Материал части II более традиционный, здесь рассматриваются
классические критерии: дисперсионный анализ (ANOVA) и корреля‑
ция. В частях I и II описаны стандартные статистики – те, что исполь‑
зуются наиболее часто. В части III показано, что кризис науки воз‑
ник из-за неправильного понимания простейших основ статистики,
в частности понятия воспроизводимости. Например, читателя, воз‑
можно, удивит, что слишком большое число успешных повторений
эксперимента может считаться подозрительным явлением, а не сви‑
детельством бесспорности научного факта. Для понимания части III,
включающей идеи, которых не найдешь в других вводных учебниках,
достаточно лишь базовых понятий и концепций из главы 3 части I.
И хотя книга в основном посвящена статистике, мы продемонстриру‑
ем тесную связь статистики с планированием эксперимента. Многих
статистических проблем можно было бы избежать при выборе пра‑
вильного – что чаще всего означает «более простого» – плана.
Мы полагаем, что уникальное сочетание базовых концепций ста‑
тистики (часть I), краткого описания наиболее распространенных
статистических критериев (часть II) и нового метастатистического
подхода (часть III) позволит не только достичь основательного по‑
нимания статистики, но и по-новому – подчас с неожиданной точки
зрения – взглянуть на то, что определяет нашу повседневную жизнь.
Материалы. Дополняющие книгу презентации в формате Power
Point для преподавателей доступны по запросу на адрес электрон‑
ной почты michael.herzog@epfl.ch.

Предисловие 

13

Благодарности. Мы благодарны Конраду Нойману и Марку Реп‑
нову за корректуру рукописи, а Эдди Кристоферу, Алине Критенуд,
Марку, Гертруде и Хайке Херцог, Майе Анне Ястржебовска, Слиму
Каммоуну, Иларии Риччи, Эвелине Танелл, Ричарду Уолкеру, Хе Сю
и Пьеру Дево за полезные замечания. С грустью сообщаем, что во
время подготовки книги к печати от нас ушел Аарон Кларк.
Лозанна, Швейцария
Вест-Лафайетт, Индиана, США
Анкара, Турция

Майкл Х. Херцог
Грегори Фрэнсис
Аарон Кларк

Часть I
Принципы статистики

Глава 1
Основы теории вероятностей
Что вы узнаете из этой главы
Прежде чем ступать на территорию статистики, необходимо вспом‑
нить базовые понятия теории вероятностей. Иначе трудно интер‑
претировать научные данные, как, впрочем, и информацию в по‑
вседневной жизни. В частности, многое из того, что сообщают СМИ,
по существу, бесполезно, потому что основано на частичной инфор‑
мации. В этой главе мы объясним, какого рода полная информация
нужна для правильных выводов, и познакомимся с теоремой Байеса.
Для изложения идей нам понадобятся простые уравнения, а для тех
читателей, кто не в ладах с математикой, мы приведем интуитивно
понятные соображения на простых примерах и рисунках.

1.1. Путаница вокруг простых понятий теории
вероятностей: условные вероятности
1.1.1. Базовый сценарий
Основные понятия теории вероятностей
1. Вероятность. Событию A назначается вероятность – число от
0 до 1. Например, при бросании кости вероятность выпадения
4 равна P(4) = 1/6.
2. Распределение вероятностей. В примере выше имеется
6 возможных исходов, каждому из которых назначена вероят‑
ность 1/6. Назначение вероятности каждому возможному ис‑
ходу дает распределение вероятностей.
3. Условная вероятность. Условная вероятность P(A|B) учи‑
тывает имеющуюся информацию о событии B. Вертикаль‑

Глава 1. Основы теории вероятностей 

17

ная черта читается «при условии» и означает, что речь идет
именно об условной вероятности. Например, мы после‑
довательно вытягиваем две карты из стандартной колоды
(52 карты). Вероятность, что первой будет вытянута пиковая
масть P(первой вытянута пика) = 13/52 = 1/4. Теперь осталась
только 51 карта. Вероятность, что во второй раз тоже будет
вытянута пика, притом, что она уже была вытянута в первый
раз, P(второй вытянута пика|первой вытянута пика) = 12/51.
С другой стороны, P(второй вытянута пика|первой вытянута
черва) = 13/51. Здесь вероятность вытягивания второй карты
зависит от того, какого типа карта была вытянута первой.
4. Независимые события. События называются независимыми,
если условная вероятность равна безусловной: P(A|B) = P(A).
В этом случае вероятность A не зависит от B. Например, если
вытянутая карта возвращается в колоду, то вероятность вытя‑
нуть пику во второй раз равна P(второй вытянута пика) = 13/52
вне зависимости от того, какая карта была вытянута первой.

Определения
Рассмотрим ситуацию, когда есть подозрение, что пациент
инфицирован, и он сдает соответствующий анализ. Возмож‑
ны четыре исхода.
1. Чувствительность: вероятность положительного анализа
при условии, что пациент инфицирован.
2. Специфичность: вероятность отрицательного анализа при
условии, что пациент не инфицирован.
3. Частота ложноположительных результатов: вероятность
положительного анализа при условии, что пациент не инфи‑
цирован.
4. Частота ложноотрицательных результатов: вероятность
отрицательного анализа при условии, что пациент инфици‑
рован.
Начнем с примера. В 1980-х годах общество охватила паника:
обнаружилась новая болезнь, получившая название «синдром при‑
обретенного иммунодефицита» (СПИД), ее вызывал вирус ВИЧ
(англ. HIV). Ученые разработали высокочувствительный тест для

18 

Часть I. Принципы статистики

определения наличия вируса в крови. Предположим, что и чувстви‑
тельность, и специфичность теста на ВИЧ равны 0.9999. Это значит,
что тест очень хороший, потому что в большинстве случаев он будет
давать положительный результат, если пациент инфицирован, и от‑
рицательный, если не инфицирован. Предположим далее, что ко‑
эффициент заболеваемости СПИД составляет 0.0001 в нормальной
генеральной совокупности, т. е. 1 из 10 000 человек инфицирован
вирусом ВИЧ. Анализ, взятый у случайно выбранного человека, ока‑
зывается положительным. Допустим, что вы врач. Что вы скажете
пациенту о вероятности заболевания? Математически – какова ус‑
ловная вероятность инфицирования ВИЧ при условии, что тест по‑
ложителен (T+): P(HIV |T+)?
Поскольку тест очень хорош и почти не дает ошибок, многие по‑
лагают, что вероятность P(HIV |T +) должна быть очень высока, ска‑
жем P(HIV |T+) = 0.9999. Однако в действительности P(HIV |T+) = 0.5 –
не выше, чем при подбрасывании монеты. Как такое возможно?
Мы можем вычислить P(HIV |T+), воспользовавшись теоремой Байеса,
которая ниже сформулирована в общем виде.
Для двух событий A и B
P( A | B) 

P ( B | A)  P ( A)
.
P( B)

Теперь подставим в эту формулу значения (¬HIV означает отсут‑
ствие ВИЧ):
P ( HIV | T  ) 

P (T  | HIV )  P ( HIV )

P (T  )

P (T  | HIV )  P ( HIV )

P (T  | HIV )  P ( HIV )  P (T  | HIV )  P ( HIV )
0.9999  0.0001

 0.5.
 0.9999 )  0.9999
0.9999  0.0001  (1



Математика дает ответ, но разобраться в ситуации можно и на
интуитивном уровне (рис. 1.1). Предположим, что протестирова‑
но 10 000 человек. Поскольку коэффициент заболеваемости равен
0.0001, с высокой вероятностью инфицирован только один из них.
Поскольку чувствительность теста очень высока (0.9999), вирус,
скорее всего, будет обнаружен. Имеется 9999 неинфицированных
людей. Хотя специфичность теста тоже очень высока (0.9999), один
ложноположительный результат, вероятно, все же будет – потому

Глава 1. Основы теории вероятностей 

19

что протестировано много людей. Таким образом, из 10 000 чело‑
век всего у двух будут положительные результаты теста (а у 9998
отрицательные). Поскольку из двух человек действительно инфи‑
цирован только один, вероятность инфицирования равна ½, т. е.
P(HIV|T+) = 0.5.

Рис. 1.1. В выборке, включающей 10 000 человек, вероятно, имеется только один инфицированный. Поскольку чувствительность теста высока, результат для этого человека с очень большой вероятностью положителен (выделен
красным цветом). Если протестировать одного случайно выбранного неинфицированного человека, то результат с очень большой вероятностью будет отрицательным в силу высокой специфичности теста. Однако всего имеется 9999
неинфицированных людей, и, несмотря на высокую специфичность, тест, вероятно, даст один ложноположительный результат (выделен синим цветом). Итак,
мы получили два положительных теста, а поскольку инфицирован только один
человек, вероятность инфицирования при положительном тесте составляет 1/2:
P(HIV |T+) = 0.5. Очевидно, что игнорировать коэффициент заболеваемость нельзя. Он так же важен, как чувствительность и специфичность

Предположим, что коэффициент заболеваемости еще ниже, на‑
пример 1/100 000. Допустим, что протестировано 100 000 человек.
Поскольку коэффициент заболеваемости равен 1/100 000, вероят‑
но, один из них инфицирован, и тест этого человека, скорее всего,

20



Часть I. Принципы статистики

выявит. Но кроме него на каждые 10 000 человек приходится один
ложноотрицательный результат. Следовательно, тест дает 11 по‑
ложительных результатов1, и вероятность реального инфицирова‑
ния при положительном тесте снижается до P(HIV|T+) = 1/11 ≈ 0.1.
С другой стороны, при коэффициенте заболеваемости 0.5 P(HIV|T+) =
0.9999, т. е. почти 1.0. Следовательно, вероятность P(HIV|T+) зависит
от чувствительности, специфичности и коэффициента заболеваемо‑
сти. Если коэффициент заболеваемости изменяется от 0.0 до 1.0, то
P(HIV|T+) изменяется от 0.0 до 1.0. Для обоснованного заключения не‑
обходимо знать все три члена. Если хотя бы один из них неизвестен,
все заключения гроша ломаного не стоят. Этот пример иллюстри‑
рует одну из главных тем книги: помните о частичной информации!
Замечание 1. Эта демонстрация показывает, насколько важно
понимать основы статистических рассуждений. Для пациен‑
та умение интерпретировать положительный результат теста
имеет огромное значение. Например, в 1987 году 22 реципиен‑
та переливания крови получили положительный тест на ВИЧ,
и семеро из них покончили жизнь самоубийством [1]. А в одном
исследовании отмечается, что в Германии 16 из 20 врачей гово‑
рят пациентам, что тест на ВИЧ практически не дает ложнопо‑
ложительных результатов [2].
Замечание 2. Важно, что если вы врач, то ситуация отличается от
описанной в примере выше, потому что люди, у которых есть
причины подозревать у себя инфекцию, с большей вероятно‑
стью сдают тест, чем те, кто более-менее уверен, что не инфи‑
цирован. Поэтому коэффициент заболеваемости в больнице,
вероятно, выше, чем в примере. Это означает, что P(HIV|T+) мо‑
жет быть больше 0.5: этот озадачивающий вывод показывает,
почему интуитивные представления людей о статистике зача‑
стую не имеют под собой основания.

1.1.2. Второй тест
Правильное понимание природы вероятности также помогает соби‑
рать более качественную информацию. Что будет, если мы второй
1

Мы можем также протестировать 10 000 человек. Поскольку коэффици‑
ент заболеваемости равен 1/100 000, с вероятностью 0.1 в этой выбор‑
ке будет один инфицированный. А при коэффициенте заболеваемости
1/10 000 будет один ложноположительный результат. Поэтому мы долж‑
ны вычислить частное 0.1/1.1 и получим точно такой же результат – при‑
близительно 0.1.

Глава 1. Основы теории вероятностей 

21

раз возьмем тест только у двух человек с положительным первым
тестом?1 Чему теперь будет равна вероятность инфицирования при
положительном тесте? Интересующая нас величина равна
P ( HIV | T  ) 


0.99992  0.0001

0.9999  0.0001  (1  0.9999)2  0.9999
2

0.9999
 0.9999.
0.9999  0.0001

Теперь положительный результат означает, что человек почти на‑
верняка инфицирован.
Это равенство можно объяснить на интуитивном уровне. Первый
тест дал два положительных результата. Во второй раз только эти
два человека и тестировались. Поскольку тест очень хорош, он почти
наверняка определит инфицированного человека и почти наверня‑
ка даст отрицательный результат для неинфицированного. Поэтому
для человека, сдавшего два положительных теста, вероятность ин‑
фицирования близка к 1.0.
Замечание 1. В действительности, назначая повторный тест,
врач обнаруживает, что P(HIV|T2+) меньше 0.9999. Причина в том,
что для некоторых людей тест упорно дает положительный ре‑
зультат, даже если они не инфицированы. Видимо, в их орга‑
низме имеются молекулы, похожие на антитела, к которым чув‑
ствителен тест на ВИЧ.
Замечание 2. Недоразумения вокруг статистики возникают во
всех отраслях знания. Корали Колмез и Лейла Шнепс посвяти‑
ли целую книгу «Math on Trial» анализу судебных дел. В этой
книге показано, как непонимание простых положений стати‑
стики может привести (и приводило) к неверным выводам. Рас‑
сматривается, в частности, дело студентки Аманды Нокс, кото‑
рая обвинялась в убийстве соседки по квартире. Генетический
анализ дал некоторые свидетельства в пользу того, что соседка
была убита ножом, на котором присутствовали отпечатки паль‑
цев Аманды. Изучив, какова вероятность точного результата
теста, судья решил не проводить повторный тест – несмотря
на то, что, как показано выше, повторный анализ мог бы дать
совершенно иной результат. Судья был попросту недостаточно
знаком с основами статистики [3].
1

Предполагается, что тесты для данного человека независимы.

22



Часть I. Принципы статистики

1.1.3. Еще пример: синдром Гийена–Барре
Вакцинация (V) от свиного гриппа (SF) может вызвать в качестве побоч‑
ного эффекта синдром Гийена–Барре (GB) в одном случае на миллион,
т. е. P(GB|V) = 1/1 000 000. В тяжелых случаях СГБ напоминает синдром
«запертого человека», когда пациент утрачивает способность двигать‑
ся и даже разговаривать. Учитывая ужасающие последствия СГБ, стоит
ли вообще делать вакцинацию? И на этот раз мы не можем ответить
на вопрос, потому что обладаем лишь частичной информацией. Необ‑
ходимо знать, какова вероятность заболеть синдромом Гийена–Барре
без вакцинации (¬V). Предположим, что, помимо вакцинации, СГБ воз‑
никает только как осложнение после свиного гриппа (и дополнительно
предположим, что вакцина против свиного гриппа стопроцентно эф‑
фективна). Вероятность получить СГБ после свиного гриппа довольно
высока: 1/3000. Это гораздо больше, чем вероятность 1/1 000 000. По‑
хоже, что вакцинироваться все-таки стоит. Однако следует принять во
внимание уровень заражения свиным гриппом, потому что не каждый
человек заражается. Этот уровень в каждой новой эпидемии изменяет‑
ся; предположим, что для случайно выбранного невакцинированного
человека вероятность заболеть составляет 1/300. Тогда вероятность по‑
лучить синдром Гийена–Барре для невакцинированного равна
P (GB | V )  P (GB | SF )  P ( SF | V ) P ( V ) 

1
1
1

1 
.
3000 300
900 000

Следовательно, в такой ситуации вероятность получить СГБ для
невакцинированного лишь ненамного больше, чем для вакциниро‑
ванного. А вакцина заодно защищает от свиного гриппа.
Важно здесь то, что нельзя принять хорошее решение, основыва‑
ясь только на одной вероятности (получить синдром Гийена–Барре
в результате вакцинации). Нужно также учитывать вероятность до‑
полнительного события (получить синдром Гийена–Барре без вак‑
цинации).

1.2. Недоразумения вокруг вероятностей:
отношение шансов

1.2.1. Основные сведения об отношении шансов (ОШ)
Многие курильщики умирают от инфаркта. Бросать курить? Это ча‑
стичная информация! Встречный вопрос: сколько некурящих уми‑

Глава 1. Основы теории вероятностей 

23

рает от инфаркта? Без этой информации попытка ответить на пер‑
вый вопрос будет ничуть не лучше утверждения «100 % курильщи‑
ков однажды умрут – равно как и 100 % некурящих».
Обобщим эту ситуацию, введя в рассмотрение понятие шанса.
Гипотетический пример: из 107 курящих семь перенесли инфаркт,
т. е. 100 не переносили (табл. 1.1A). Шансом называется отноше‑
ние 7/100. Для некурящих инфаркт перенес 1 человек из 100, по‑
этому шанс равен 1/100. Идея отношения шансов (ОШ) – сравнить
две дроби, поделив одну на другую. Это отношение двух отноше‑
ний говорит нам, в какой степени курящие страдают от инфаркта
чаще, чем некурящие: 7/100 / 1/100 = 7. Таким образом, у курящего
шанс получить инфаркт в семь раз больше, чем у некурящего, – не‑
мало. Для сравнения – если бы никакого эффекта не было, т. е. ин‑
фаркт случался бы у курящих и некурящих с одинаковой частотой,
то ОШ = 1.0.
Таблица 1.1. Гипотетический пример
A
Инфаркт был
Инфаркта
не было

Курящие

Некурящие

7

1

100

100

B
Инфаркт был
Инфаркта
не было

Курящие

Некурящие

7

1

10 000

10 000

A) Каковы шансы получить инфаркт, не будучи курильщиком? Предполо‑
жим, что из 107 курящих семеро перенесли инфаркт, а из 101 некуряще‑
го – только один. Насколько шансы курящего получить инфаркт выше, чем
у некурящего? Для вычисления отношения шансов мы сначала вычисля‑
ем 7/100 и 1/100, а затем делим эти отношения: (7/100) / (1/100) = (7*100) /
(1*100) = 7/1= 7. Следовательно, шансы в семь раз выше, что представляется
существенным.
B) Теперь предположим, что в группах курящих и некурящих по 10 000 че‑
ловек, не перенесших инфаркт. Отношение шансов равно (7/10 000)/
(1/10 000) = 7/1 = 7, т. е. не изменилось. Таким образом, отношение шансов
не зависит от коэффициента заболеваемости. Однако шанс получить ин‑
фаркт уменьшился примерно в 100 раз. Получить ли инфаркт в 7 из 107 слу‑
чаев или в 7 из 10 007 – «две большие разницы». Отношение шансов дает
лишь частичную информацию!

24



Часть I. Принципы статистики

Таблица 1.2. Члены, вносящие вклад в отношение шансовa
С фактором риска

Без фактора риска

Болен

a

b

Не болен

c

d

a

Небольшое замечание: для вычисления отношения шансов производится деление
a/b на c/d. Можно было бы также воспользоваться пропорциями a / (a + b), c / (c + d) и
взять их отношение.

В общем виде (табл. 1.2) отношение шансов a/c / b/d = a ∗ d / b ∗ c.
Отношение шансов – очень компактный способ сравнения экспе‑
риментального и контрольного условия. Оно чаще других показате‑
лей используется в медицине и биологии. Например, влияние гена
на заболевание обычно выражают в терминах ОШ. Однако решения,
принимаемые на базе ОШ, основаны на частичной информации.
И вот почему. Увеличим количество людей, перенесших инфаркт,
в обеих группах в 100 раз. Отношение шансов при этом не изменит‑
ся (см. табл. 1.1B).
Очевидно, что отношение шансов не зависит от доли незатрону‑
тых людей, пусть даже вероятность получить инфаркт существенно
изменилась. Поскольку ОШ не зависит от коэффициента заболева‑
емости, высокое ОШ почти ничего не говорит, если, к примеру, за‑
болевание редкое.
Как интерпретировать отношения шансов? Во-первых, высо‑
кое ОШ – причина для тревоги, только если основной эффект, a/c,
тоже велик. Например, отношение (число курящих, перенесших
инфаркт) / (число курящих, не перенесших инфаркт) = 7/10 000
нельзя считать значительным эффектом, пусть даже ОШ, равное 7,
велико. В табл. 1.1B инфаркты просто не очень часты. Только 8 че‑
ловек из 20 008 перенесли инфаркт. Поэтому крайне маловероят‑
но, что у кого-нибудь вообще был инфаркт, – в отличие от случая
в табл. 1.1, где инфаркт перенесли 8 из 208 человек. И в таком слу‑
чае есть повод для беспокойства. Во-вторых, высокий основной
эффект a/c – причина беспокоиться, только если ОШ также вели‑
ко. Вот крайний пример. Если у вас голубые глаза, то вы умрете
с очень высокой вероятностью (100 %). Однако для кареглазых
вероятность умереть также равна 100 %. Следовательно, ОШ = 1.0,
это мало. Можно тревожиться по поводу смерти, но не по поводу
цвета глаз.

Глава 1. Основы теории вероятностей 

25

1.2.2. Частичная информация и мир, полный болезней
Ситуация в целом может быть и еще более запутанной. Мы обсудили
влияние одного фактора (курения) на исход (инфаркт). Но курение
может также влиять на другие заболевания положительно или отри‑
цательно (даже курение не всегда вредно). Поэтому, чтобы формально
ответить на вопрос, следует ли бросать курить, нужно принять во вни‑
мание все заболевания, в том числе потенциально неизвестные. Кроме
того, нужно учесть затраты на лечение – кариес все же не так серьезен,
как инфаркт. Таким образом, нужно вычислить своего рода эффект за‑
болеваемости, который принимает во внимание стоимость различных
заболеваний и вероятность их возникновения для данного фактора:
Заболеваемость(Фактор) = ∑s P(заболевание S|Фактор) ×
Стоимость(заболевание S).
Итак, нужно учитывать все болезни, даже еще не открытые. Од‑
нако решить, стоит ли бросать курить или менять диету, почти не‑
возможно, если величина эффекта невелика. На практике вся эта
информация никогда не бывает доступна. Но это не значит, что ста‑
тистические рассуждения никогда нельзя использовать для приня‑
тия решения. Нужно лишь понимать, что такие решения основаны
на неполной информации. И это понимание должно побудить вас
собирать как можно больше информации.
Что следует запомнить
1. Не забывайте о частичной информации и старайтесь полу‑
чить полную информацию, чтобы делать правильные выводы.
Например, отношение шансов обычно несет слишком мало
информации.
2. Коэффициенты заболеваемости различными болезнями
обычно малы, за исключением таких как кариес.

Литература
1. Gigerenzer G, GaissmaierW, Kurz-Milcke E, Schwartz L,Woloshin S. Glaub
keiner Statistik, die du nicht verstanden hast. Geist und Gehirn. 2009;10:34–39.
2. Gigerenzer G, Hoffrage U, Ebert A. AIDS counselling for low-risk clients. AIDS
Care. 1998;10:197–211.
3. Colmez C, Schneps L. Math on trial: how numbers get used and abused in the
courtroom. Basic Books: New York; 2013.

Глава 2
Планирование эксперимента
и основы статистики: теория
обнаружения сигналов (ТОС)
Что вы узнаете из этой главы
Что считать хорошей мерой качества? Чаще всего используется про‑
центная доля правильных ответов. Ниже мы увидим, что в этом по‑
казателе смешиваются две переменные, – чувствительность и по‑
рог, – поэтому относиться к ней следует с осторожностью. Мы вве‑
дем меру чувствительности d', которая оказывается исключительно
важной во многих областях статистики.

2.1. Классический сценарий ТОС
Представим, что мы находимся в желтой подводной лодке, пересе‑
кающей океан. Было бы очень опасно столкнуться со скалой, поэтому
подлодка оборудована гидролокатором. Гидролокатор излучает волны,
а приемник получает их отражения. Эти отраженные волны объединя‑
ются в «гидроакустическую характеристику». Если имеется скала, то ги‑
дроакустическая характеристика будет больше, чем в случае отсутствия
скалы. Однако картину искажают шумы, поэтому даже при одинаковых
объективных условиях – скала есть или скалы нет – регистрируемая ги‑
дроакустическая характеристика заметно отличается (рис. 2.1).
Каждому из двух возможных условий соответствует распределение
вероятностей, показывающее, насколько вероятно некоторое значе‑
ние гидроакустической характеристики на оси x.1 Как часто бывает
1

Строго говоря, вероятность, что гидроакустическая характеристика
в точности равна 80, нулевая. Функция вероятности показывает, что на‑
блюдается значение, близкое к 80 (находящееся в очень узком интервале,
окружающем 80). Для математической статистики такие детали крайне
важны, но для понимания основ статистики роли не играют.

в статистике, мы предполагаем, что нормальное (гауссово) распре‑
деление адекватно описывает ситуацию. Нормальное распределение
полностью определено своим средним значением μ и стандартным
отклонением σ, определяющим ширину гауссианы. Большое значение
σ означает, что для одного и того же условия присутствия скалы отра‑
женные сигналы с высокой вероятностью будут различаться. Наобо‑
рот, если σ = 0, то никакой изменчивости нет вообще, т. е. в качестве
гидроакустической характеристики мы всегда получаем одно и то же
значение. Поэтому σ отражает зашумленность и так и называется –
шум. Отсутствие скалы мы называем чистым шумом, поскольку сиг‑
нал не отражается от скалы, и присутствие скалы – сигнал плюс шум.
(b)
(a)

Отраженная волна

Пр
д

Ш
(рыба

Объект

Исходная волна
(b)

0

Порог

нная волна

Продолжать
движение

(c)
Сигнал +
Шум

Шум
Шум
(рыба, вода)

Объект

0

10

20

30

1

Стоп-машина

ная волна

м

27

Глава 2. Планирование эксперимента и основы статистики... 

40

σ
50

60

Сигнал +
Шум Сигнал + Шум Шум
(скала)

70

σ

80

90

Шум

100 110 120

гидроакустическая характеристика
0

(c)

10 20 30 40 50 60 70 80 90 100 110 120

0

10 20 30 40 50 60 70 80 90 100 110 120

0

10 20 30 40 50 60 70

гидроакустическая
характеристика гидроакустическая
характеристика
гидроакустическая х
Рис. 2.1 (a) Подлодка
посылает гидроакустические
сигналы и измеряет
отраженные сигналы. Гидроакустическая характеристика зашумлена, т. е. для одной и той
же скалы
отраженные сигналы
в разных
измерениях могут отличаться. Например,
Сигнал
+
Сигнал
+
Шум
Шум
на отражающую
способность
может
повлиять
проплывающая рыба. То же самое
Шум
справедливо, когда никакой скалы нет. Как решить, есть скала или нет? (b) Классический сценарий ТОС. Оба условия – присутствие и отсутствие скалы – принадлежат какому-то распределению вероятностей, которое показывает, насколько
вероятно получение различных значений гидроакустической характеристики.
ТОС предполагает, что эти распределения вероятностей нормальные

0 30 40 50 60 70 80 90 100 110 120

0

10 20 30 40 50 60 70 80 90 100 110 120

акустическая характеристика гидроакустическая характеристика

Исходная волна

28 

0

Часть I. Принципыстатистики

10

20

30

40

(c)

Шум

0

Сигнал +
Шум

10 20 30 40 50 60 70 80 90 100 110 120

гидроакустическая характеристика

Шум

0

50

60

70

гидроакустическая харак

Сигнал +
Шум

10 20 30 40 50 60 70 80 90 100 110 120

Шум

0

Сигнал +
Шум

10 20 30 40 50 60 70 80 90 100 110 120

гидроакустическая характеристика гидроакустическая характеристика

Рис. 2.1 (Окончание). В этом примере среднее значение гидроакустиче‑
ской характеристики равно 70, когда скала присутствует, и 45, когда ее
нет. Размах распределения описывается стандартным отклонением σ.
Здесь σ = 10. Если регистрируется гидроакустическая характеристика 80,
то присутствие скалы гораздо вероятнее отсутствия. Характеристика 57.5
с одинаковой вероятностью может описывать как присутствие, так и от‑
сутствие скалы. Чтобы принять решение, необходим порог. Если гидро‑
акустическая характеристика больше порога, мы принимаем решение
остановить двигатель (потому что впереди скала), в противном случае
продолжаем движение (скалы нет). Как установить порог, решаем мы
сами. Хотим осторожничать – выберем порог поменьше, хотим риско‑
вать – побольше. (c) Насколько точно мы можем отличить присутствие
скалы от отсутствия, зависит от перекрытия двух распределений веро‑
ятностей. Перекрытие, обозначаемое символом d', – это разность между
средними значениями, поделенная на стандартное отклонение. Большое
перекрытие означает, что способность различать условия низкая, а ма‑
лое – что высокая. При фиксированном стандартном отклонении d' рас‑
тет по мере роста разности средних (ср. левый и средний рисунок). При
фиксированной разности средних d' растет по мере убывания стандарт‑
ного отклонения (ср. средний и правый рисунок)

Насколько хорошо мы можем отличить присутствие скалы от
отсутствия? Зависит от перекрытия гауссиан. Если гауссианы пе‑
рекрываются на 100 %, то различить эти два случая невозможно,
и гидролокатор бесполезен. Если перекрытия почти нет, то раз‑
личить ситуации легко, потому что данное значение гидроаку‑
стической характеристики с большой вероятностью принадлежит
только одной гауссиане. Например, на рис. 2.1b значение гидро­
акустической характеристики 80 соответствует присутствию скалы
с гораздо большей вероятностью, чем ее отсутствию. Перекрытие
можно оценить разностью между средними μ1 и μ2 обеих гауссиан,

Глава 2. Планирование эксперимента и основы статистики... 

29

поделенной на стандартное отклонение σ, в предположении, что
σ для обоих распределений одинаково1:
d =

1  2
.


(2.2)

d' называется чувствительностью или различимостью и измеряет,
насколько хорошо можно различить две альтернативы, т. е. d' – мера
отношения сигнала (μ1 − μ2) к шуму (σ). Перекрытие зависит как от
разности средних, так и от стандартного отклонения. Следователь‑
но, увеличить d' можно двумя способами: увеличив разность сред‑
них или уменьшив стандартное отклонение (рис. 2.1c). Важно, что
понятие чувствительности здесь не то же самое, что одноименное
понятие, введенное в главе 1, которое можно иначе назвать часто‑
той истинно положительных результатов. Далее мы будем употре‑
блять термин «чувствительность» только в этом последнем смысле,
но не для обозначения d'.
Когда следует останавливать двигатель? Необходим порог приня‑
тия решения c. На рис. 2.1b выбран порог 40: если гидроакустическая
характеристика больше 40, мы останавливаем двигатель, иначе про‑
должаем движение. Какое значение порога выбрать, зависит от нас.
Если присутствие скалы так же вероятно, как ее отсутствие, то опти‑
мальным порогом будет точка пересечения двух гауссиан, поскольку
при этом достигается максимум количества правильных решений.

2.2. ТОС и доля правильных ответов
Применим ТОС к типичному поведенческому эксперименту, свя‑
занному с обнаружением сигнала. Вы смотрите на экран компью‑
тера и видите либо тусклое световое пятнышко (стимул присут‑
ствует), либо пустой экран (стимул отсутствует). Как и в примерах
с желтой подводной лодкой и тестом на ВИЧ, имеется четыре воз‑
можных исхода (табл. 2.1).
1

В теории обнаружения сигналов (ТОС) d' обычно определяется с исполь‑
зованием абсолютной величины разности средних:

d =


1  2
.


(2.1)

Мы не стали использовать абсолютную величину, потому что такое опре‑
деление удобнее для применения d' в статистике в главе 3.

30



Часть I. Принципы статистики

Если стимул присутствует в половине испытаний, то процентная
доля правильных ответов вычисляется как среднее между частотой
правильных подтверждений (Hit) и частотой правильных пропусков
(Correct Rejection – CR): (Hit + CR) / 2. Рассмотрим «процент правиль‑
ных» в терминах ТОС. Как и в примере с подлодкой, предполагается
зашумленность. Но в отличие от этого примера мы не знаем, как про‑
цессы восприятия кодируются в мозге человека, т. е. не имеем явных
распределений вероятностей. Зато у ТОС есть важное достоинство –
большая гибкость. Например, предположим, что можно сосредоточить
все внимание на одном нейроне, который кодирует яркость стимула.
Значение 0.0 соответствует пустому экрану, а положительное значе‑
ние – световому пятнышку определенной яркости. Будем использо‑
вать порог принятия решения, который определяет, что распознать:
световое пятно или пустой экран. При консервативном поведении по‑
рог задается более высоким, т. е. мы отвечаем «световое пятно есть»,
только когда уверены в этом. Если мы готовы рисковать, то значение
порога задается меньшим, т. е. мы подтверждаем наличие светового
пятна, когда есть малейшие признаки света. Мы можем задать любое
значение порога. Например, чтобы оптимизировать процент правиль‑
ных ответов, можно выбрать в качестве порога пересечение гауссиан.
В этом случае мы даем равное число ответов ««световое пятно есть»
и «светового пятна нет», если оба варианта стимула предъявляются
с одинаковой частотой. Если пятно чаще отсутствует, чем присутству‑
ет, то имеет смысл сдвинуть порог в сторону ответов «светового пятна
нет» – в данном случае вправо. Кроме того, можно принять во внима‑
ние цену ответа. Если вознаграждение за ответ «световое пятно есть»
меньше, чем за ответ «светового пятно нет», то лучше сдвинуть порог
так, чтобы ответ «световое пятно есть» был более частым.

Ответ
Отсутствует Присутствует

Таблица 2.1. Четыре исхода в классическом эксперименте ТОС
Стимул присутствует

Стимул отсутствует

Правильное
подтверждение
(Hit)

Ложная тревога
(False Alarm – FA)

Ошибочный пропуск
(Miss)

Правильный пропуск
(Correct Rejection –
CR)

Глава 2. Планирование эксперимента и основы статистики... 

31

Скала (световое пятно) присутствует, и мы ответили, что при‑
сутствует (правильное подтверждение). Скала (световое пятно) от‑
сутствует, а мы ответили, что присутствует (ошибочный пропуск).
Скала (световое пятно) отсутствует, а мы ответили, что присутствует
(ложная тревога). Скала (световое пятно) отсутствует, и мы ответи‑
ли, что отсутствует (правильный пропуск).
Давайте будем гладко изменять порог и посмотрим, как меняется
процент правильных ответов в зависимости от d' (рис. 2.2). Начнем
с порога 2.0, т. е. точки пересечения гауссиан. Если немного сдвинуть
порог в сторону от оптимума, например вправо, то процент правиль‑
ных ответов уменьшается, и тем больше, чем дальше мы отодвига‑
ем порог. Если сдвинуть порог слишком далеко вправо, то качество
стремится к 50 %, т. е. к уровню случайного угадывания. В этом слу‑
чае мы всегда даем один и тот же ответ, например «световое пятно
есть», т. е. велико смещение ответа. Важно, что различимость d' при
этом не изменилась, т. е. наша способность к зрительному распоз‑
наванию осталась постоянной. Изменилось только наше поведение
в части принятия решений.
Таким образом, процент верных ответов смешивает в одно по‑
рог принятия решения и различимость. Для определенного уровня
качества, скажем 75 %, мы не можем сказать, что имеет место: вы‑
сокая различимость и неоптимальный порог или оптимальный по‑
рог и низкая различимость. Поэтому процент верных ответов может
оказаться опасным показателем, который легко способен затуше‑
вать истинные эффекты или давать ложноположительные результа‑
ты. Выводы, базирующиеся на проценте верных ответов, основаны
на частичной информации!

32



Часть I. Принципы статистики
66

Процент верных (%)

64
62
60
58
56
54
Оптимальный порог принятия
решения

52
50

2

2.5

3

3.5

4

4.5

5

5.5

Порог принятия решения (с)
c=2

c=3

c=4

Рис. 2.2. Процент верных ответов зависит от порога. Сначала поместим порог
в точку пересечения двух гауссиан, т. е. положим равным 2 (левый нижний рисунок).
Затем будем сдвигать порог вправо (средний и правый рисунок). На верхнем рисунке показано, что процент правильных ответов уменьшается по мере отодвигания
порога от оптимума. Если порог сдвинут очень далеко вправо, то мы почти всегда
даем один и тот же ответ, например «светового пятна нет». В этом случае частота правильных подтверждений равна 0, а частота ошибочных пропусков равна 1.
Следовательно, процент верных ответов равен (0 + 1) / 2 = 0.5, что совпадает со
случайным угадыванием, хотя, в принципе, мы способны различить обе ситуации

2.3. Эмпирическая d'
Зная только процент верных ответов, невозможно вывести разли‑
чимость из эксперимента. Значит ли это, что все эксперименты без‑
надежны? Как ни удивительно, мы можем разделить различимость
и порог, если будем по отдельности оценивать d' и b, смещение порога:

Глава 2. Планирование эксперимента и основы статистики... 

′ = z (Hit ) - z (FA),
demp

bemp =

z (Hit ) - z (FA)
.
2

33
(2.3)
(2.4)

Для вычисления d' нам просто нужно применить z-преобразование
к частотам правильных подтверждений и ложных тревог. z-преобра­
зованием в данном случае является обратная гауссова функция рас‑
пределения. Если вы незнакомы с z-преобразованием, просто рассма‑
тривайте его как функцию, которую можно найти в библиотеках на
вашем компьютере. bemp говорит, насколько текущий порог отличается
от оптимального, т. е. как далеко он отстоит от точки пересечения га‑
уссиан. Следовательно, bemp измеряет смещение порога.
Важно, что d'emp не изменяется при изменении порога (и, стало
быть, смещении ответа). Однако, не завися от порога, d' все же за‑
висит от модели. Предполагается, что выполнено три условия:
1) истинные распределения вероятностей нормальные,
2) эти нормальные распределения имеют одинаковую дисперсию,
3) в процессе измерений порог не изменяется.
Условие 1 принципиально важно, потому что мы вычисляем
z-преобразование, т. е. обратное нормальное распределение, а это
имеет смысл, только когда распределение данных нормальное. Ус‑
ловие 1 часто выполняется. Условие 2 обычно выполняется, потому
что альтернативные стимулы похожи. Условие 3 очень важно, но
проверить его нелегко.
Внимание
Термин «чувствительность» употребляется в двух разных смыслах.
1. Преимущественно в медицинской литературе чувствитель‑
ность – то же самое, что частота правильных подтверждений
(Hit Rate).
2. В ТОС чувствительность соответствует различимости, т. е.
d' z(Hit) − z(FA). В контексте ТОС мы будем употреблять термин
«различимость», а не «чувствительность».
Пример 1 (автоматизированная система). На рис. 2.3 показано
качество (частоты правильных подтверждений, ложных тре‑
вог, ошибочных пропусков и правильных пропусков) работы
врача и системы на основе искусственного интеллекта (ИИ)

34



Часть I. Принципы статистики

при диагностике заболевания. Общий процент правильных от‑
ветов в обоих случаях равен 80 %. Вычислить d' почти так же
просто, как процент верных ответов: нужно только применить
z-преобразование к частотам правильных подтверждений
и ложных тревог. Как выясняется, в терминах d', в отличие от
процента верных, качество сильно различается. Кто лучше:
врач или система ИИ? Обычно различимость – встроенная ха‑
рактеристика системы, изменить которую трудно. Ваши глаза
такие, как есть, – не лучше и не хуже. С другой стороны, изме‑
нить порог принятия решения просто, нужно лишь чаще вы‑
бирать один ответ в ущерб другому. Очевидно, что система ИИ
сильно смещена в сторону ответов «да», что помогает избежать
ошибочных пропусков (ложноотрицательных результатов), но
увеличивает частоту ложных тревог (ложноположительных ре‑
зультатов). Поэтому порог системы ИИ далек от оптимального.
Задание оптимального порога существенно повышает качество
в терминах процента верных ответов.
Качество работы врача

Автоматическое распознавание

Сигнал

Есть

Нет

Сигнал

Есть

Нет

Да

80

20

Да

98

38

Нет

20

20

Нет

2

62

P

z

P

z

Hit

0.8

0.842

Hit

0.98

2.054

FA

0.2

–0.842

FA

0.38

–0.305

Чувствительность d'

1.683

Чувствительность d'

Смещение b

0.000

Смещение b

P(правильно)

0.800

P(правильно)

2.359
–0.874
0.800

Рис. 2.3. Сравнение врача с машиной. Процент верных ответов в обоих случаях одинаков.
Вычислить d' почти так же просто, как процент верных ответов: нужно только применить
z-преобразование к частотам правильных подтверждений и ложных тревог и найти разность. В терминах d' качество, т. е. различимость, сильно отличается. Кто лучше: врач или система ИИ? Очевидно, что система ИИ сильно смещена в сторону ответов «да», что помогает
избежать ошибочных пропусков, но увеличивает частоту ложных тревог. Порог системы ИИ
далек от оптимального. Печатается с разрешения Марка Джорджсона

Глава 2. Планирование эксперимента и основы статистики... 

35

Пример 2 (обучение). В примере обучения наблюдателям предъ‑
является отрезок прямой, немного наклоненный вправо или
влево. Поскольку различие мало, наблюдатели часто ошибают‑
ся. Для повышения качества наблюдатели обучаются на зада‑
че с 10 блоками, каждый из которых содержит 80 испытаний.
Количество верных ответов в каждом из 10 блоков усредняется
по всем 80 испытаниям. Качество резко возрастает. Означает
ли это, что улучшилось восприятие? Улучшение может быть
вызвано изменением различимости или порога. Например,
обучение со стимулами может приводить к уменьшению дис‑
персии σ гауссиан, т. е. люди начинают более точно различать
наклон линий. Уменьшение дисперсии ведет к увеличению d',
т. е. к увеличению различимости (рис. 2.2). Увеличение разли‑
чимости может также иметь место, если раздвинуть средние га‑
уссиан. Качество может также улучшиться, когда в блоке 1 порог
принятия решений участниками не оптимален, а в процессе об‑
учения участники, возможно, подправляют порог. Изменение
восприятия обычно считают связанным с изменением разли‑
чимости. Применяя для анализа данных процент верных отве‑
тов, мы не можем прийти к правильным выводам, потому что
не в состоянии отделить изменения различимости от измене‑
ний порога. Поэтому во всех экспериментах по обучению важно
строить графики зависимости результатов от d' и смещения.
Пример 3 (чувствительность и специфичность). Тест на ВИЧ, рас‑
сматриваемый в главе 1, имел очень высокую чувствительность
и специфичность. Определение чувствительности и специ­
фичности зависит также от порога. На самом деле оно ничем
не отличается от определения процента верных. Напомним, что
чувствительность – это частота правильных подтверждений (ис‑
тинно положительных результатов), а специфичность – частота
правильных пропусков (истинно отрицательных результатов).
Поэтому ситуация в точности такая же, как в приведенном выше
примере с подводной лодкой, только теперь по оси x отклады‑
вается концентрация антител к ВИЧ (измеряемая тестом). Нам
необходим порог, который определяет, является ли тест положи‑
тельным для некоторой концентрации антител. Следовательно,
мы можем увеличивать чувствительность за счет специфично‑
сти и наоборот. Просто для справки отметим, что (чувствитель‑
ность + специфичность) / 2 – это процент верных ответов.

36



Часть I. Принципы статистики

Пример 4 (компромисс между скоростью и точностью). Во мно‑
гих экспериментах уменьшают время, отведенное на ответ, т. е.
заставляют наблюдателей отвечать как можно быстрее. Зача‑
стую медленные наблюдатели, например пожилые люди, де‑
монстрируют более высокую d', чем быстрые (более молодые)
наблюдатели; это так называемый компромисс между скоро‑
стью и точностью. Таким образом, ситуация еще усложняется,
поскольку необходимо сопоставлять время реакции с d' и сме‑
щением, чтобы прийти к правильным выводам. Эксперименты
с четко выраженным компромиссом между скоростью и точно‑
стью часто с трудом поддаются интерпретации.
Пример 5 (эффекты пола и потолка). Еще одна проблема связана
с так называемыми эффектами пола и потолка. В эксперименте
(бессмысленном) экспериментатор поднимает руку, растопырив
пальцы. Все наблюдатели правильно идентифицируют все пять
пальцев, т. е. число верных ответов 100 %. Можно ли отсюда сде‑
лать вывод, что у всех наблюдателей одинаково хорошее зрение,
т. е. способность к различению? Конечно, нет; задача была слиш‑
ком простой, поэтому наблюдатели находились в режиме по‑
толка, когда качество близко к 100 %. Делать какие-либо выводы
бесполезно. Вычисление d' в этой ситуации не поможет, потому
что частота ложных тревог равна 0.0 и d' равно бесконечности.
То же самое справедливо для эффекта пола, когда качество близ‑
ко к уровню случайного гадания (50 %). Поэтому важно следить
за тем, чтобы альтернативные стимулы находились в диапазо‑
не, позволяющем обнаружить различия между участниками.
Пример 6 (стандартизованные эффекты). d' часто называют
стандартизованным эффектом, потому что деление на σ приво‑
дит измерения к единицам стандартного отклонения. В резуль‑
тате d' становится нечувствительно к оригинальным единицам
измерения (т. е. неважно, производились ли оригинальные
измерения в метрах или в дюймах). Кроме того, размер стан‑
дартизованного эффекта часто может быть нечувствителен
к некоторым вариациями эксперимента. Например, если экс‑
периментом на время реакции можно манипулировать, так
чтобы замедлить все действия в одно и то же число раз, то раз‑
ность средних (сигнал) увеличится, а стандартное отклонение
(шум) уменьшится в одно и то же число раз. Отношение же d'
останется неизменным.

Глава 2. Планирование эксперимента и основы статистики... 

Что следует запомнить
1. Не забывайте о частичной информации. Процент верных от‑
ветов смешивает в одно различимость d' и порог принятий ре‑
шений c.
2. Не забывайте о частичной информации. Это относится и ко
многим другим показателям, например чувствительности
и специфичности в медицинских тестах.
3. Разделить различимость и порог поможет d'emp.
4. d'emp не зависит от порога, но зависит от модели. Бесплатных
завтраков не бывает.

37

Глава 3
Главная концепция статистики
Что вы узнаете из этой главы
В главах 1 и 2 мы показали, что для обоснованных выводов не‑
обходима полная информация и что многие популярные показа‑
тели, например отношение шансов или процент верных ответов,
дают лишь частичную информацию. В этой главе мы воспользу‑
емся идеями ТОС, чтобы разобраться в статистическом выводе,
включая роль p-значений, встречающихся в статистике сплошь
и рядом. Мы покажем, что p-значение смешивает в одно размер
эффекта и размер выборки, а следовательно, также дает лишь ча‑
стичную информацию.
Эта глава посвящена сущностным основам статистики. Мы объ‑
ясним их на примере t-критерия, самого простого и популярного
статистического критерия. Это единственная глава книги, в которой
мы опускаемся на уровень деталей, потому что, на наш взгляд, эти
детали очень способствуют пониманию фундаментальных аспектов
статистики. Но все равно понадобится лишь элементарная матема‑
тика. Читатель, который торопится или испытывает непреодолимое
отвращение к математике, может перейти сразу к разделу 3.3 «Резю‑
ме», где мы перечислим главные факты и основные шаги. Для даль‑
нейшего чтения необходимо понимать хотя бы это резюме.

3.1. Еще один способ оценки отношения сигнал–шум
В главе 2 мы определили d' как расстояние между средними распре‑
делений двух генеральных совокупностей, поделенное на стандарт‑
ное отклонение. Обычно одну из генеральных совокупностей мы
называем чистым шумом со средним μN, а другую – зашумленным
сигналом со средним μSN. В статистике d' генеральных совокупно‑
стей часто называют дельтой (δ) Коэна или размером эффекта. Вы‑
числяется она так же, как в главе 2:

Глава 3. Главная концепция статистики 

  d =

SN   N
.


39
(3.1)

Часто у нас нет информации о генеральной совокупности, и мы
хотим оценить δ (т. е. d') по эмпирическим данным. Например, в гла‑
ве 2 мы могли бы оценить d' в эксперименте с присутствием или
отсутствием светового пятна, вычислив z(Hit) – z(FA) по одним лишь
данным о поведении. Мы ничего не знали о средних и дисперсии
нормальных распределений. Такой подход на основе оценивания
полезен, когда мы не можем непосредственно измерить величины,
определяющие качество системы, но можем измерить последствия
принятых решений. Бывает и так, что измерить последствия реше‑
ний трудно, но можно непосредственно оценить средние и диспер‑
сию нормальных распределений. Например, мы можем использо‑
вать гидролокатор и регистрировать гидроакустическую характери‑
стику во многих испытаниях, когда скала присутствует. Затем на‑
носим результаты на график, по которому можно оценить среднее
и дисперсию. Можно таким же образом получить среднее и диспер‑
сию для случая, когда скала отсутствует. Затем выборочные средние
x—SN и x—N и стандартное отклонение s можно использовать для вычис‑
ления оценки размера эффекта, называемой d Коэна:

d=

x SN − x N
.
s

(3.2)

И снова этот стандартизованный эффект d является просто
оценкой d' распределений генеральной совокупности. Если d ве‑
лико, то будет достаточно просто отнести одиночное измерение
к распределению зашумленного сигнала или к распределению чи‑
стого шума. К сожалению, во многих ситуациях, представляющих
интерес для ученых, величина d очень мала. Например, в психо‑
логии значение в районе d = 0.8 считается «большим», в районе
d = 0.5 – «средним», а в районе d = 0.2 – «малым». Как показано на
рис. 3.1, даже «большие» значения d соответствуют значительному
перекрытию распределений. В таких случаях мы никогда не до‑
бьемся приемлемой способности правильно различать одиночные
измерения. Но не все потеряно, коль скоро мы готовы удовлетво‑
риться различением средних измерений. Как мы увидим, средства
ТОС применимы для различения средних подобно тому, как раз‑
личаются одиночные измерения.

40



Часть I. Принципы статистики

0.04

d=0.2

0.04

d=0.5

0.04

0.03

0.03

0.03

0.02

0.02

0.02

0.01

0.01

0.01

0

0
0

20

40

60

80

100

d=0.8

0
0

20

40

60

80

100

0

20

40

60

80 100

Рис. 3.1. Распределения генеральной совокупности с малым (d = 0.2), средним
(d = 0.5) и большим (d = 0.8) размером эффекта

Терминология
Поскольку многие похожие понятия возникали в разных обла‑
стях знания, для них употребляются разные термины. Некото‑
рые из них перечислены ниже.
• Частота правильных подтверждений = Мощность.
• Частота ложноположительных результатов = Ложная тревога
= Ошибка типа I.
• Частота ошибочных пропусков = Ошибка типа II.
• d' = δ Коэна = Размер эффекта = Стандартизованный размер
эффекта.
• Гауссово распределение = Нормальное распределение =
Колоколообразная кривая.
• Выборочные значения, такие как высота дерева, называются
также отметками (score).

Некоторые определения
Допустим, имеется выборка n оценок xi. Тогда определены сле‑
дующие величины.
• Выборочное среднее:
x=

1 n
x
n i 1 i

где символ ∑ означает «сумма всех последующих членов».
• Выборочная дисперсия:

Глава 3. Главная концепция статистики 

s2 =

41

1 n
 ( x  x )2 .
n - 1 i 1 i

• Выборочное стандартное отклонение:
s = s2 .
• Стандартная ошибка:
sx =

s
n

.

Свойства выборочных средних
При n → ∞:
1) распределение выборочных средних x– является нормальным
(центральная предельная теорема – ЦПТ),
2) x– → μ,
3) sx– → 0.

3.2. Недостаточная выборка
Начнем с примера. Нас интересует следующая гипотеза: средняя
высота дубов на северном склоне Альп отличается от средней вы‑
соты дубов на южном склоне. Прямолинейный способ проверить
эту гипотезу – измерить высоты всех деревьев на северном и южном
склоне, вычислить средние и сравнить их. Если средние различны,
значит, различны. Если одинаковы, значит, одинаковы. Все просто.
К сожалению, дубов очень много (рис. 3.2), а наши возможности
ограничены, поэтому мы можем обмерить только определенное ко‑
личество деревьев, скажем n, на северном и южном склоне. Выбран‑
ные из генеральной совокупности деревья называются выборкой,
т. е. в данном случае мы набрали две выборки: одну с южного скло‑
на, другую с северного. Измеренные нами высоты деревьев называ‑
ются примерами, или образцами, а средняя высота в выборке – выборочным средним. Для каждой выборки средняя высота выборочных
деревьев, скорее всего, отличается от истинной высоты всех деревьев
в генеральной совокупности. Например, по чистой случайности вы‑

42



Часть I. Принципы статистики

соких деревьев в выборке могло бы оказаться больше, чем низких.
Разность между тем и другим называется выборочной ошибкой. Та‑
ким образом, из-за недостаточности выборки (обмерены не все де‑
ревья) мы, скорее всего, не получим точные оценки обоих средних.
Важно, что деревья выбираются случайно, а процедура называется
случайным отбором.

Рис. 3.2. Небольшой участок леса в Швейцарских Альпах

Итак, мы сформировали выборки деревьев с северного и с южного
склона. Если обнаружится различие между выборочными средними,
то мы не сможем сказать, является ли его причиной действитель‑
ное различие в генеральных совокупностях деревьев, или истинные
средние одинаковы, а все дело в недостаточности выборки. Следова‑
тельно, недостаточность выборки может привести к неверным вы‑
водам. Например, несмотря на то что средние генеральных совокуп‑
ностей северного и южного склонов одинаковы, мы можем решить,
что разница есть, потому что различаются выборочные средние.
В таком случае имеет место ложная тревога, или ошибка типа I.
Чтобы понять, как недостаточность выборки влияет на решения,
изучим, во-первых, насколько вероятно, что выборочное среднее

Глава 3. Главная концепция статистики 

43

отклоняется от истинного на определенную величину. Как мы уви‑
дим, выборочная ошибка определяется стандартным отклонением
генеральной совокупности, σ, и размером выборки, n. Во-вторых,
мы изучим, как недостаточность выборки влияет на нашу способ‑
ность определять, существует или не существует различие в сред‑
ней высоте двух генеральных совокупностей деревьев. Ответ вы‑
ражается простой формулой, которая есть не что иное, как d для
средних значений. Таким образом, мы оказываемся в ситуации
ТОС. В-третьих, мы хотим контролировать частоту ошибок типа I.
Мы увидим, что знаменитое p-значение просто задает порог для
ошибок типа I.

3.2.1. Выборочное распределение среднего
Для начала сосредоточимся на генеральной совокупности деревьев
северного склона. Чтобы получить выборочное среднее, сформиру‑
ем выборку деревьев, измерим высоту xi каждого дерева, сложим все
высоты и разделим сумму на размер выборки n. Выборочное сред‑
нее – это оценка истинного среднего μNorth:
x North 

1 n
 x ,.
n i 1 i

(3.3)

где xi – высота i-го дерева в выборке. Аналогично можно оценить дисперсию
высот деревьев, s2 (см. врезку). Разность между выборочным и истинным
средним равна:

x North   North .

(3.4)

Насколько велика эта разность в среднем? Чтобы ответить на
этот вопрос, предположим – для определенности, – что мы много
раз ходили в лес и случайным образом набирали выборку фикси‑
рованного размера n. В разных выборках, скорее всего, окажутся
разные деревья, потому что мы действовали случайным образом.
Сколько выборочных средних близки к истинному, а сколько да‑
леки от него? Предположим, что нам известно истинное среднее
и стандартное отклонение генеральной совокупности. Сначала
включим в выборку только два дерева и вычислим среднее. В при‑
мере на рис. 3.3 истинное среднее равно 20 м, а среднее по выбор‑
ке – 19 м. Таким образом, разность составляет 1 м. Сформируем
еще одну выборку из двух деревьев. Ошибка, скорее всего, будет
другой, потому что высоты деревьев, надо полагать, отличаются от
предыдущих. Продолжим измерять пары деревьев и посмотрим,

44  Часть I. Принципы статистики
как распределены выборочные средние. Согласно центральной
предельной теореме распределение выборочных средних похоже
на нормальное. Нормальное распределение центрировано вокруг
истинного среднего, поэтому при наличии большого числа выбо‑
рочных средних мы получим хорошее представление об истинном.
Однако гауссиана получается довольно широкой, т. е. стандартное
отклонение велико, а потому некоторые выборочные средние зна‑
чительно отклоняются от истинного.
Теперь будем формировать выборки размера 9, а не 2 и повто‑
рим всю процедуру. Распределение снова будет нормальным, но
более узким, чем в предыдущем случае, т. е. стандартное откло‑
нение стало меньше, а значит, стало гораздо менее вероятно, что
среднее случайной выборки сильно отклонится от истинного сред‑
него. Вообще, для каждого размера выборки n существует выбо‑
рочное распределение. Чем больше n, тем меньше стандартное от‑
клонение выборочного распределения. Это неудивительно, потому
что ошибка будет равна нулю, если обмерить все деревья, и будет
мала, если количество необмеренных деревьев невелико. Поэтому
стандартное отклонение σx– выборочных распределений отражает
наши ожидания относительно качества оценки среднего. Величина
σx– называется стандартной ошибкой среднего, и можно показать,
что σx– равна стандартному отклонению истинного распределения
генеральной совокупности σ, поделенному на квадратный корень
из размера выборки n:

x 


n

.

(3.5)

Если мы не знаем σ, то можем оценить стандартную ошибку, вос‑
пользовавшись выборочной оценкой стандартного отклонения:
sx =

s
n

.

(3.6)

Эта формула еще раз показывает, почему при увеличении разме‑
ра выборки выборочная ошибка уменьшается: когда √n возрастает,
σ–x = σ/√n стремится к нулю. σx– зависит от n и σ. Предположим, что
σ равно нулю, тогда все деревья в выборке имеют одинаковую высо‑
ту, равную средней высоте μNorth, и, следовательно, нужно измерить
высоту только одного дерева. С другой стороны, если σ велико, то
нужно выбрать много деревьев, чтобы получить хорошую оценку
среднего генеральной совокупности.

Глава 3. Главная концепция статистики 

(a)

n=2

n=9

Распределение генеральной
совокупности

Распределение генеральной
совокупности

σ
16

18

20

σ
22

Высота (м)

24

16

18

20

Высота (м)

Выборочное
распределение

16

18

20

45

22

Средняя высота (м)

22

24

Выборочное
распределение

24

16

18

20

22

Средняя высота (м)

24

Рис. 3.3. Сосредоточимся только на деревьях северного склона. Мы не можем измерить высоты всех деревьев, поэтому набираем выборки, средние по которым, в силу недостаточности
выборки, скорее всего, будут отличаться от истинного среднего. (a, слева) Гауссиана в верхнем
ряду показывает истинное
(b) распределение генеральной совокупности. Сначала измеряем высоты только двух случайно выбранных деревьев (синие квадратики). Они равны 18.5 и 19.5 м.
Следовательно, среднее по выборке размера два равноБольшое
19 м, оноnпоказано зеленым квадратиком на графике снизу, на который указывает стрелка. Стало быть, выборочная ошибка
среднего равна 1 м, потому что истинное среднее равно 20 м. Сходим в лес и обмерим еще два
дерева. Каждый зеленый квадратик соответствует одному из выборочных средних. Набрав
много таких выборок, мы получим гауссову функцию. По оси y отложена вероятность появления некоторого среднего значения. (а, справа) Пусть теперь выборка состоит из 9 деревьев.
Истинное распределение генеральной совокупности такое
же, как на
Среднее
n левом рисунке, оно показано в верхнем ряду на примере
одной
Малое
n выборки размера 9. Соответствующее выборочное
среднее обозначено стрелкой. И снова дополнительные выборки дают нам новые средние
значения (зеленые квадратики). Гауссиана стала уже, т. е. стандартное отклонение выборочных
средних меньше. Таким образом, для выборки из двух деревьев ошибка 2 м вполне вероятна,
но для выборки из девяти деревьев ее вероятность значительно меньше
16

18

20

22

Средняя высота (м)

24

16

46 

18

20

22

Средняя высота (м)

24

16

18

20

22

Средняя высота (м)

24

Часть I. Принципы статистики

(b)
Большое n

Среднее n

Малое n

16

18

20

22

Средняя высота (м)

24

Рис. 3.3. (Окончание) (b) Для любого распределения генеральной совокупности существует
семейство выборочных распределений, по одному для каждого размера выборки n. Все выборочные распределения гауссовы. Чем больше размер выборки, тем меньше стандартное
отклонение выборочного распределения. По мере возрастания n вероятность того, что выборочное среднее будет сильно отличаться от истинного, уменьшается. Это и не удивительно,
потому что если измерить высоты всех деревьев, то не будет никакой выборочной ошибки.
Стандартное отклонение равно нулю. Если не удалось обмерить всего несколько деревьев, то
ошибка будет очень мала

Резюме. Из-за недостаточности выборки выборочное среднее,
скорее всего, отличается от истинного. Стандартная ошибка sx–
является мерой ожидаемой выборочной ошибки.

3.2.2. Сравнение средних
Теперь посмотрим, как недостаточность выборки влияет на сравне‑
ние средних на северном и южном склоне. Очевидно, что для де‑
ревьев на южном склоне тоже существует семейство выборочных
распределений. Далее мы будем предполагать, что размеры выбо‑
рок и дисперсии генеральных совокупностей одинаковы для обо‑
их склонов. Как уже отмечалось, если две выборки содержат все
деревья из каждой генеральной совокупности, то мы можем про‑
сто сравнить средние и вычислить разность. Если же размеры вы‑
борок меньше, то оба выборочных средних могут сильно отличать‑
ся от истинных. Сначала вычислим разность выборочных средних:
x–North − x‑South. Для каждой пары выборок с северного и южного склонов
мы можем сравнить разность выборочных средних с разностью ис‑
тинных средних μNorth − μSouth. Таким образом, имеется только одно
выборочное распределение, и ситуация оказывается такой же, как
в предыдущем подразделе.

Глава 3. Главная концепция статистики 

47

Как и прежде, выборочное распределение нормальное, а его сред‑
нее равно разности средних генеральной совокупности μNorth − μSouth.
Кроме того, «правило дисперсии суммы» описывает связь стандарт‑
ного отклонения этого выборочного распределения со стандартным
отклонением генеральных совокупностей и размером выборки:

 xNorth  xSouth  

2
.
n

(3.7)

Разность выборочных средних называется стандартной ошибкой1. Если средние и стандартное отклонение генеральных совокуп‑
ностей неизвестны, то можно рассмотреть оценку:
sxNorth  xSouth  s

2
.
n

(3.8)

Вспомним первоначальный вопрос. Мы взяли по одной выборке
деревьев с северного и южного склонов, обе размера n. Скорее всего,
два выборочных средних различаются: x–North − x‑South ≠ 0. Чем обуслов‑
лена эта разница: недостаточностью выборки, притом, что истинные
средние генеральных совокупностей одинаковы, или действитель‑
ным различием в высотах деревьев на разных склонах? Это классиче‑
ская ситуация ТОС – только вместо одиночных измерений мы имеем
средние. Насколько хорошо мы способны провести различие между
альтернативами? На этот вопрос можно «ответить, вычислив d' или
δ Коэна для альтернатив. Для первой альтернативы μNorth − μSouth = 0, т. е.
средние высоты деревьев на северном и южном склонах одинаковы.
Это значим, что мы имеем распределение чистого шума. Соответ‑
ствующее выборочное распределение центрировано вокруг 0, потому
что различий нет. Для второй альтернативы различие присутствует,
и выборочное распределение центрировано относительно μNorth − μSouth.
Поскольку истинные значения неизвестны, мы используем оценки2.
Итак, мы оценили два выборочных распределения: в одном на‑
лицо различие (сигнал и шум) со средним μNorth − μSouth, а в другом
1

Если размеры выборок для деревьев с северного и южного склонов от‑
личаются, то формула имеет вид:

 xNorth  xSouth  
2

1
1
.

nNorth nSouth

Обычно значение s вычисляется путем объединения дисперсий для двух
выборок. Один способ такого объединения мы опишем в разделе 3.4.

48



Часть I. Принципы статистики

различия нет (только шум) и среднее равно нулю. Следовательно,
мы имеем в точности такую же ситуацию, как в примере с желтой
подводной лодкой, и оцениваем d' или δ Коэна выборочных распре‑
делений, которая обычно называется t, по формуле:
t=

( x North − x South ) − ( 0 )
.
sxNorth − xSouth

(3.9)

t-значение не что иное, как d' применительно к выборочным рас‑
пределениям. Как всегда в ТОС, если t велико, то сравнительно легко
различить, обусловлено ли различие распределением зашумленно‑
го сигнала или чистого шума. Если t мало, то определить, действи‑
тельно ли имеется различие, будет трудно1.
Подставим оценку стандартной ошибки в уравнение t:
t=

( x North  x South )  ( 0 ) ( x North  x South ) ( x North  x South ) n
n


 d . (3.10)
sxNorth  xSouth
s
2
2
2
s
n

Разбив стандартную ошибку, являющуюся мерой выборочной
ошибки, на s и n, мы видим, что t-значение равно d (оценка δ рас‑
пределений генеральной совокупности), умноженному на квадрат‑
ный корень из половины размера выборки.
Интерпретировать t-значение можно двумя способами. Во-первых,
нас интересует, существует ли реальное различие между средними зна‑
чениями. Поэтому мы вычисляем разность обоих средних и смотрим,
насколько они различаются. Однако большая разность не несет никако‑
го смысла, если велик шум, т. е. стандартное отклонение. По этой при‑
чине мы, как и в главе 2, делим разность на оценку стандартного откло‑
нения, которая в данном случае равна оценке стандартного отклонения
выборочного распределения разности средних. Оценка стандартного
отклонения выборочного распределения – это стандартная ошибка:
sxNorth  xSouth 

1

s
n
2

.

(3.11)

По соглашению, принятому в ТОС, t всегда интерпретируется как поло‑
жительное число, если явно не оговорено противное. Если вычисленное
значение отрицательно, всегда можно просто поменять порядок средних
в числителе.

Глава 3. Главная концепция статистики 

49

Таким образом, стандартная ошибка выборочного распределения
средних объединяет оба источника неопределенности: стандарт‑
ное отклонение генеральной совокупности и неопределенность
в связи с недостаточностью выборки. Во-вторых, мы видим, что
t-значение – это произведение оценки d распределения генераль‑
ной совокупности на функцию от размера выборки n. t-значение
объединяет размер эффекта с размером выборки.
Резюме. Мы хотели узнать, одинаковы или нет два средних, но
возникли трудности, потому что в нашем распоряжении есть
только неточные оценки, – из-за недостаточности выборки. Это
классическая задача на различение, только вместо одиночных
измерений в ней фигурируют средние. t-значение, которое лег‑
ко вычислить по имеющимся выборкам, не что иное, как оцен‑
ка d' для этой ситуации. Но важнее, что t-значение – функция
оценочного размера эффекта d и размера выборки n, а именно
произведение d на квадратный корень из n/2.

3.2.3. Ошибки типа I и II
Недостаточность выборки может стать причиной ошибки и, как
следствие, неверных выводов. Например, мы можем решить, что
средние высоты деревьев на северном и южном склоне различаются
(хотя на самом деле это не так), потому что различаются выбороч‑
ные средние (ложная тревога). Аналогично можно решить, что они
не различаются (хотя в действительности различие есть), потому
что разность между выборочными средними мала (ошибочный про‑
пуск). Следуя соглашениям, принятым в статистике, мы называем
ложную тревогу ошибкой типа I, а ошибочный пропуск – ошибкой
типа II. Как поступать с этими ошибками? В главе 2 мы видели, что
ложные тревоги и ошибочные пропуски зависят от заданного нами
порога. То же самое верно и здесь, а четыре возможных исхода по‑
казаны на рис. 3.4. Обычно исследователя интересует так называе‑
мая нулевая гипотеза: средние генеральных совокупностей равны.
В терминах ТОС нулевая гипотеза означает, что наблюдаемое раз‑
личие между выборочными средними объясняется недостаточно‑
стью выборки, а в действительности имеет место чистый шум. Аль‑
тернативная гипотеза, обозначаемая Ha или H1, заключается в том,
что средние двух генеральных совокупностей различны. В терминах
ТОС это означает, что наблюдаемое различие между выборочны‑
ми средними объясняется распределением зашумленного сигнала.
На рис. 3.4 эта ситуация обозначена фразой «H0 неверна».

50



Часть I. Принципы статистики

Как и в примере с желтой подводной лодкой, большое t означает,
что различить средние генеральных совокупностей будет просто,
а малоезначение – что различение затруднено и может приводить
к ошибочным выводам. Теперь легко принять решение о нулевой ги‑
потезе. Мы вычисляем t, а затем применяем порог. Если вычислен‑
ное значение t больше порога, то это расценивается как свидетель‑
ство в пользу того, что оценочная разность средних не объясняется
распределением чистого шума: между двумя средними действитель‑
но имеется различие. Если вычисленное значение t меньше порога,
то нет уверенности, что средние различны. Может быть, различны,
а может быть, и нет. Никакого определенного вывода сделать нельзя.
H0 не верна

H0 верна

Решаем, что
средние
различны

Правильное
подтверждение

Ложная тревога
(ошибка типа I)

Не решаем,
что имеется
значимое
различие

Ошибочный пропуск
(ошибка типа II)

Правильный
пропуск

Рис. 3.4. Задача статистики – делать заключения о гипотезе. Как и в главах 1 и 2,
возможно четыре исхода. (1) Нулевая гипотеза неверна, и мы пришли к выводу, что
средние различны (Правильное подтверждение). (2) Нулевая гипотеза неверна, но
у нас недостаточно фактов, свидетельствующих против нее (Ошибочный пропуск,
или ошибка типа II). (3) Нулевая гипотеза верна, и мы пришли к выводу, что средние
различны (Ложная тревога, или ошибка типа I). (4) Нулевая гипотеза верна, и у нас
недостаточно фактов, свидетельствующих против нее (Правильный пропуск)

На практике в различных областях используются разные пороги,
отражающие наиболее подходящие уровни правильного подтверж‑
дения или ложной тревоги. Например, в физике часто применяется
критерий пяти сигм, согласно которому различие между средними
считается экспериментально доказанным, если t > 5. По сравнению
с другими областями это очень высокое значение; отчасти оно отра‑
жает тот факт, что у физиков часто имеется возможность (и ресурсы)
существенно уменьшить σ и s за счет усовершенствования техники
измерений. В физике элементарных частиц большой адронный кол‑
лайдер порождает выборки триллионного размера. В таких областях,
как медицина, психология, нейронауки и биология, обычно приме‑

Глава 3. Главная концепция статистики 

51

няется порог, который в первом приближении следует «правилу двух
сигм». Выбор менее строгого порога в какой-то мере связан с услови‑
ями научных исследований в этих областях. В некоторых представ‑
ляющих интерес вопросах шума в принципе не избежать, а различия
между генеральными совокупностями малы. При этом стоимость
получения одного образца для медицинской или биологической вы‑
борки часто гораздо выше, чем в физике, а в некоторых ситуациях
(например, при исследовании пациентов с редкими заболеваниями)
набрать выборки большого размера вообще невозможно.
ТОС также говорит нам, что какой бы порог ни выбрать, имеет ме‑
сто компромисс между правильными подтверждениями и ложными
тревогами, и критерии пяти или двух сигм не исключение. При про‑
чих равных условиях критерий пяти сигм будет давать меньше пра‑
вильных подтверждений, чем критерий двух сигм. Но зато он будет
давать и меньше ложных тревог.
Вместо того чтобы задавать порог в терминах стандартного от‑
клонения σ, во многих областях (включая медицину, психологию,
нейронауки и биологию) исследователь хочет, чтобы частота оши‑
бок типа I была меньше заранее заданного значения, например 0.05.
Понятно, почему возникает желание ограничить ошибку этого вида:
она побуждает человека верить в существование эффекта, которого
на самом деле нет. Например, можно прийти к выводу, что лечение
помогает пациенту, тогда как в действительности оно неэффектив‑
но и следует попробовать другое лекарство. Такие ошибки могут
стать причиной смерти. С философской точки зрения ученые стоят
на позициях скептицизма и по умолчанию считают, что различий
нет: лечение не помогает больному, вмешательство не помогает об‑
разованию, мужчины и женщины имеют схожие признаки. Ученый
отступает от скептической позиции, только если имеется достаточ‑
но свидетельств в пользу ее необоснованности.
Резюме. Ошибка типа I возникает, когда средние равны, т. е. ну‑
левая гипотеза верна, но мы решили, что они разнятся. Ошибка
типа I – то же самое, что ложная тревога в контексте ТОС. Что‑
бы принять решение относительно нулевой гипотезы, мы вы‑
числяем величину t, эквивалентную различимости в терминах
ТОС, а затем применяем порог.

3.2.4. Ошибка типа I: p-значение связано с порогом
В этом разделе мы покажем, что порог определяет частоту ошибок
типа I. Рассмотрим, как выглядит выборочное распределение разности
выборочных средних, когда нулевая гипотеза H0 верна, т. е. μNorth − μSouth = 0.

52



Часть I. Принципы статистики

Распределение центрировано относительно нуля со стандартной ошиб‑
кой, которую мы оценили на основе данных. Предположим, что задан
порог t = 2.0, который часто называют критическим значением (critical
value – cv) и обозначают tcv = 2.0. Если для наших данных t-значение
больше tcv = 2.0, то мы заключаем, что выборочные средние различ‑
ны, даже если это не так, т. е совершаем ошибку типа I. Вероятность
такого t-значения равна площади под кривой в области правее tcv = 2.0
(см. рис. 3.5a). Такой тест называется «односторонним t-критерием».
Вычисление площади этой области (в предположении большого раз‑
мера выборки) дает 0.0228. Следовательно, при использовании порога
tcv = 2.0 мы допустим ошибку типа I с вероятностью всего 0.0228. Если
поступать так, как принято в физике, т. е. использовать критерий пяти
сигм, то tcv = 5, и вероятность ошибки типа I составит 0.000000287.

Рис. 3.5. Связь между критическим значением порога и частотой ошибок типа I. Кривая
показывает распределение чистого шума, т. е. случай, когда нулевая гипотеза верна. Распределение центрировано относительно нуля, а дисперсия оценена по данным. (a) При
критическом значении tcv = 2.0 частота ошибок типа I равна площади под кривой в области
правее tcv. Этот тест называется односторонним t-критерием. (b) При критическом значении
tcv = ±2.0 частота ошибок типа I равна площади под кривой в области правее 2.0 и левее –2.0

Глава 3. Главная концепция статистики 

53

Этот подход обладает большой гибкостью. Например, мы мо‑
жем заподозрить, что деревья на северном и южном склоне имеют
разную высоту, но не знаем, где они выше. В таком случае можно
использовать порог tcv = ±2.0, где t-значение, более экстремальное
(расположенное дальше от нуля), чем 2.0, будет считаться свиде‑
тельством в пользу того, что средние генеральных совокупностей
различны. При таком подходе частота ошибок типа I составила бы
0.0456, т. е. в два раза больше, чем в случае одностороннего критерия
(см. рис. 3.5b). Этот тест называется двусторонним t-критерием.
В примере выше мы задали порог и вычислили для него частоты
ошибок типа I. Но обычно в статистике происходит наоборот. Фик‑
сируется частота ошибок типа I, и вычисляется соответствующее
ему t-значение порога. Например, если принять частоту ошибок
типа I, равную 5 %, то соответствующее t-значение порога будет рав‑
но tcv = ±1.96 для двустороннего t-критерия, если n велико1. Вместо
того чтобы задавать некоторое t-значение в качестве порога, иссле‑
дователь вычисляет площадь под кривой за пределами t-значения,
вычисленного по данным. Эта площадь называется p-значением
(см. рис. 3.6). Таким образом, мы сначала вычисляем t-значение на
основе данных, а затем p-значение. p-значение говорит, насколь‑
ко вероятно при условии истинности нулевой гипотезы получить
наше или даже большее t-значение. Если p-значение меньше 0.05,
то эффект называется значимым. Следовательно, для контроля ча‑
стоты ошибок типа I нужно лишь потребовать, чтобы вычисленное
p-значение было меньше желаемой частоты ошибок.
Как уже отмечалось, в медицине, психологии, нейронауках и био‑
логии часто задают желаемую частоту равной 0.05. Для большого раз‑
мера выборки и в ситуациях, когда рассматриваются как положитель‑
ные, так и отрицательные t-значения (двусторонний t-критерий),
значение p = 0.05 соответствует t = ±1.96. Стало быть, задание частоты
ошибок типа I, равной 0.05, соответствует порогу tcv = ±1.96. Именно
в силу этого соотношения в указанных областях применяют правило
двух (приближенно) сигм. t-значение можно вычислить вручную, но
для вычисления p-значения нужна статистическая программа.
Резюме. Если t-значение больше некоторой величины (завися‑
щей от размера выборки n), то мы заключаем, что имеется зна‑
чимый эффект.
1

Для выборок небольшого размера значение tcv больше, потому что выбо‑
рочное распределение не совсем нормальное. Статистические програм‑
мы, вычисляющие p-значение, автоматически вносят корректировки,
учитывающие отклонение выборочных распределений от нормальных.

54



Часть I. Принципы статистики

3.2.5. Ошибка типа II: подтверждения, пропуски
В общем случае ТОС говорит, что для данного d' задание порога
не только определяет частоту ошибок типа I, но и устанавливает ча‑
стоты правильных подтверждений, ошибочных пропусков и правиль‑
ных пропусков. Действительно, легко видеть, что использование по‑
рога, которому соответствует частота ошибок типа I 0.05, также опре‑
деляет частоту правильных пропусков (когда мы заключаем, что сви‑
детельств в пользу эффекта недостаточно, и действительно эффект
отсутствует), равную 1.0 − 0.05 = 0.95. Как показывает синяя область на
рис. 3.7, для данного порога площадь левого и правого хвоста под этой
кривой альтернативного выборочного распределения соответствует
вероятности взять выборки, порождающие правильное подтвержде‑
ние (порог превышен, и делается вывод о достаточном свидетельстве
в пользу различия средних генеральных совокупностей) и ошибку
типа II (порог превышен, и не делается вывод о достаточном свиде‑
тельстве в пользу различия средних генеральных совокупностей).

Рис. 3.6. Связь между статистикой t-критерия и p-значениями. (a) Для одностороннего критерия с t = 1.8 p-значение – это площадь под кривой правее 1.8, оно
равно 0.0359. (b) Для одностороннего критерия с t = 1.8 мы вычисляем площадь
обоих хвостов – правее +1.8 и левее –1.8. В этом случае p-значение равно 0.0718

Глава 3. Главная концепция статистики 

55

Поэтому создается впечатление, будто вычислить частоту ошибок
типа II было бы столь же просто. Но это не так. При вычислении ча‑
стоты ошибок типа I мы знаем, что выборочное распределение, со‑
ответствующее нулевой гипотезе, центрировано относительно од‑
ного значения, а именно 0. Следовательно, существует только одна
нулевая гипотеза. Однако альтернативных гипотез бесконечно мно‑
го (см. следствие 2e). Но, быть может, нас интересуют только значи‑
тельные различия между средними высотами на северном и южном
склоне, когда северные деревья выше южных не менее чем на 1.2 м.
Коли так, то мы знаем минимальное расстояние между распределе‑
ниями генеральных совокупностей и можем спросить, каким дол‑
жен быть размер выборки n, чтобы значимый результат достигался
как минимум в 80 % случаев.

Рис. 3.7. Выборочные распределения и вычисление частоты правильных подтверждений. Порог соответствует нижней границе красной заштрихованной области и нижней границе синей сплошной области. Любое t-значение, оказывающееся выше этого порога, приводит к решению отвергнуть H0 и заключить, что
средние генеральных совокупностей различны. Площадь синей области – вероятность того, что выборочное распределение Ha дает t-значение из этого диапазона. Частота ошибок типа I – площадь заштрихованной красным области под
красной кривой

Частота ошибок типа II играет важную роль с точки зрения мощ‑
ности. Мощностью называется вероятность получить значимый
результат, когда эффект действительно имеет место, т. е. когда вер‑
на альтернативная гипотеза. Мощность – это просто другой тер‑
мин для частоты правильных подтверждений. Частота правильных
подтверждений равна 1 минус частота ошибок типа II. Мощность
окажется в центре нашего внимания в части III и подробнее объ‑
ясняется в главе 7.

56



Часть I. Принципы статистики

3.3. Резюме
Все сказанное выше – фундаментальные вещи, важные для понима‑
ния статистики. Поэтому мы еще раз пройдемся по основным ша‑
гам и отметим наиболее важные моменты. Даже если вы не читали
предыдущих разделов, главные идеи будут понятны из этого крат­
кого изложения.
Нас интересовало, верно ли, что средняя высота дубов на север‑
ном склоне Альп такая же, как на южном. На этот вопрос ответить
просто. Нужно лишь обмерить все деревья, вычислить оба средних
и посмотреть, равны они или нет. Если какие-то деревья пропу‑
стить, то получатся оценки, которые, скорее всего, отличаются от
истинных средних. Чем меньше деревьев обмерено, тем больше выборочная ошибка, т. е. тем выше вероятность, что выборочные сред‑
ние значительно отличаются от истинных. Мы показали, что эту
выборочную ошибку можно количественно выразить с помощью
стандартной ошибки sx–, зависящей от стандартного отклонения
генеральной совокупности σ и размера выборки n. Если σ мало, то
нужно выбрать всего несколько деревьев, чтобы получить хорошую
оценку среднего. Например, если σ = 0, то достаточно выбрать по
одному дереву из каждой популяции, потому что все деревья имеют
одинаковую высоту. Если σ велико, то для получения хорошей оцен‑
ки среднего нужно взять много деревьев.
Теперь сформируем выборки деревьев с северного и южного скло‑
на Альп размера n, гораздо меньшего, чем общее число деревьев.
Вычислим среднюю высоту в обеих выборках. Из-за недостаточно‑
сти выборки выборочные средние почти наверняка будут различны.
Однако мы не знаем, объясняется ли наблюдаемое различие недо‑
статочностью выборки, или же средние генеральных совокупностей
действительно различны. Если истинные средние одинаковы, но на
основе различия выборочных средних мы пришли к выводу, что они
различны, то мы допустили ошибку типа I (рис. 3.4). Ученые обычно
стараются избегать ошибок типа I, потому что по умолчанию счи‑
тают, что эффекта нет, если только данные явно не указывают на
обратное. Никакой процесс принятия решений не может вовсе из‑
бежать ошибок типа I, но мы в состоянии контролировать частоту
таких ошибок. В этом отношении важную роль играет t-значение,
которое легко вычислить вручную:
t=

( x North  x South ) n
n
d .
s
2
2

(3.12)

Глава 3. Главная концепция статистики 

57

Мы вычисляем выборочные средние xNorth и xSouth по обмерам n дере‑
вьев xi, оцениваем стандартное отклонение s высот деревьев (серый
квадратик) и умножаем на функцию (квадратный корень) от поло‑
вины размера выборки n/2. Правая часть показывает, что t-значение
не что иное, как оценка размера эффекта d, умноженная на функцию
от размера выборки. t-значение говорит, насколько легко установить,
является ли различие выборочных средних следствием реального
различия средних генеральной совокупности. Ситуация в точности
такая же, как в главе 2. t-значение – это просто d', только вместо де‑
ления на стандартное отклонение мы делим на стандартную ошиб‑
ку, являющуюся мерой выборочной ошибки, которая принимает во
внимание шум, дисперсию генеральной совокупности и недостаточ‑
ность выборки. Большое t-значение означает, что различить средние
легко, а малое – что принять решение трудно. Отметим, что большое
t-значение может иметь место, потому что что велик размер эффек‑
та d, потому что велико n или по обеим причинам сразу.
Предположим, что никакого эффекта нет, т. е. средняя высота се‑
верных и южных деревьев одинакова (δ = 0). Тогда p-значение го‑
ворит, насколько вероятно, что случайная выборка даст t-значение,
не меньшее только что вычисленного. Таким образом, если нас
устраивает 5%-ная частота ошибок типа I и p-значение меньше 0.05,
то разность средних называется значимой.
p-значение полностью определено t-значением и вычисляется
статистическими программами. Важнее то, что t-значение объеди‑
няет оценку размера эффекта d с размером выборки (√n/2), и имен‑
но поэтому t-значение, а вместе с ним и p-значение смешивает
в одну кучу размер эффекта и размер выборки, а следовательно,
дает только частичную информацию! Это замечание поможет по‑
нять некоторые следствия, о которых мы расскажем после разбора
следующего примера.

3.4. Пример
Вычислить p-значение просто, как показано в следующем примере.
А вот понять следствия, вытекающие из t-критерия, сложнее.
Предположим, что мы измерили высоты пяти деревьев на север‑
ном склоне и пяти деревьев на южном. Данные представлены в пер‑
вом столбце на рис. 3.8. Там же приведены вычисления для двусто‑
роннего t-критерия. Для заданных размеров выборок и вычисленно‑
го t-значения наша статистическая программа сообщает, что соответ‑
ствующее p-значение равно 0.045. Поскольку это p-значение меньше

58



Часть I. Принципы статистики

0.05, мы заключаем, что данные свидетельствуют о значимом разли‑
чии между средними высотами северных и южных деревьев1.
Результаты подобных тестов часто сводятся в таблицу типа
табл. 3.1. p-значение находится в столбце «Знач. (двусторонний)».
В таблице также упомянуто число степеней свободы (df). Оно важно
для вычисления p-значения, потому что форма выборочного рас‑
пределения немного отличается от нормальной для выборок малого
размера. Величину df можно вычислить по размеру выборки, и на‑
оборот. В случае t-критерия df = n1 + n2 − 2 = 5 + 5 − 2 = 8.
Как уже отмечалось, значимость мало что говорит о полученных
результатах. Важно включать в отчет размер эффекта. Коэн предло‑
жил рекомендации для величин эффектов в случае t-критерия, они
приведены в табл. 3.2.
Что следует запомнить
• Поскольку p-значение определяется t-значением, оно сме‑
шивает в одну кучу размер эффекта (d) и размер выборки (n).
Изначально предполагалось, что t-критерий даст инструмент
для понимания того, в какой степени значимый результат
является следствием случайной выборки при заданном раз‑
мере эффекта d. В настоящее время p-значение часто оши‑
бочно используется как показатель размера эффекта, хотя
оно никогда не задумывалось для этой цели и такое приме‑
нение попросту неверно!
• Частичная информация: к правильным выводам можно
прий­ти, только принимая во внимание как оценку размера
эффекта в генеральной совокупности d, так и размер выбор‑
ки n. Поэтому важно включать в отчет оба значения – как ос‑
нову для умозаключений и чтобы понимать, вызван ли зна‑
чимый результат оценочным размером эффекта d, размером
выборки или тем и другим одновременно.

1

Вместо этого можно было бы найти критическое значение порога, tcv = ±2.306,
и заметить, что t отстоит от нуля дальше, чем это значение.

Глава 3. Главная концепция статистики 

59

Север

Юг

Рис. 3.8. Вычисления t-критерия для независимых выборок начинаются с вычисления средних по каждому столбцу (x—North и x—South, показаны в последних строках
первого столбца). Зная их, мы можем вычислить дисперсии (s2North и s2South в последних строках второго столбца). Число степеней свободы (df) для каждого столбца
вычисляется как число примеров в столбце минус единица. Затем вычисляется
объединенная дисперсия (s2p) как взвешенная сумма двух дисперсий (в роли веса
выступает число степеней свободы). Далее объединенная дисперсия подставляется в формулу стандартной ошибки s—x North–s—x South, и результат используется в знаменателе нашей формулы для t. В числителе стоит просто разность между средними,
вычисленными на первом шаге
Таблица 3.1. Результат типичного пакета статистических программ

Высота дерева

t

df

Знач. (двусторонний)

d Коэна

2.373

8

0.045

1.5 (большой эффект)

Столбцы t, df и Знач. (двусторонний) содержат t-значение, соот‑
ветствующее ему число степеней свободы и p-значение. Значение df
здесь равно сумме dfN и dfS (т. е. 4 + 4 = 8).
Таблица 3.2. Рекомендации Коэна по размеру эффекта d

Размер эффекта

Малый

Средний

Большой

0.2

0.5

0.8

60



Часть I. Принципы статистики

3.5. Следствия, комментарии и парадоксы
Для описанных ниже следствий особенно важна формула (3.12), по‑
тому что она говорит, что t-значение, а стало быть, и p-значение
определяются оценочным d и размером выборки n.

Следствия 1. Размер выборки
Следствие 1a. Согласно формуле (3.12), если оценочное значение
d ≠ 0, то всегда найдется n, для которого t-критерий будет значимым.
Поэтому даже при очень малом размере эффекта может получиться
значимый результат, если размер выборки достаточно велик. По‑
этому к значимым результатам приводит не только большой раз‑
мер эффекта, как могло бы показаться, но и любой отличный от нуля
размер эффекта при условии, что n достаточно велико1.
Следствие 1b. Если оценочное значение d ≠ 0 (и d < 4.31), то суще‑
ствует размер выборки n < m такой, что t-критерий не является зна‑
чимым для n, но является значимым для m2. Это утверждение может
показаться парадоксальным, если прочитать его следующим обра‑
зом: для n эффекта не существует, а для m существует. Однако та‑
кое прочтение некорректно. Мы можем только заключить, что для
m имеется достаточно свидетельств в пользу значимого результата,
а для n таких свидетельств недостаточно. Из нулевого результата
(когда мы не отвергаем нулевую гипотезу) нельзя сделать никаких
выводов (см. следствие 3). В части III мы увидим, что этот кажущий‑
ся парадокс указывает на ключевую проблему проверки гипотез.
Следствие 1c. Провокационный вопрос: «Разве не всегда существует
различие между двумя условиями, пусть совсем крохотное?» Кажет‑
ся, что, за исключением немногих случаев, различие между средни‑
ми двух генеральных совокупностей μ1 − μ2 никогда не обращается
в нуль. Сами посудите – насколько вероятно, что обе средние вы‑
соты деревьев – на северном и южном склоне – в точности равны
20.2567891119 м? Но раз так, то мы всегда сможем найти такой раз‑
мер выборки n, при котором результаты эксперимента будут значи‑
мыми. А зачем тогда нужны эксперименты?
1

2

Эту ситуацию можно также описать следующим образом. Если действи‑
тельно имеет место эффект d ≠ 0, например средние высоты деревьев
различаются, то можно найти такой размер выборки n, при котором зна‑
чимый результат получается почти во всех случаях (или с очень высокой
вероятностью).
Если d > 4.31 то статистику вычислять не нужно, потому что разность
велика. В этом случае даже n = 2 приводит к значимому результату.

Глава 3. Главная концепция статистики 

61

Следствия 2. Размер эффекта
Следствие 2a. Как уже отмечалось, p-значение не является способом
измерения размера эффекта в генеральной совокупности δ, и для
любого d ≠ 0 существует такое n, при котором результат является
значимым. Таким образом, даже малые эффекты могут быть значи‑
мыми. Согласно некоторым исследованиям ежедневное употребле‑
ние рыбьего жира может значимо продлить жизнь. Но, быть может,
всего на две минуты. Вам это важно?
Следствие 2b. Само по себе p-значение ничего не говорит о размере
эффекта. Например, с увеличением размера выборки (при прочих
равных условиях) p-значение уменьшается, потому что уменьшает‑
ся дисперсия выборочного распределения (см. рис. 3.3). Таким об‑
разом, если размер эффекта d остается неизменным, то p-значение
изменяется в зависимости от размера выборки.
Нулевая гипотеза верна
-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3

0.4

Рис. 3.9. В терминах размера эффекта нулевая гипотеза представлена ровно
одной, нулевой, точкой. Все остальные точки, коих бесконечно много, относятся
к гипотезе H1

Следствие 2c. p-значения двух экспериментов A и B могут совпасть.
Но из этого факта нельзя сделать никаких выводов. Например, мо‑
жет случиться так, что в эксперименте A был большой размер эф‑
фекта d и малый размер выборки, а в эксперименте B наоборот. Сле‑
довательно, при разных размерах выборки сравнивать p-значения
двух экспериментов нельзя. Аналогично если в эксперименте A
p-значение меньше, чем в B, то это не значит, что размер эффекта
больше. Просто мог быть больше размер выборки.
Следствие 2d. Если в исследовании с небольшим размером выборки
получилось малое p-значение, значит, оценочный размер эффекта
меньше, чем в исследовании с бóльшим размером выборки и таким
же p-значением.
Следствие 2e. Еще раз повторим и наглядно проиллюстрируем базо‑
вую ситуацию. Худший случай – когда нулевая гипотеза верна, т. е.
средние одинаковы, а мы заключаем, что они различны, т. е. совер‑
шаем ошибку типа I. В этом случае μ1 − μ2 = 0. Если нулевая гипотеза
неверна, то μ1 − μ2 отлично от 0 и, в принципе, может быть любым
значением от −∞ до +∞. Все эти значения являются частью альтер‑

62



Часть I. Принципы статистики

нативной гипотезы, согласно которой высота деревьев на северном
и южном склоне различается. Таким образом, беспокоясь по поводу
ошибки типа I и нулевой гипотезы, мы высказываем опасения от‑
носительно одной-единственной точки среди бесконечного множе‑
ства других точек (см. рис. 3.9).

Следствия 3. Нулевые результаты
Следствие 3a. Отсутствие доказательства – еще не доказательство от‑
сутствия: нельзя сделать вывод об отсутствии эффекта в эксперимен‑
те (d = 0), если не было значимого результата. Незначимое p-значение
говорит, что либо различия нет, либо оно есть, но слишком мало для
достижения значимости при заданном размере выборки n.
Следствие 3b. Разность значимостей не то же самое, что значимая
разность. Рассмотрим исследование по измерению воздействия
крема, содержащего алоэ вера, на кожную экзему. Пациенты с экзе‑
мой случайным образом распределены по двум группам: одна полу‑
чает крем с содержанием алоэ вера, другая – плацебо. По истечении
четырех недель повторно измеряется размер экземы. Имело место
значимое уменьшение в группе, получавшей алоэ вера, но не в кон‑
трольной группе (рис. 3.10). Возникает соблазн заключить, что алоэ
вера излечивает экзему. Однако в контрольной группе тоже имело
место уменьшение, только не такое значительное (возможно, объ‑
ясняющееся самоизлечением). На самом деле после вычисления
различия в уменьшении экземы для каждого участника исследова‑
ния в обеих группах и построения двустороннего t-критерия между
группами различие оказывается незначимым.
Можно возразить, что при большем размере выборки различие
между двумя группами могло бы оказаться значимым. Быть может,
и так. Однако мог бы также оказаться значимым и эффект плацебо.
И какой вывод мы должны сделать? Наперекор интуиции эта ситуа‑
ция не составляет проблемы, потому что мы можем спросить, верно
ли, что алоэ вера дает более сильный эффект, чем плацебо (и таким
образом свести на нет самоизлечение).
Этот пример показывает, что часто не имеет особого смысла срав‑
нивать утверждения типа «эффект наблюдался при условии A, но
не при условии B». Такие умозаключения встречаются в науке по‑
всеместно, но относиться к ним следует с большой осторожностью
(см. также главу 7). Классический пример – как в случае с алоэ вера,
сравнить последствия вмешательства, при котором ожидаются зна‑
чимые результаты, с контрольным экспериментом, в котором ожи‑
дается получение нулевого результата.

Глава 3. Главная концепция статистики 

63

Тяжесть экземы

10

9.8

9.6

9.4
Контрольная
Алоэ вера

9.2
Неделя 1

Неделя 4

Рис. 3.10. В исследовании воздействия алоэ вера на экзему экспериментальная
группа получала крем, содержащий алоэ вера, а контрольная группа – плацебо.
Тяжесть экземы измерялась в начале эксперимента и спустя четыре недели. На графике показана средняя тяжесть экземы для каждой группы при каждом измерении.
«Усы» обозначают стандартную ошибку каждого среднего. Тяжесть экземы значимо
уменьшилась в экспериментальной группе, но не в контрольной. Можем ли мы заключить, что алоэ вера излечивает экзему? Не можем, потому что тяжесть заболевания уменьшилась и в контрольной группе, возможно, вследствие самоизлечения.
На самом деле никакого значимого эффекта не было выявлено, когда улучшения
в обеих группах сравнили с помощью двустороннего t-критерия. Разность значимостей не то же самое, что значимая разность. На графике показаны средние значения
и соответствующие стандартные ошибки (см. врезку «Некоторые определения»)

Следствия 4. Истина, шум и изменчивость
Следствие 4a. Почему вообще мы вычисляем статистику? Часто не‑
явно предполагается, что статистика «очищает» от шумов, неизбеж‑
ных в сложных системах. В примере с подводной лодкой на результат
измерения оказывали влияние изменения в толще воды, например
рыбы и водоросли, или в самом устройстве, подверженном случайным
флуктуациям. Такого рода шум называется шумом измерений. Все ис‑
точники шума искажают истинный сигнал как при наличии скалы, так
и при ее отсутствии. Ситуацию можно описать следующей формулой:
x j = μ + ε j,
где xj – результат j-го измерения, μ – истинный сигнал, а εj – шум,
зависящий от испытания. Обычно предполагается, что εj имеет нор‑

64 

Часть I. Принципы статистики

мальное распределение с нулевым средним. Таким образом, класть
в основу решения одно испытание – неудачная мысль. Как уже от‑
мечалось, усреднение по многим измерениям может устранить шум.
Поэтому лучше сравнивать средние значения, а не одиночные изме‑
рения. Как мы видели, чем больше n, тем точнее измерение среднего.
Модель такого вида пригодна во многих областях, в частности
в физике. Однако в биологии, медицине и других науках ситуация
зачастую бывает совершенно иной. Например, мы могли бы опреде‑
лить силу головной боли до и после приема болеутоляющего. И об‑
наружить, что лекарство уменьшает боль в среднем. Но, как почти
всегда бывает с лекарствами, встречаются люди, на которых лекар‑
ство вообще не действует. Кроме того, на одних оно действует луч‑
ше, на других хуже; у кого-то головная боль почти проходит, а на
кого-то лекарство оказывает лишь слабый (или вовсе противопо‑
ложный) эффект.
Зависящие от человека эффекты можно описать следующей фор‑
мулой:
xij = μ + vi + εij,
где xij – одно измерение, например пациент i принял болеутоляющее
в день j, μ – среднее значение по всей генеральной совокупности, на‑
пример в какой степени лекарство уменьшает головную боль в сред‑
нем, а vi – чувствительность пациента i к данному болеутоляющему.
Как уже было сказано, одним людям лекарство всегда помогает, на
других не оказывает никакого действия, а у кого-то боль может даже
усилиться. Таким образом, vi определяет, насколько один человек
отличается от других – и от среднего μ. εij – шум измерений, он от‑
ражает, например, различие в воздействии лекарства на одного и то
же человека в разные дни. В некотором смысле εij улавливает неси‑
стематическую изменчивость, а vi – систематическую. Рассмотрим
еще один пример. У одного человека кровяное давление может быть
выше, чем у другого, и это различие отражается в групповой измен‑
чивости vi. В то же время кровяное давление у одного и того же чело‑
века может сильно отличаться в соседние минуты, и это отражается
членом εij, характеризующим персональную изменчивость.
Во многих экспериментах разделить vi и εij нелегко. Оба члена
вносят вклад в оценочное стандартное отклонение распределения
генеральной совокупности s. С точки зрения математики неваж‑
но, имеет ли место сильная групповая изменчивость или сильный
шум измерения. Но для интерпретации результатов статистическо‑
го анализа это различие принципиально важно. Предположим, что

Глава 3. Главная концепция статистики 

65

болеутоляющее оказывает сильный благоприятный эффект на по‑
ловину генеральной совокупности и слабое негативное воздействие
на другую половину. В среднем эффект лекарства положительный,
и этот эффект может оказаться значимым. Но важно, что, несмотря
на в среднем положительный эффект, для конкретного человека это
может быть не так. Для половины генеральной совокупности эффект
негативный, поэтому использовать такое болеутоляющее не сто‑
ит. Следовательно, когда vi отлично от нуля, значимые результаты
не позволяют делать заключения на уровне индивидуума. Исследо‑
вание может показать, что морковь в среднем хороша для зрения.
Но так ли это лично для вас, неясно. Морковь может даже ухудшить
ваше зрение, хотя другим людям помогает. Эти соображения не оз‑
начают, что все подобные исследования бессмысленны, они просто
указывают на ограничения в случае, когда vi ≠ 0 для некоторого i. Для
международных исследований уровня кровяного давления средние
значения вполне удовлетворительны. Но сравнивать себя с такой
большой группой обычно неразумно, что бы ни измерялось. Мало
того что такая выборка неоднородна и зависит от региона, так она
еще и включает людей разных возрастов. Индекс массы тела 27 мо‑
жет указывать на проблему для детей младше 5 лет, но необязатель‑
но для лиц старше 70 лет. Следовательно, осмысленность сравнения
средних очень сильно зависит от предмета исследования. Это во‑
прос интерпретации, а не вычисления статистики.
Следствие 4b. У рассмотренных выше соображений имеются и фи‑
лософские следствия. Обычно мы предполагаем, что некое явление
либо есть, либо нет. Сила притяжения действует либо на всю мате‑
рию во Вселенной, либо не действует. Кислород либо необходим че‑
ловеку, либо нет. Все эти факты имеют место для каждого отдельно‑
го субъекта, т. е. для каждого элемента Вселенной, для каждого че‑
ловека и т. д. Если некоторый факт был установлен с применением
методов, включающих статистику, то этот вывод необязательно обо‑
снован, когда vi отлично от 0, потому что результаты справедливы
лишь в среднем, а не для каждого конкретного субъекта.
Следствие 4c. Проблема изменчивости и шума становится еще се‑
рьезнее, если исследование имеет дело с неоднородной выборкой,
систематически изменяющейся по признаку, который явно не уч‑
тен. Например, из частоты посещения врача можно сделать вывод,
что студенты небольшого роста болеют чаще, чем более высокие.
Однако этот факт не имеет ничего общего с ростом. Просто сту‑
дентки в среднем ниже студентов-мужчин и посещают гинеколога

66



Часть I. Принципы статистики

чаще, чем мужчины – уролога. Однако женщины посещают гинеко‑
лога в основном в профилактических целях, а вовсе не болеют чаще
мужчин. Поскольку студенты вообще ходят по врачам очень редко,
статистический вес визитов к гинекологу оказывается велик. По‑
нятно, как ошибки интерпретации могут возникнуть в таких про‑
стых примерах. Но в более сложных случаях обнаружить их сложнее.
И к слову, стоит задаться вопросом, так ли правильно делать выводы
о частоте заболеваний на основе данных о посещении врачей.
Следствие 4d. К проблеме связи между изменчивостью и шумом
можно подойти и с другой стороны. Планируя эксперимент, необхо‑
димо указывать, кого в него включать. Для большей репрезентатив‑
ности хорошо делать выборку из всей генеральной совокупности,
например из всего населения одной страны или всего мира. Однако
при такой процедуре генеральная совокупность рискует оказаться
неоднородной, и делать какие-то выводы будет труднее. Нужно ли
включать космонавтов или пациентов, находящихся в коме? А как
насчет больных? Большой доли людей с повышенным кровяным
давлением? Чем больше частей генеральной совокупности вы ис‑
ключите, тем менее репрезентативной будет выборка. И в конечном
итоге может оказаться, что в ней нет никого, кроме вас.
Следствие 4e. И последнее. Эффект часто зависит от дозировки, т. е.
разные люди по-разному реагируют на разные дозы. Для кого-то
болеутоляющее может давать положительный эффект в малой дозе,
но принесет вред при ее увеличении. Следовательно, имеет место
не только систематическая групповая изменчивость, но и система‑
тическая персональная изменчивость в дополнение к несистемати‑
ческому шуму εij. Во многих экспериментах имеется много источни‑
ков, т. е. эффект зависит от дозировки, индивидуальных различий
и шума, и это существенно ограничивает возможность делать выво‑
ды. Ниже мы увидим, что эффекты, зависящие от дозировки, лучше
описывать с помощью корреляции (глава 8), а не t-критериев.

Следствия 5.
Следствие 5a. Парадокс статистики и опасности когортных исследо‑
ваний.
Для больших размеров эффекта, какие часто встречаются, напри‑
мер, в физике, вычислять статистику зачастую не нужно. Аналогично
гипотеза о том, что слоны в среднем больше муравьев, тоже не нужда‑
ется в статистике, потому что любой живущий на земле слон больше
любого муравья, так что δ очень велико. Изначально идея статистики

Глава 3. Главная концепция статистики 

67

состояла в том, чтобы установить, действительно ли «немного зашум‑
ленный эффект» существует, и определить размер выборки n, необ‑
ходимый для демонстрации существования эффекта. Можно сказать,
что статистика была разработана для эффектов и выборок среднего
размера. В прошлом обычно было невозможно получить значимые
результаты для эффектов небольшого размера, потому что данных
было мало, а обработка больших выборок оказывалась слишком гро‑
моздкой. Поэтому n, как правило, было мало, и только эксперименты
с эффектами большого размера давали значимые результаты. С тех
пор положение дел полностью изменилось, потому что собирать дан‑
ные стало гораздо дешевле, и теперь мы можем комбинировать и об‑
рабатывать миллионы примеров, как, например, в генетике. Поэтому
сегодня статистика широко используется не только для средних, но
и для очень малых размеров эффекта. Однако такое развитие не сво‑
бодно от опасностей. Во-первых, не следует путать большой размер
выборки с большим размером эффекта (следствие 2a). Во-вторых, за‑
частую очень трудно прийти к каким-то выводам, особенно в так на‑
зываемых когортных исследованиях. Например, в когортных исследо‑
ваниях пациенты сравниваются с контрольной группой или вегетари‑
анцы с мясоедами. Обе группы определяются присвоенной меткой.
Рассмотрим пример. Начиная с 1948 года, в небольшом городке
Фреймингем в штате Массачусетс было измерено кровяное давление
у 5209 участников. На рис. 3.11 по оси x отложен возраст участников,
а по оси y систолическое давление. Данные разбиты на группы по
уровню образования. Во-первых, мы видим отчетливый эффект воз‑
раста. Во-вторых, чем выше образование, тем ниже кровяное давле‑
ние. Применяя статистические методы, описанные в главе 6, мож‑
но заключить, что эффект образования значимый. Означает ли это,
что чем дольше человек учился, тем ниже у него давление? Вероят‑
но, нет. Быть может, образованные люди меньше курят. Может, так,
а может, и нет. Быть может, они выкуривают меньше сигарет в день
(зависимость от дозировки). Может, так, а может, и нет. Быть может,
они начали курить позже, а бросили раньше. Может играть роль
питание. Спорт. Условия работы. Генетика. Быть может, существует
малая подгруппа, которая работает к крайне нездоровых условиях,
что само по себе приводит к повышению давления. Количество по‑
тенциальных факторов зашкаливает, причем многие из них по сей
день неизвестны и, возможно, будут открыты в будущем: что, напри‑
мер, если включение в диету мандаринов снижает давление? Кроме
того, может играть роль комбинация факторов. Быть может, питание
существенно, только когда человек не занимается никаким спортом.



Часть I. Принципы статистики
Систолическое кровяное давление (мм ртутного столба)

68

Уровень образования (лет)
12 или меньше

140

13–16
17 или больше
130

120

110

30

40

50
60
Возраст (лет)

70

80

Рис. 3.11. Зависимость среднего систолического давления от возраста для трех
генеральных совокупностей людей из городка Фреймингем в штате Массачусетс,
США. «Усы» показывают стандартную ошибку каждого среднего. Три совокупности
различаются продолжительностью образования. Кровяное давление увеличивается с возрастом. Кроме того, давление ниже всего в группе с наибольшим числом
лет образования и выше всего в группе с наименьшим числом лет образования.
Что мы можем отсюда заключить? Как показано ниже, не много. Данные заимствованы из работы Loucks et al. [1]

Различие в кровяном давлении между разными с точки зрения
образования группами составляет всего 2 мм ртутного столба. Что‑
бы эта цифра была понятна в контексте, измерьте свое давление
и повторите измерение через 5 мин. Вы увидите, что 2 мм ртутного
столба – это очень мало по сравнению с вашей персональной измен‑
чивостью (εij) и по сравнению с более широким диапазоном группо‑
вой изменчивости (vi). К тому же давление сильно зависит от актив‑
ности. Быть может, разница существует, только когда давление из‑
меряли в состоянии покоя. А быть может, и нет. Основная проблема
таких когортных исследований в том, что имеется слишком много
факторов, которые причинно связаны, но не могут контролировать‑
ся. Чтобы контролировать все эти эффекты и комбинации, размер
выборки должен быть больше, чем проживает людей на планете.
Да и вообще, имеет ли смысл исследовать разницу в 2 мм ртутно‑

Глава 3. Главная концепция статистики 

69

го столба? Если вы хотите снизить свое давление, немного занятий
спортом сделают больше и обойдутся куда дешевле тысяч долларов,
уплаченных за получение образования.
Следствие 5b. Небольшой размер эффекта. Как показано выше,
к исследованиям с небольшим размером эффекта следует подходить
с сугубой осторожностью. Однако малый размер эффекта не всегда
является проблемой. Во-первых, хорошо бы уменьшить побочные
эффекты лекарства, потребляемого миллионами людей, пусть даже
всего на 1 %. Во-вторых, многие важные открытия начинались с ма‑
лых эффектов, и лишь последующие исследования позволили отто‑
чить методы и произвести больший эффект.
Следствие 5c. Выводы. Важно, что проблему может вызывать как
большой, так и малый размер выборки. Хорошо известно, что вы‑
боркамалого размера составляет проблему из-за недостаточности.
В меньшей степени осознано, что и выборка большого размера мо‑
жет оказаться проблематичной, если размер эффекта мал, поскольку
даже крохотные различия могут стать значимыми. В частности, ко‑
гортные исследования с малым размером выборки и большим раз‑
мером эффекта часто бесполезны, поскольку небольшая корреляция
между исследуемым фактором и посторонними факторами может
привести к значимым результатам. Поэтому важно принимать во
внимание как размер эффекта, так и размер выборки. Но если раз‑
мер выборки n обычно упоминается, то размер эффекта далеко
не всегда. Для t-критерия размер эффекта часто выражают в форме
d Коэна (см. также главу 4). В следующих главах мы поговорим о раз‑
мерах эффекта в других критериях.
Как читать статистику? Для разных выборок оценка эффекта d'
может сильно разниться. Чем больше размер выборки n, тем мень‑
ше дисперсия и тем точнее оценка. Следовательно, первым делом
нужно посмотреть, достаточно ли n велико. Если да, решить, отвеча‑
ет ли размер эффекта предмету исследования. Крохотные размеры
эффектов важны лишь в немногих случаях и могут проистекать по
причине запутанных, неидентифицируемых факторов. В части III
мы увидим, что комбинация размера выборки и размера эффекта
может приводить к интересным мыслям по поводу того, стоит ли до‑
верять исследованию. Например, мы зададимся вопросом, насколь‑
ко вероятно, что четыре эксперимента, в каждом из которых раз‑
меры выборки и эффекта были малы, могут привести к значимым
результатам с p-значениями ниже 0.05.

70



Часть I. Принципы статистики

Что следует запомнить
1. Даже небольшой размер эффекта может приводить к значи‑
мым результатам, если размер выборки достаточно велик.
2. Не сравнивайте p-значения двух экспериментов с разными n:
из того, что p меньше, не следует большая значимость.
3. Статистическая и практическая значимость не одно и то же.
4. Отсутствие доказательства еще не есть доказательство отсут‑
ствия: избегайте делать выводы из нулевого результата.
5. Не сравнивайте значимый эксперимент с незначимым кон‑
трольным экспериментом.
6. Когортные исследования с малым эффектом обычно бесполезны.
7. Утверждение вида «X истинно» действительно истинно, толь‑
ко когда групповая изменчивость равна нулю.

Литература
1. Loucks EB, Abrahamowicz M, Xiao Y, Lynch JW. Associations of education
with 30 year life course blood pressure trajectories: Framingham Offspring
Study. BMC Public Health. 2011;28(11):139. https://doi.org/10.1186/14712458-11-139.

Глава 4
Вариации на тему t-критерия
Что вы узнаете из этой главы
В главе 3 мы познакомились с базовой концепцией статистики в кон‑
тексте ТОС. Здесь мы представим введение в классическую теорию
проверки гипотез и опишем вариации на тему t-критерия.

4.1. Немного терминологии
Тип эксперимента
 Экспериментальное исследование: образцы случайно распре‑
делены между двумя группами. Например, пациенты случайным образом включаются либо в экспериментальную группу,
получающую потенциально эффективное лекарство, либо
в контрольную группу, получающую плацебо.
 Когортное исследование: группы определены заранее задан‑
ными метками, например пациенты и контрольная группа,
вегетарианцы и мясоеды, космонавты и обитатели земли. Ко‑
гортные исследования проводятся часто и с пользой, но стал‑
киваются с рядом серьезных проблем, описанных в главе 3,
следствие 5a.
Типы переменных и метрики. На графиках по оси x обычно откла‑
дывается независимая переменная, а по оси y зависимая. Для пере‑
менных обоих типов существует четыре основных типа измеритель‑
ных шкал.
 Номинальная: значения не упорядочены. Например, кровя‑
ное давление определяется для людей из разных стран. По оси
x можно отложить страны в любом порядке. Другой пример но‑
минальной шкалы: терапия A и B.
 Порядковая: только ранги. Например, ранг генерала выше, чем
лейтенанта, но нельзя сказать, что он вдвое выше. По оси x от‑

72 

Часть I. Принципы статистики

кладываются ранги в порядке возрастания. Расстояние между
точками на оси x не имеет значения.
 Интервальная: значения можно складывать и вычитать, но
умножение и деление не имеют смысла. День, когда на тер‑
мометре 30 °C, жарче, чем день, когда термометр показывает
15 °C, но не вдвое жарче, потому что 0 °C не означает отсут‑
ствие тепла. Поэтому физики пользуются шкалой Кельвина,
в которой 0 K является абсолютным нулем.
 Относительная: значения можно складывать, вычитать, умно‑
жать и делить, в частности, имеют смысл отношения. Класси‑
ческий пример – измерение веса (например, в килограммах).
Значение 0 определяет начальную точку шкалы и означает
«нет», к чему бы ни относилась переменная: к длине, весу или
чему-то еще.
Типы критериев
 Параметрический критерий: критерий, в котором предпола‑
гается некоторая модель распределения данных. Например,
в главе 3 мы предполагали, что высоты деревьев в генеральной
совокупности распределены нормально. Параметрические
распределения обычно можно описать небольшим числом
параметров (например, средним и стандартным отклонением
в случае нормальных распределений).
 Непараметрический критерий: никакое конкретное распре‑
деление не предполагается. Некоторые непараметрические
эквиваленты t-критерия обсуждаются ниже.

4.2. Стандартный подход: проверка нулевой гипотезы
В главе 3 мы объясняли статистику в контексте ТОС. Здесь же мы
опишем классический подход – проверку нулевой гипотезы – на
примере двухвыборочного t-критерия.
Шаги принятия статистического решения в двухвыборочном
t-критерии следующие.
1. Сформулировать альтернативную гипотезу, обозначаемую H1,
например Терапия A лучше Терапии B (или отличается от нее).
2. Предположить, что верна гипотеза H0: между Терапией A и Те‑
рапией B нет различий.
3. На основании имеющихся данных вычислить стандартную
ошибку:

Глава 4. Вариации на тему t-критерия 

sX

A

 XB

73

 s 2 / n.

4. Вычислить статистику критерия, как в главе 3,
t=

xA − xB
.
sx A − x B

и соответствующее p-значение.
5. Принять решение. Если p ≤ 0.05, отвергнуть гипотезу H0 и при‑
нять H­: считать эффект значимым. Если p > 0.05, нельзя вы‑
сказать никакого утверждения, в частности нельзя заключить,
что H0 верна.
У описанного подхода есть полезное свойство: устанавливается
предельная вероятность допустить ошибку типа I (ложноположитель‑
ный результат). Предположим, что нулевая гипотеза в действитель‑
ности верна; это значит, что выборка формируется из распределения
чистого шума. Если выбрать много примеров из такого распределе‑
ния, то обнаружится, что в среднем p меньше 0.05 только в 5 % случа‑
ев. Можно усилить ограничение и потребовать, чтобы p < 0.01, в таком
случае p будет меньше 0.01 только в 1 % случаев. Конечно, не обойтись
без компромисса: чем строже ограничение, тем больше частота оши‑
бок типа II (ошибочных пропусков) – когда примеры на самом деле
выбираются из распределения альтернативной гипотезы.

4.3. Другие t-критерии
4.3.1. Одновыборочный t-критерий
Иногда требуется сравнить одно среднее с фиксированным значе‑
нием. Это называется одновыборочным t-критерием. Например, ис‑
следователь хочет показать, что в результате терапии повышается
IQ, в среднем равный 100. Мы предполагаем, что без терапии оценка
среднего распределения μ0 = 100. Следовательно, если нулевая гипо‑
теза верна и терапия не дает никакого эффекта, то мы получим стан‑
дартизованное распределение IQ в генеральной совокупности. Стан‑
дартное отклонение среднего выборочного распределения равно
sx =

s ,
n

(4.1)

74



Часть I. Принципы статистики

т. е. стандартной ошибке среднего. t-значение вычисляется по фор‑
муле
x - µ0
,
t=
(4.2)
sx
а количество степеней свободы равно
df = n – 1.

(4.3)

Располагая этой информацией, мы можем вычислить p-значение
и принимать решения так же, как в двухвыборочном t-критерии.

4.3.2. t-критерий для зависимых выборок
Часто бывает, что имеются две выборки данных, но они как-то свя‑
заны между собой. Например, исследователь хочет проверить, повы‑
шает ли терапия уровень эритроцитов в крови, для чего сравнивает
их концентрацию до и после терапии у одних и тех же обследуемых.
Другой пример – мы хотим измерить, какие боевики предпочитают
пары, состоящие в отношениях. Ключевая характеристика – каждая
отметка, измеренная в одной выборке, может быть однозначно при‑
вязана к оценке в другой выборке. Следовательно, для каждой пары
мы можем создать разностный пример. Итак, два показателя кон‑
центрации эритроцитов для данного пациента – до (x) и после (y)
терапии – дают один разностный пример для этого пациента:
d = y – x.

(4.4)

Теперь у нас имеется одна выборка разностных примеров, и мы
можем применить к ней одновыборочный t-критерий, как было
описано выше. Стандартная ошибка разностных примеров равна
sd =

sd
n

,

(4.5)

где sd – стандартное отклонение выборочных разностных примеров
d (обратите внимание на контекст обсуждения и не путайте эту ве‑
личину с d Коэна). Как и прежде, мы можем сравнить выборочное
среднее с гипотетической разностью средних генеральных сово‑
купностей (только нужно обязательно брать разность средних гене‑
ральных совокупностей так же, как для индивидуальных примеров):
t=

d  ( y   x )
sd

.

(4.6)

Глава 4. Вариации на тему t-критерия 

75

Вычислим p-значение так же, как раньше, по формуле:
df = n – 1.

(4.7)

Этот критерий также называют t-критерием с повторными изме‑
рениями, парным t-критерием или внутрисубъектным t-критерием.

4.3.3. Односторонние и двусторонние критерии
В примерах выше нас неявно интересовало, различаются ли средние
двух групп (μA ≠ μB), т. е. мы не задавались вопросом, лучше ли Терапия A,
чем Терапия B. Такие t-критерии называются двусторонними, потому
что большое t-значение может встретиться в любом хвосте нулевого
выборочного распределения. Можно было бы также постулировать,
что если различие имеется, то Терапия A лучше Терапии B (μA > μB).
Наоборот, можно было постулировать, что если различие имеется, то
Терапия B лучше Терапии A (μB > μA). В этих случаях t-значение может
находиться только в одном хвосте (см. рис. 3.5). Таким образом, для
одностороннего критерия нужно удовлетворить только одно порого‑
вое условие, а потому для обеспечения желаемой частоты ложнополо‑
жительных результатов 0.05 требуется меньший порог. Поэтому мощ‑
ность одностороннего критерия выше, чем двустороннего.
Однако применение одностороннего t-критерия несет в себе про‑
тиворечие. В рассмотренном в главе 3 примере деревья на северном
склоне могут быть выше или ниже деревьев на южном склоне. Сле‑
довательно, двусторонний t-критерий подходит лучше, если только
нет веских оснований полагать, что северные деревья выше южных.
Односторонний критерий нельзя использовать, когда двусторонний
критерий привел к незначимому результату (см. раздел 11.3.5)! Кро‑
ме того, не следует делать выбор в пользу одностороннего критерия
только потому, что в наблюдаемых данных одно среднее больше
другого. Решение о том, какой критерий – односторонний или дву‑
сторонний – использовать, следует принимать, только если оно тео‑
ретически обосновано, оно не должно основываться на данных или
результате вычислений.

4.4. Предположения в основе
t-критерия и их нарушения
В традиционных учебниках написано, что основной смысл
t-критерия – контроль частоты ошибок типа I (частоты ложных тре‑
вог). Отклонения от сформулированных ниже предположений почти

76



Часть I. Принципы статистики

всегда изменяют соответствующую частоту ошибок типа I – иногда
сильно, а иногда слабо.

4.4.1. Данные должны быть независимы
и одинаково распределены
Выборочные данные должны быть независимы и одинаково рас‑
пределены (англ. IID). Это требование обязательно для многих ста‑
тистических критериев. Например, мы хотим проверить, верно ли,
что болеутоляющее не только уменьшает головную боль, но также
снижает температуру тела. Мы можем набрать выборку участников,
измерить их температуру до и после приема лекарства и вычислить
парный t-критерий. Важно, что действия с каждым участником
производятся только один раз. Если вы хотите выдвинуть гипотезу
о генеральной совокупности, то не можете поставить эксперимент
только на себе 10 раз подряд или в течение 10 дней, потому что та‑
кие данные не будут независимыми. Быть может, вы единственный
человек на планете, на которого данное болеутоляющее действует.
Рассмотрим еще один пример. Измеряется острота зрения в вось‑
ми точках поля зрения для трех пациентов. Таким образом, имеет‑
ся 24 измерения, но они не являются независимыми, поэтому мы
не можем выполнить для них t-критерий. Можно было бы усреднить
все восемь точек для одного пациента и вычислить t-критерий. А это
значит, что размер выборки равен всего 3, а не 24.
Данные должны быть одинаково распределены, т. е. выбирать их
следует из одного и того же распределения генеральной совокупно‑
сти. Например, в одну выборку нельзя включать высоты растений
разных видов. Даже если оба распределения нормальные, дисперсии
для дубов и эдельвейсов могут сильно различаться. Если, например,
мы измеряем высоты в выборке растений, произрастающих на север‑
ном и южном склоне, то различия могут быть велики просто потому,
что на севере растет больше дубов и меньше эдельвейсов, чем на юге.

4.4.2. Распределения генеральной совокупности
нормальные
Для применения t-критерия требуется, чтобы распределения ге‑
неральной совокупности были нормальными1 или чтобы размер
выборки был велик (часто значения n = 30 достаточно). Однако
1

Выполнение предположения о нормальности можно проверить с помо‑
щью критерия Колмогорова–Смирнова.

Глава 4. Вариации на тему t-критерия 

77

t-критерий является довольно робастным для генеральных совокуп‑
ностей, не сильно отличающихся по форме от нормального. Под ро‑
бастностью мы понимаем, что частота ошибок типа I близка к жела‑
тельной (например, 5 %, когда гипотеза H0 отвергается, если p < 0.05).
При условии одномодальности1 распределения даже сильная асим‑
метрия слабо влияет на частоту ошибок типа I t-критерия (у асимме‑
тричного распределения один хвост длиннее другого).

4.4.3. Шкала зависимой переменной
Поскольку t-критерий сравнивает средние, требуется, чтобы зави‑
симая переменная соответствовала шкале измерения. Вычисление
среднего для номинальных данных не имеет смысла. Вычисление
дисперсии (или стандартного отклонения) для номинальных или
порядковых данных тоже бессмысленно. Поскольку при вычисле‑
нии t-критерия используются выборочное среднее и выборочное
стандартное отклонение, ни номинальные, ни порядковые данные
с его помощью анализировать нельзя.
Существуют разные мнения о том, следует ли применять t-крите­
рий к интервальным данным. Строго говоря, свойства t-критерия
требуют относительной шкалы измерений, но во многих случаях его
поведение достаточно разумно и для интервальных данных.
Таблица 4.1. Частоты ошибок типа I для 10 000 смоделированных t-критериев
с разными стандартными отклонениями генеральной совокупности и размерами
выборок
n1 = n2 = 5
σ2 = 1

σ2 = 5

n1 = 5, n2 = 25
σ2 = 1

σ2 = 5

σ1 = 1

0.050

0.074

0.052

0.000

σ1 = 5

0.073

0.051

0.383

0.47

4.4.4. Равные дисперсии генеральной совокупности
Стандартный двухвыборочный t-критерий предполагает, что дис‑
персия обеих генеральных совокупностей одинакова. Неравные
стандартные отклонения, особенно в сочетании с неравными раз‑
мерами выборок, могут очень сильно повлиять на частоту ошибок
1

Кривая одномодального распределения имеет только одну вершину. На‑
пример, таковым является нормальное распределение. Распределения,
имеющие две вершины, называются двухмодальными.

78

 Часть I. Принципы статистики

типа I. В табл. 4.1 показана частота ошибок типа I для 10 000 смоде‑
лированных t-критериев, когда нулевая гипотеза в действительно‑
сти была верна. Для каждого смоделированного критерия программа
генерировала «данные» из распределений генеральных совокупно‑
стей и вычисляла для них t-критерий. В разных операциях модели‑
рования стандартные отклонения генеральных совокупностей были
либо равны (например, σ1 = σ2 = 1), либо не равны (например, σ1 = 5,
σ2 = 1), и размеры выборки тоже либо равны (например, n1 = n2 = 5),
либо не равны (например, n1 = 5, n2 = 25).
Таблица 4.1 показывает, что если размеры выборок равны, то раз‑
личие в стандартных отклонениях генеральной совокупности не‑
сколько увеличивает частоту ошибок типа I. Приблизительно для
7 % примеров нулевая гипотеза отвергалась. Однако если размеры
выборок не равны и дисперсии тоже различны, то частота ошибок
типа I либо много меньше, либо много больше. Если малая выбор‑
ка сочетается с малым стандартным отклонением генеральной со‑
вокупности, то частота ошибок типа I гораздо меньше желаемого
порога, 0.05. В этом конкретном наборе моделирований ни один
t-критерий не отверг нулевую гипотезу. С другой стороны, если ма‑
лая выборка сочетается с большим стандартным отклонением гене‑
ральной совокупности, то частота ошибок типа I приближенно равна
40 %, что примерно в восемь раз больше желаемого порога 5 %! Про‑
блема в том, что по умолчанию t-критерий объединяет стандартное
отклонение каждой выборки, чтобы породить одну оценку стан‑
дартного отклонения генеральной совокупности. Если малая вы‑
борка сочетается с малым стандартным отклонением генеральной
совокупности, то объединенная оценка слишком велика, и критерий
вряд ли отвергнет нулевую гипотезу. Если малая выборка сочетается
с большим стандартным отклонением генеральной совокупности,
то объединенная оценка слишком мала, и вероятность, что крите‑
рий отвергнет нулевую гипотезу, слишком велика.
Эти проблемы можно решить, воспользовавшись вариантом
t-критерия, который называется критерием Уэлча. Однако это об‑
ходится не бесплатно: если стандартные отклонения действительно
равны, то мощность критерия Уэлча оказывается меньше, чем стан‑
дартного t-критерия (меньше вероятность отвергнуть нулевую ги‑
потезу, когда имеется реальное различие).

4.4.5. Фиксированный размер выборки
Перед тем как начинать эксперимент, необходимо зафиксировать
размер выборки для обеих групп. По ходу эксперимента изменять

Глава 4. Вариации на тему t-критерия 

79

размеры выборок нельзя. Удовлетворить это требование труднее,
чем может показаться. Как оно может быть нарушено и что из этого
следует, мы обсудим в разделе 10.4.1
Таблица 4.2. Параметрические критерии и соответствующие им непараметрические критерии
Параметрический

Непараметрический

Одновыборочный t-критерий

Критерий знаков

Двухвыборочный t-критерий

Критерий суммы рангов Уилкоксона

t-критерий с повторными измерениями

U-критерий Манна–Уитни

4.5. Непараметрический подход
Если распределение данных не нормальное, то можно рассмотреть
применение непараметрического критерия. Каждому из описан‑
ных выше t-критериев соответствует непараметрический крите‑
рий (см. табл. 4.2).
Мощность непараметрических критериев меньше, потому что
они не могут пользоваться моделью, т. е. непараметрическим крите‑
риям для получения значимых результатов обычно нужны выборки
большего размера.
Вычисления для непараметрических критериев сильно отлича‑
ются от вычисления t-критерия, но они следуют тем же базовым
принципам ТОС.
Что следует запомнить
1. Для применения t-критерия данные должны быть независи‑
мы и одинаково распределены, а шкала по оси y должно быть
относительной.
2. Данные должны быть распределены нормально, или n должно
быть велико.

1

Можно зафиксировать размер выборки n и применить дополнительное
условие, например: всего в выборке 20 участников, но если проверка
зрения, проведенная до эксперимента, показала, что у участника пони‑
женная острота зрения, то данный участник на этом этапе исключается
и может быть заменен другим.

80



Часть I. Принципы статистики

4.6. Принципиальные основы статистических
критериев
Вернемся к t-критерию. В своем исследовании мы задались во‑
просом о том, различаются ли средние высоты деревьев. Затем мы
сделали допущение о статистической модели – предположили, что
высоты деревьев распределены нормально. Из этой модели мы вы‑
вели уравнение для t-значения, которое называется статистикой
критерия, и это позволило нам вычислить p-значение и тем самым
контролировать частоту ошибок типа I. Этот принцип можно при‑
менить ко многим статистическим вопросам. Например, можно
спросить, различаются ли дисперсии двух распределений генераль‑
ной совокупности, различаются ли формы распределений генераль‑
ной совокупности (критерий χ2) или отлично ли от 1 отношение двух
средних (z-критерий). Более сложные критерии вычисляют, напри‑
мер, средние, зависящие от других переменных, а еще более слож‑
ные предполагают значительно более сложные модели, например
иерархического распределения вероятностей.
Для всех критериев принцип один и тот же, и все их можно по‑
нять в рамках ТОС, выдвигая те же аргументы, что и для t-критерия.
Единственное различие заключается в том, что используется стати‑
стическая модель, отличная от t-распределения. Как именно вычис‑
ляются статистики различных критериев, не так существенно для
понимания, потому что эти вычисления можно поручить компью‑
теру. Для всех параметрических критериев p-значение объединяет
размер эффекта и размер выборки.

4.7. Что дальше?
Всегда полезно планировать максимально простой эксперимент, что‑
бы можно было применить t-критерий или соответствующий непа‑
раметрический критерий. Однако максимальная простота не всегда
достижима. Например, может понадобиться изучить более двух ге‑
неральных совокупностей деревьев, и тогда t-критерий неприменим.
Увеличение числа переменных, например генеральных совокупно‑
стей деревьев, приводит к задаче множественной проверки гипотез,
которую мы опишем в следующей части книги. Эту задачу можно
решить либо статистическими методами, либо благодаря искусному
планированию эксперимента (глава 7). Мы рассмотрим наиболее рас‑
пространенные методы, потому что они включают подход, не оче‑

Глава 4. Вариации на тему t-критерия 

81

видный из описания t-критерия. Хотя существуют и другие критерии,
мы не станем объяснять их в этой книге, потому что она посвящена
основам статистики и не является полным сводом методов.
В части I мы ввели в рассмотрение многие фундаментальные тер‑
мины статистики, необходимые пользователям статистических про‑
грамм. Читатели, которых не интересуют конкретные тесты, описы‑
ваемые в части II, могут перейти сразу к части III, где эти термины
используются для объяснения того, почему в данный момент мы пе‑
реживаем кризис науки и статистики.

Часть II
Множественная
проверка гипотез

Глава 5
Задача множественной
проверки гипотез
Что вы узнаете из этой главы
В части I мы рассматривали самое простое статистическое сравне‑
ние, а именно сравнение двух средних. Мы описали t-критерий, ко‑
торый обладает большой мощностью и, следовательно, является хо‑
рошим критерием, рекомендуемым к применению всюду, где воз‑
можно. Но иногда сравнения двух средних недостаточно, например
если мы хотим сравнить генеральные совокупности деревьев в трех
регионах планеты. В таком случае возникает задача множественной
проверки гипотез, в которой риск допустить ошибку типа I выше.
В этой главе мы познакомимся с задачей множественной провер‑
ки гипотез и представим поправку Бонферрони как один (неопти‑
мальный) из способов ее решения.

5.1. Независимые проверки
Чтобы понять, в чем состоит задача множественной проверки гипо‑
тез, рассмотрим следующую ситуацию. Вычисляя один t-критерий,
мы знаем, что если нулевая гипотеза в действительности верна, то
частота ошибок типа I равна α = 0.05. По-другому то же самое можно
выразить, сказав, что ошибка типа I (ложная тревога) не возникает
в 1−0.05 % случаев, если нулевая гипотеза верна. При вычислении
двух независимых t-критериев вероятность не допустить ложную
тревогу равна 0.952 = 0.9. Для 12 сравнений 0.9512 = 0.54. Таким обра‑
зом, вероятность хотя бы одной ложной тревоги при 12 сравнениях
равна 1 − 0.54 = 0.46. Следовательно, с увеличением числа сравнений
ложные тревоги становятся все более и более вероятными (рис. 5.1).
В общем случае вероятность хотя бы одной ошибки типа I для m не‑
зависимых проверок равна:

Глава 5. Задача множественной проверки гипотез 
1 − (1 − α)m,

85

(5.1)

или 1 − (1 − 0.05)m для α = 0.05.
1

Вероятность ошибки типа I

0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

10

20

30

40

50

60

70

80

90

100

Число сравнений

Рис. 5.1. Частота ошибок типа I (частота ложных тревог) сильно зависит от числа
сравнений. Так, при 12 сравнениях (красные штриховые линии) вероятность хотя
бы одной ложной тревоги равна 0.46 – гораздо выше, чем вероятность 0.05 при
одном сравнении

Поправки Бонферрони. Классический способ учесть увеличение ча‑
стоты ошибок типа I заключается в том, чтобы уменьшить требу‑
емый уровень значимости. Если мы хотим, чтобы частота ошибок
типа I для m независимых критериев была равна 0.05, то должны
приравнять выражение (5.1) к 0.05 и решить получившееся уравне‑
ние относительно α:
1

  1  ( 0.95) m 

0.05
.
m

(5.2)

Чтобы частота ложных тревог была равна 0.05 для всех m прове‑
рок, необходимо выполнение условия:
p<

0.05
.
m

(5.3)

Следовательно, в случае нескольких проверок для достижения
требуемой значимости необходимо меньшее p-значение для каж‑
дой проверки. Теория обнаружения сигнала говорит, что более кон‑
сервативный порог всегда связан с компромиссом между правиль‑

86



Часть II. Множественная проверка гипотез

ными подтверждениями и ложными тревогами. И действительно,
при использовании поправки Бонферрони мощность (частота пра‑
вильных подтверждений) резко уменьшается.
Статистики спорят по поводу того, полезны ли вообще поправки
Бонферрони (и аналогичные им), и если да, то в каких случаях. Оче‑
видно, что не следует рассматривать m как общее число проверок ги‑
потез, выполненных вами на протяжении всей своей научной карье‑
ры. На самом деле если проверяются гипотезы по совершенно раз‑
личным вопросам, то кажется разумным заводить отдельную часто‑
ту ошибок типа I для каждого вопроса, и поправка вообще не нужна.
Есть еще и такой вариант ситуации, в которой нужна множествен‑
ная проверка гипотез. Вы набрали выборку под некоторую гипотезу,
которая оказалась не значимой. Вы решили проверить другие гипо‑
тезы. Например, при работе над некоторым заданием не обнару‑
жилось разницы в способности к запоминанию между мужчинами
и женщинами. Тогда вы решили проверить, верно ли, что молодые
женщины показывают иные результаты, чем пожилые, и то же самое
для мужчин. Для каждой из этих гипотез есть риск ложной трево‑
ги, и его нужно скорректировать. Следовательно, задавать слишком
много вопросов чревато проблемами. Хотя эти проверки не являют‑
ся независимыми, поправка Бонферрони может эффективно кон‑
тролировать частоту ошибок типа I.

5.2. Зависимые проверки
Формула (5.1) справедлива, когда все проверки независимы. Если
один и тот же набор данных служит для ответа на много вопросов,
то независимость проверок может быть поставлена под сомнение,
потому что данные используются многократно. Хотя поправка Бон‑
феррони и способна ограничить частоту ошибок типа I, она может
оказаться чрезмерно консервативной, но насколько сильно это по‑
влияет, зависит от природы зависимостей.
Например, допустим, что мы делаем выборку из популяции сере‑
бряных карасей в пруду, и нас интересует, правда ли, что больший
хвост может служить признаком большего сердца. По чистой слу‑
чайности в состав выборки попала рыба, по которой можно пред‑
положить, что такая зависимость существует, хотя на самом деле
в генеральной совокупности ее нет, – наш экземпляр дал ложную
тревогу. Теперь мы проверяем вторую гипотезу на той же выборке,
а именно что больший хвост является признаком большего объема
легких. Предположим, что имеется линейная корреляция между

Глава 5. Задача множественной проверки гипотез 

87

размером сердца и объемом легких, тогда второй наш анализ тоже
даст ложную тревогу.
Пусть мы задаем 10 вопросов о рыбах в пруду. Если нам очень
не повезет, то мы будем иметь плохую выборку и 10 неправильных
ответов. В общем случае о наличии или отсутствии корреляции меж‑
ду данными мы обычно не знаем, и это еще одна причина воздер‑
жаться от предъявления более одного вопроса к выборке.

5.3. Сколько научных результатов неверно?
Как уже отмечалось, частота ошибок типа I обычно задается равной
5 %. Поэтому можно предположить, что 5 % всех научных резуль‑
татов, полученных с применением классической статистики, невер‑
ны. Однако это не так. Такое утверждение было бы истинным, если
бы во всех проведенных экспериментах размер эффекта был равен
нулю (δ = 0). Однако ученые обычно ищут реально существующие
эффекты, поэтому, скорее всего, во многих экспериментах эффект
имеет место, и, следовательно, шансов допустить ошибку типа I нет.
Предположим, что ученые ставят только такие эксперименты, в ко‑
торых действительно имеется эффект. В этом случае ошибок типа I
нет, поскольку нулевая гипотеза неизменно не верна. Следователь‑
но, количество неверных научных результатов зависит от частоты
случаев отсутствия эффекта (см. главу 1). Это число чаще всего неиз‑
вестно, и потому мы не знаем, сколько результатов является ложны‑
ми тревогами (или ошибочными подтверждениями).
Что следует запомнить
1. К набору данных можно предъявлять только один вопрос.
В противном случае следует учитывать несколько сравнений.
2. Старайтесь планировать максимально простые эксперименты.
3. Если спланировать простой эксперимент не получается и не‑
обходимо выполнять более одного группового сравнения, чи‑
тайте следующую главу.

Глава 6
Дисперсионный анализ (ANOVA)
Что вы узнаете из этой главы
В главе 3 мы говорили о том, как сравнивать средние двух групп.
В этой главе мы изучим, как сравнивать средние более двух групп.

6.1. Однофакторный ANOVA с независимыми
переменными
Допустим, мы хотим исследовать влияние географического регио‑
на на высоту деревьев. Мы могли бы взять деревья вблизи экватора,
на 49-й и на 60-й параллели. Нас интересует, будет ли средняя вы‑
сота деревьев из всех трех регионов одинакова (рис. 6.1). Поскольку
региона три, мы не можем использовать t-критерий, потому что он
применим только к сравнению двух групп.
В принципе, можно было бы вычислить три t-критерия и срав‑
нить все возможные пары средних (экватор с 49-й параллелью, эк‑
ватор с 60-й параллелью и 49-ю параллель с 60-й). Но в этом случае,
как показано в главе 5, мы столкнулись бы с задачей множественной
проверки гипотез и присущим ей неприятным эффектом возраста‑
ния частоты ошибок типа I при увеличении числа сравнений. По‑
добные ситуации – повод для применения дисперсионного анализа
(analysis of variance – ANOVA), в котором используется остроумный
прием, позволяющий уйти от множественной проверки гипотез.

6.2. Логика ANOVA
Терминология
В области однофакторного дисперсионного анализа с m группа‑
ми применяются разные термины:
• путь = фактор,
• группа = комбинация условий = уровень.

10
0

Экватор

40-я параллель 60-я параллель

Высота деревьев (м)

Во всех регионах средняя высота
деревьев одинакова

Высота деревьев (м)

Высота деревьев (м)

20

20
10
0

Экватор

40-я параллель 60-я параллель

20
10
0

Экватор

89
Высоты в двух регионах отличаются от высоты
в третьем

Высота деревьев (м)

Глава 6. Дисперсионный анализ (ANOVA) 

40-я параллель 60-я параллель

Высоты деревьев во всех
трех регионах различны

20
10
0

Экватор

40-я параллель 60-я параллель

Рис. 6.1. Мы исследуем высоту деревьев на трех разных широтах. Слева: средние высоты на
всех трех широтах одинаковы, как показывает горизонтальная прямая. Справа: по крайней
мере на одной широте средняя высота не такая, как на двух других. Горизонтальная прямая показывает среднюю высоту деревьев по всем трем группам, она называется «общим средним»

Логика ANOVA проста. Мы упрощаем альтернативную гипотезу,
спрашивая, верно ли, что по крайней мере одна из трех генеральных
совокупностей деревьев выше других. Следовательно, мы формули‑
руем одну гипотезу вместо трех, объединяя альтернативные гипотезы.
Нулевая гипотеза:
H0 : μ1 = μ2 = μ3.
Объединенные альтернативные гипотезы:
H1 : μ1 = μ2 ≠ μ3,
H1 : μ1 ≠ μ2 = μ3,
H1 : μ1 ≠ μ3 = μ2,
H1 : μ1 ≠ μ2 ≠ μ3.

В ANOVA, как и в t-критерии, предполагается, что дисперсия ге‑
неральной совокупности σ для всех групп одинакова. Если нулевая
гипотеза верна, то средние генеральных совокупностей объясняются
одной лишь дисперсией σ, т. е. случайными различиями высот (шу‑
мом), а не систематическими различиями, связанными с географи‑

90



Часть II. Множественная проверка гипотез

ческим регионом (рис. 6.1). Оказывается, что если нулевая гипотеза
верна, то изменчивость средних можно использовать для оценива‑
ния σ (путем умножения на размер выборки). В ANOVA эта оценка
на основе средних сравнивается с прямой оценкой, вычисленной
в каждой группе.
Теперь предположим, что средние высоты деревьев в трех гео‑
графических регионах на самом деле различны. Тогда высоты инди‑
видуальных деревьев зависят как от внутригрупповой дисперсии σ,
так и от изменчивости групповых средних. В таком случае оцен‑
ка σ, основанная на изменчивости внутри каждой группы, окажется
близкой к истинному значению. В ANOVA вычисляется отношение
обеих оценочных дисперсий, которое называется F-значением:
F=

Оценка дисперсии на основе изменчивости межгрупповых средних
Оценка дисперсии на основе изменчивости внутригрупповых средних

.

Формально это выражение можно записать так:
k

n (M
j 1

F=

j

nj

k


j=1

 M G )2

k 1

(x
i=1

j

,
2

ij

 Mj)

nj  1

где k – число групп (три генеральных совокупности деревьев), nj –
число образцов в группе j (число деревьев внутри каждого геогра‑
фического региона, для которого набиралась выборка), Mj – среднее
по группе j (среднее по выборке из географического региона j), MG –
общее среднее по всем вообще образцам, а xij – i-й пример в груп‑
пе j (высота одного дерева). Чтобы было проще отличать средние от
индивидуальных образцов, мы употребляем символы Mj и MG вместо
традиционного символа для обозначения выборочного среднего x—.
Умножение на nj в числителе служит для назначения отклонениям
групповых средних от общего среднего веса, равного числу деревьев
в группе, так чтобы число образцов, вносящих вклад в оценку дис‑
персии, было одинаковым в числителе и в знаменателе.
Рассмотрим два крайних случая. Первый – когда нулевая гипотеза
верна (как на рис. 6.2 слева). В этом случае оценки дисперсии в чис‑
лителе и в знаменателе близки, так что F-значение близко к 1. Да‑
лее рассмотрим пример альтернативной гипотезы, когда различия

Глава 6. Дисперсионный анализ (ANOVA) 

91

Высота (м)

16
14
12
10
8
6
4
2
0

Экватор 49
60
Регион

16
14
12
10
8
6
4
2
0

Общее среднее
Изменчивость относительно внутригрупповых
средних (σ)

Экватор 49
60
Регион

Изменчивость
межгрупповых средних

Высота (м)

между высотами деревьев в трех географических регионах велики,
а σ очень мало, т. е. высоты деревьев в трех генеральных совокуп‑
ностях сильно различаются, но внутри одной генеральной совокуп‑
ности почти равны (рис. 6.2 справа). Зарегистрированная измере‑
ниями изменчивость в основном определяется различиями между
группами, и F-значение велико.

Рис. 6.2. Логика ANOVA. Слева: нулевая гипотеза верна, и, следовательно, средние всех генеральных совокупностей равны. В этом случае вся изменчивость внутригрупповая и может рассматриваться как шум. В ANOVA предполагается, что
изменчивость данных одинакова во всех трех генеральных совокупностях деревьев. Справа: нулевая гипотеза неверна. Здесь показан крайний случай, когда изменчивость средних больше, чем изменчивость данных в окрестности среднего.
В этом случае большая часть изменчивости данных объясняется влиянием трех
разных регионов на высоту деревьев. Обычно ситуация находится где-то посередине между этими двумя крайностями. В ANOVA нулевая гипотеза заключается
в том, что все наблюдаемые различия обусловлены шумом. Цель ANOVA – отделить изменчивость, вызванную независимой переменной, от изменчивости данных в окрестности среднего индивидуальной группы

Как и в случае t-критерия, порог статистической значимости вы‑
бран так, чтобы частота ошибок типа I была равна желаемой (на‑
пример, α = 0.05). Если F превосходит порог, то мы делаем вывод,
что различие значимо (т. е. отвергаем нулевую гипотезу о равенстве
межгрупповых средних).
Мы рассмотрели пример однофакторного дисперсионного ана‑
лиза, в котором имеется один фактор (место произрастания дере‑
вьев) и три группы (региона) внутри этого фактора. Группы назы‑
ваются также уровнями. Внутри одного фактора может быть много
уровней, т. е. регионов, в которых формируются выборки деревьев.
Частным случаем является однофакторный ANOVA c независимыми
переменными и двумя уровнями, когда сравниваются два средних,
как в t-критерии. На самом деле имеется тесная связь между обоими
критериями, и в данном случае F = t2. Здесь p-значение будет одина‑

92



Часть II. Множественная проверка гипотез

ковым что для ANOVA, что для двустороннего t-критерия. Следова‑
тельно, ANOVA – обобщение t-критерия.
Как и в случае t-критерия, число степеней свободы играет
важную роль при вычислении p-значения. Для однофакторного
ANOVA с независимыми переменными и k уровнями имеется два
типа степеней свободы, df1 и df2. В общем случае df1 = k − 1, df2 = n − k,
где n – общее число выбранных образцов во всех группах, напри‑
мер всех деревьев в трех группах. Полное число степеней свободы
равно df1 + df2 = n − 1.

6.3. О чем ANOVA говорит, а о чем нет:
апостериорные критерии
Предположим, что, выполняя ANOVA, мы нашли значимый резуль‑
тат. О чем это говорит? Мы отвергаем нулевую гипотезу о том, что
все средние равны,
H0 : μ1 = μ2 = μ3,
и тем самым принимаем альтернативную гипотезу, что может озна‑
чать верность любого из следующих утверждений:
H1 : μ1 = μ2 ≠ μ3,
H1 : μ1 ≠ μ2 = μ3,
H1 : μ1 ≠ μ3 = μ2,
H1 : μ1 ≠ μ2 ≠ μ3.

Отвергая H0, мы принимаем одну из альтернативных гипотез, но
не знаем, какую именно. Это цена за уход от множественной про‑
верки – четыре альтернативных гипотезы сливаются в одну.
Тут ANOVA предлагает второй трюк. Если мы отвергли нулевую
гипотезу, то вполне допустимо сравнивать пары средних с помо‑
щью так называемых «апостериорных критериев», которые, грубо
говоря, соответствуют попарным сравнениям. В отличие от мно‑
жественной проверки гипотез, обсуждавшейся в главе 5, эти мно‑
жественные сравнения не приводят к увеличению частоты ошибок
типа I, потому что выполняются, только если ANOVA обнаружил
главный эффект.
В статистической литературе описано много апостериорных кри‑
териев. К числу наиболее распространенных относятся критерии
Шеффе, Тьюки и REGW-Q. Этот процесс лучше всего проиллюстри‑
ровать на примере, который приводится в конце этой главы.

Глава 6. Дисперсионный анализ (ANOVA) 

93

6.4. Предположения
Предположения ANOVA аналогичны предположениям для t-критерия,
описанным в главе 4.
1. Независимые выборки.
2. Нормальное распределение генеральной совокупности.
3. Независимая переменная дискретна, а зависимая непрерывна.
4. Однородность дисперсии: дисперсия всех групп одинакова.
5. Размер выборки следует определить до эксперимента и затем
не изменять.

6.5. Пример вычисления для однофакторного
ANOVA с независимыми переменными
6.5.1. Вычисление ANOVA
Предположим, что проводится турнир по боям на холодном оружии
с тремя разными типами оружия: световым мечом, катаной Хатори
Ханзо и эльфийским кинжалом (см. рис. 6.3). Вопрос: имеются ли
различия в числе побед разным оружием? Нулевая гипотеза заклю‑
чается в том, что различий нет. Данные и вычисление F-значения
показаны на рис. 6.3.
Наше окончательное1 F-значение равно 9.14. Это означает, что
изменчивость групповых средних относительно общего среднего
в 9.14 раз больше изменчивости отдельных данных относительно их
группового среднего. Следовательно, большая часть изменчивости
проистекает из различия средних, а гораздо меньшая – из изменчи‑
вости в пределах каждой генеральной совокупности. F-значение 9.14
приводит к p-значению 0.0039 < 0.05, и мы заключаем, что резуль‑
таты значимы, т. е. отвергаем нулевую гипотезу о том, что среднее
число побед разным оружием одинаково (F(2, 12) = 9.14, p = 0.0039).
Кроме того, можно заключить, что по крайней мере для одного типа
оружия число побед не такое, как для других. Теперь можно исполь‑
зовать один из апостериорных критериев, чтобы выяснить, какой
вид (или виды) оружия превосходят остальные.

1

Если данные анализируются статистической программой, то получится
F = 9.13. Различие связано с округлением MSWithin на рис. 6.3.

94



Часть II. Множественная проверка гипотез

Световой меч

(xi - M) 2

Катана

(xi - M) 2

Эльфийский
кинжал

(xi - M) 2

6

(6 - 5) 2 = 1

6

0

0

1

8

9

5

1

4

9

5

0

9

9

0

1

4

1

4

1

1

0

2

9

6

0

0

1

M=5

SS = 20

M=6

SS =14

M=1

SS = 12

Общее среднее

MG =

3
k =1

N

nk
i =1

x ik

=

6+8+5+4+2

+ 6+5+9+4+6 + 0+4+0+1+0
15

SS внутригрупповая

10

8

6

6

4

4

2

2

0

Световой
меч

Эльфийский
кинжал

Катана

SS межгрупповая

10

8

0

Световой
меч

3

SS within =

SS between =

k =1

=

SS within
df within

nk ( M k − M G )

Эльфийский
кинжал

2

k =1
2

= 20 + 14 + 12 = 46
MS within

Катана

3

SS k

=4

=

46
= 3 .83
12
F =

2

2

= 5 (5 − 4) + 5 (6 − 4) 5 (1 − 4) = 70
MS between

=

SS between
70
= 35
=
df between
2

M S between
35
=
= 9 .14
M S within
3.83

Источник
SS df MS
F
p
Межгрупповые
70 2 35 9.14 0.0039
Внутригрупповые 46 12 3.83

Рис. 6.3. Пример вычисления для однофакторного ANOVA с независимыми переменными. Каждый из трех видов оружия используется пятью независимыми
бойцами, т. е. всего имеется 15 бойцов. Поэтому мы имеем ANOVA типа 1 × 3. Противники в схватках не принадлежат к числу 15 выбранных бойцов. В верхней
части рисунка показано, сколько поединков было выиграно различными видами
оружия. В нижней таблице показаны вычисленные данные. Например, световым
мечом в среднем было выиграно пять поединков. Далее мы вычисляем изменчивость для каждого меча, которая называется также внутригрупповой суммой
квадратов (SS). Для этого мы вычитаем каждое значение из среднего и возводим

Глава 6. Дисперсионный анализ (ANOVA) 

95

6.5.2. Апостериорные критерии
Для вычисления апостериорных критериев есть разные процедуры,
но для иллюстрации общих принципов мы здесь остановимся на
критерии Шеффе.
Идея критерия Шеффе – выполнить несколько сравнений путем
вычисления попарных ANOVA (например, световые мечи против
катан, световые мечи против эльфийских кинжалов и катаны про‑
тив эльфийских кинжалов). Одно из предположений ANOVA – что
дисперсии всех генеральных совокупностей одинаковы. Если это
правда, то наилучшей оценкой изменчивости внутри каждой гене‑
ральной совокупности будет объединенная оценка общего ANOVA,
вычисленная в виде MSwithin (в данном случае 3.83). В критерии Шеффе
используется также величина dfbetween из общего ANOVA, а вычисления
для этого критерия показаны на рис. 6.4.
p-значение для каждого сравнения вычисляется с использовани‑
ем числа степеней свободы из оригинального ANOVA (т. е. dfbetween = 2
и dfwithin = 12). В итоге для наших апостериорных критериев полу‑
чаются результаты, показанные в табл. 6.1. Только второе и третье
сравнение оказываются ниже критического порога α = 0.05, и, таким
образом, можно заключить, что световые мечи отличаются от эль‑
фийских кинжалов (F(2, 12) = 5.22, p = 0.023) и что катаны отличаются
от эльфийских кинжалов (F(2, 12) = 8.15, p = 0.006), но между све‑
товыми мечами и катанами не удалось найти значимого различия
(F(2, 12) = 0.33, p = 0.728).
Рис. 6.3 (Окончание) разность в квадрат. Чтобы вычислить внутригрупповую дисперсию, мы складываем все три суммы квадратов. В данном случае получается 46.
Следующий важный шаг – вычислить изменчивость средних. Для этого мы сначала находим общее среднее MG, равное среднему числу побед во всех 15 поединках. В данном примере общее среднее равно 4. Далее для каждого вида
оружия среднее вычитается из общего среднего, разности возводятся в квадрат
и умножаются на число поединков с данным видом оружия (в этом примере 5).
Получается 70. Затем мы делим каждую из двух сумм квадратов на число степеней свободы df1 и df2, чтобы получить дисперсии. У нас имеется три вида оружия,
поэтому df1 = 3 − 1, так что 70 делится на 2. Было 15 поединков, поэтому df2 = 12,
так что 46 делится на 12 (MS означает «mean square» − среднеквадратичное).
Для нахождения статистики критерия мы вычисляем частное от деления 35 на
3.83 и получаем F = 9.14. Как и в случае t-значения, F-значение легко вычислить
вручную. Что до p-значения, то мы воспользовались статистической программой,
которая дает p = 0.0039. На выходе статистического пакета программ итоговые
результаты вычислений представлены в виде подобных рисунков. В научных публикациях результаты представляются как (F(2, 12) = 9.14, p = 0.0039)

96



Часть II. Множественная проверка гипотез
Световой меч

Катана

Эльфийский
кинжал

6

6

0

8

5

4

5

9

0

4

4

1

2

6

0

Sum = 25

Sum = 30

Sum = 5

M=5

M=6

M=1

df between = 2
MS

within

Из рассмотренной
выше таблицы
ANOVA

= 3.83

SS between =
MS
F =

between

n k ( M i − G comp )

2

k ∈ comp

=

SS between
df between

Световой меч против

2

F =

25 + 5
=3
10
2

2

MS

between

F =

=

40
= 20
2

20
= 5 .2219
3.83

2.5
= 1.25
2

1.25
= 0 .3264
3.83
Elvish
dagger
против Эльфийский
кинжал

Катана

G comp =

SS between = 5 (5 − 3) + 5 (1 − 3) = 40.0

2

SS between = 5 (5 − 5.5) + 5 (6 − 5.5) = 2.5

M S between
M S within

G comp =

25 + 30
= 5.5
10

G comp =

M S between =

Световой меч против Эльфийский
кинжал

Катана

30 + 5
= 3.5
10
2

2

SS between = 5 (6 − 3.5) + 5 (1− 3.5) = 62 .5
MS

between

F =

=

62.5
= 31 .25
2

31.25
= 8 .1593
3.83

Рис. 6.4. Вычисление сравнений в апостериорном критерии Шеффе для примера
с боями на холодном оружии. Сначала вычисляется общее среднее для каждого
сравнения (GComp), равное средней сумме всех примеров из рассматриваемой пар
групп. Затем мы вычисляем сумму квадратов отклонений этого общего среднего
от групповых средних по двум группам (SSbetween). Далее мы находим величины
MSbetween, поделив SSbetween на dfbetween из описанного выше алгоритма ANOVA (в данном случае 2). Наконец, вычисляется F-значение для каждого сравнения путем
деления на величину MSwithin из описанного выше ANOVA (в данном случае 3.83)

Глава 6. Дисперсионный анализ (ANOVA) 

97

Обычно такие различия иллюстрируются с помощью графика,
показывающего среднее число побед для каждого из трех типов
оружия с «усами», обозначающими стандартную ошибку каждого
среднего. При этом прямые, над которыми располагаются звездоч‑
ки, соединяют значимо различные виды оружия (рис. 6.5).
Таблица 6.1. Результаты апостериорного критерия Шеффе для трех сравнений
Сравнение

F(2,12) = 0.33, p = 0.728

1 против 3b

F(2,12) = 5.22, p = 0.023

c

F(2,12) = 8.16, p = 0.006

1 против 2

2 против 3
a
b
c

Результат

a

Световые мечи против катан
Световые мечи против эльфийских кинжалов
Катаны против эльфийских кинжалов

*

8

*
Победы

6
4
2
0

световой
меч

катана

Вид оружия

эльфийский
кинжал

Рис. 6.5. Среднее число выигрышей для всех трех типов оружия со стандартной
ошибкой. Линии со звездочкой соединяют значимо различные виды оружия

6.6. Размер эффекта
Как и в случае t-критерия, p-значение в ANOVA смешивает воедино
размер эффекта и размер выборки. Всегда важно учитывать размер
эффекта, который в ANOVA обозначается η2. Он сообщает, какая доля

98

 Часть II. Множественная проверка гипотез

полной изменчивости зависимой переменной объясняется измен‑
чивостью независимой переменной. Вычисляется он по формуле

2 

SSbetween
,
SStotal

где
k

SSbetween   nj ( x j  M G )2,

(6.1)

j 1

n

k

SStotal    ( xij  M G )2 ,.

(6.2)

i 1 j 1

где MG – общее среднее (т. е. среднее во всем данным). Это отноше‑
ние говорит, какая доля полной изменчивости данных объясняет‑
ся изменчивостью групповых средних. Для рассмотренного выше
примера размер эффекта η2 = 0.60; согласно рекомендациям Коэна
(табл. 6.2) такой эффект считается большим.
Таблица 6.2. Рекомендации Коэна по оцениванию размера эффекта

Размер эффекта

Малый

Средний

Большой

0.01

0.09

0.25

6.7. Двухфакторный ANOVA с независимыми
переменными
Однофакторный ANOVA с независимыми переменными хорошо
обобщается на случай нескольких факторов. В этом разделе мы об‑
судим простейший случай – двухфакторный анализ.
Предположим, что вы со своими друзьями обрели в ходе научного
эксперимента сверхспособности и готовитесь ступить на тропу вой­
ны с преступностью. Вы и ваши друзья-супергерои не хотят, чтобы
враги причинили вред дорогим вам людям, поэтому вам нужны ма‑
скировочные костюмы. Кроме того, иногда борьба с преступниками
будет происходить днем, а иногда ночью. Вы хотите узнать, какой
материал (эластан, хлопок или кожа) лучше всего подходит для
борьбы с преступностью, притом что эффективность костюма изме‑
ряется количеством поборников зла, пойманных героем, носящим
костюм, изготовленный из каждого материала. Кроме того, нужно

Глава 6. Дисперсионный анализ (ANOVA) 

99

знать, влияет ли на выбор лучшего материала время суток. Вы раз‑
даете всем друзьям материал для костюма, назначаете время суток
и подсчитываете количество пойманных ими преступников. В каж‑
дой группе количество друзей различно. В данном случае можно вы‑
двинуть три отдельные гипотезы.
1. H0: время суток не влияет на количество пойманных преступ‑
ников.
H1: количество преступников, пойманных днем, отличается от
количества преступников, пойманных ночью.
2. H0: материал костюма не влияет на количество пойманных
преступников.
H1: по крайней мере для одного материала костюма количе‑
ство пойманных преступников отличается от количества пре‑
ступников, пойманных в костюмах из других материалов.
3. H0: влияние времени суток на количество пойманных пре‑
ступников не зависит от материала костюма.
H1: влияние времени суток на количество пойманных пре‑
ступников зависит от материала костюма.
Первые две нулевые гипотезы относятся к так называемым основным эффектам. Обе основные гипотезы в точности такие же,
как при вычислении однофакторных ANOVA. Третья гипотеза от‑
носится к взаимодействию двух факторов, костюма и времени су‑
ток; это новый тип гипотезы. Для измерения основного эффекта
материала костюма мы берем среднее число преступников, пой‑
манных группой, облаченной в эластан, усредняем по времени су‑
ток (отдельно в дневные и ночные часы) и сравниваем с такими же
средними для костюмов из хлопка и кожи. Для измерения основ‑
ного эффекта времени суток мы берем среднее число преступни‑
ков, пойманных днем, усредняем по костюмам из эластана, хлоп‑
ка и кожи и сравниваем с такими же средними для преступников,
пойманных ночью.
Для анализа взаимодействия мы рассматриваем все группы по
отдельности; нас интересует количество преступников, пойманных
группами в костюмах из разных материалов, в виде функции от вре‑
мени суток (днем или ночью). Если имеет место значимое взаимо‑
действие, то влияние времени суток на число пойманных преступ‑
ников будет зависеть от материала костюма. Обратно: влияние ма‑
териала костюма на число пойманных преступников будет зависеть
от того, в какое время суток герои борются с преступниками.
Для проверки этих трех нулевых гипотез нужны три отдельные
F-статистики. В каждой F-статистике знаменатель будет таким же,

100

 Часть II. Множественная проверка гипотез

как в однофакторном ANOVA (т. е. объединенная дисперсия данных
о групповых средних, MSwithin в обозначениях рис. 6.3), но числители
(MSbetween) будут зависеть от конкретной проверяемой гипотезы.
На рис. 6.6 приведен пример исходных данных и средних, срав‑
ниваемых для всех трех гипотез (см. боковые столбцы слева и спра‑
ва). Объединение по времени суток показывает, что материал ко‑
стюма очень слабо влияет на эффективность борьбы с преступно‑
стью. Объединение по материалу костюма показывает, что и время
суток влияет на эффективность слабо. И лишь при рассмотрении
каждого среднего по отдельности мы видим истинное влияние
времени суток и материала костюма на количество пойманных на‑
шими друзьями преступников (рис. 6.7). Взаимодействие таково,
что эластан лучше днем, а кожа ночью, тогда как хлопок находится
где-то посередине.

День

Среднее по дневному
времени

Ночь

Среднее по ночному
времени
Среднее по костюмам
времени

Эластан

Хлопок

Кожа

18

10

3

10

8

5

16

12

1

12

6

7

14

14

9

14

10

5

5

6

15

7

14

13

3

10

17

9

8

11

1

12

19

5

10

15

9.5

10

10

Средние по
времени суток

9.7

10

Общее среднее = 9.81

Рис. 6.6. Количество преступников, пойманных каждым супергероем, а также
средние основных эффектов (время суток и материал костюма) и средние по отдельным комбинациям (эластан днем, эластан ночью, хлопок днем и т. д.). Общее
среднее вычисляется по всем данным

Этот пример иллюстрирует ценность двухфакторного анализа.
Если бы мы выполняли только однофакторный ANOVA, изучая свя‑
зи между материалом костюма и числом пойманных преступников
или между временем суток и числом пойманных преступников, то
нашли бы только очень слабые эффекты или вообще никаких. Вклю‑

Глава 6. Дисперсионный анализ (ANOVA) 

101

Число пойманных преступников

чение же обеих переменных вскрывает истинную природу эффектов
и показывает, что эффект одного фактора зависит от уровня другого.
На рис. 6.8 показано три возможных результирующих паттерна, ко‑
торые выделяют лишь один значимый эффект (основной эффект A,
основной эффект B, взаимодействие), не учитывая остальные. Мож‑
но также изучать комбинации основных эффектов и эффектов взаи‑
модействия.
20
День
Ночь
15

10

5

0

Эластан

Хлопок

Кожа

Материал костюма
Рис. 6.7. Диаграмма взаимодействия для зависимости числа пойманных преступников от материала костюма и времени суток. Видно, что влияние материала
костюма на число пойманных преступников сильно зависит от времени суток

Еще одно достоинство двухфакторного анализа по сравнению
с однофакторным – то, что изменчивость, которая в противном слу‑
чае была бы включена в член ошибки (т. е. MSwithin), теперь частично
объясняется другим фактором, уменьшая тем самым MSwithin и увели‑
чивая способность обнаруживать присутствующие эффекты.
Таким образом, может показаться, что чем больше мы добавим
факторов, тем лучше будем понимать данные и получать значимые
результаты. Однако это неверно, потому что теряется мощность
каждого добавленного фактора, так как мы имеем меньше приме‑
ров, дающих вклад в каждое среднее. Как правило, при увеличении
числа факторов нужно увеличивать и размер выборок.
Важно, что если нам удалось выявить значимое взаимодействие,
то основной эффект меняется в зависимости от другого фактора.
Следовательно, не стоит делать выводов относительно основного
эффекта, если имеет место взаимодействие.

Часть II. Множественная проверка гипотез

Основной эффект A

3

2

1
B1
B2

0

A1

A2

A3

Независимая переменная A

4

Основной эффект B

3

2

1
B1
B2

0

A1

A2

A3

Независимая переменная A

4

Зависимая переменная

Зависимая переменная

4



Зависимая переменная

102

Взаимодействие

3

2

1
B1
B2

0

A1

A2

A3

Независимая переменная A

Рис. 6.8. Результаты двухфакторного ANOVA могут выявить три общих типа
значимых результатов: основной эффект переменной A, основной эффект переменной B и взаимодействие между A и B. В следующем примере показан
пример ANOVA типа 2×3, где A1, A2, A3 могут обозначать материал костюма
супергероя (эластан, хлопок, кожа), а B1 и B2 – время суток (ночь, день). Зависимой переменной является число пойманных преступников. Слева: основной
эффект A. Материал костюма имеет значение. Больше преступников было поймано героями, облаченными в кожу, а не хлопок. Время суток роли не играет.
Днем было поймано столько же преступников, сколько и ночью. Поэтому B1
и B2 расположены друг над другом. В центре: основной эффект B. Материал
костюма не имеет значения, а время суток имеет. Днем поймано больше преступников. Справа: взаимодействие, как на рис. 6.7. При наличии значимого
взаимодействия значимые основные эффекты взаимодействия обычно не исследуются, потому что анализ влияния одной переменной при различных уровнях другой является более релевантным сравнением

Однофакторный ANOVA позволяет избежать проблему множе‑
ственной проверки гипотез. Но при многофакторном она возникает
снова, немного в ином виде. Например, рассмотрим многофактор‑
ный ANOVA типа 2×2 с уровнем значимости 0.05. Для истинно нуле‑
вого набора данных (когда средние всех четырех генеральных сово‑
купностей равны) вероятность получить хотя бы одно p < 0.05 среди
двух основных эффектов и взаимодействия составляет 14 %. Если
вы применяете ANOVA для исследования набора данных с целью вы‑
явления значимых результатов, то должны понимать, что у такого
подхода частота ошибок типа I будет выше, чем вы хотели.
Типичная статистическая программа выводит результаты двух‑
факторного ANOVA в виде, показанном в табл. 6.3.

Глава 6. Дисперсионный анализ (ANOVA) 

103

6.8. ANOVA с повторными измерениями
Рассмотренные выше варианты ANOVA являются прямолинейным
обобщением t-критерия с независимыми выборками. Существует
также обобщение t-критерия с зависимыми выборками, которое на‑
зывается ANOVA с повторными измерениями. Такой тип дисперсион‑
ного анализа используется, например, когда некоторый аспект со‑
стояния здоровья пациента измеряется до, во время и после лечения.
В таком случае для одних и тех же пациентов производится три из‑
мерения. Мощность ANOVA с повторными измерениями выше, чем
у ANOVA с независимыми измерениями, потому что показатели од‑
ного пациента сравниваются до сравнения показателей разных па‑
циентов, что уменьшает изменчивость данных. Пример вывода ре‑
зультатов ANOVA с повторными измерениями приведен в табл. 6.4.
Таблица 6.3. Вывод типичной статистической программы для двухфакторного
ANOVA
Источник

SS

df

MS

F

p

η2

Материал костюма

1.67

2

0.83

0.083

0.920

0.0069

Время суток

0.83

1

0.83

0.083

0.775

0.0035

Костюм × время

451.67

2

225.83

22.58

0.000003

0.6530

Ошибка

240.00

24

10.00

Столбцы: источник изменчивости, суммы квадратов (SS), число
степеней свободы (df), среднеквадратичное (MS), F-значения (F),
p-значения (p иногда обозначается «Sig.») и размер эффекта (η2).
В строке «Ошибка» представлены результаты вычислений внутри‑
субъектной изменчивости, а в остальных строках – межсубъектная
изменчивость для основных эффектов и взаимодействий
Таблица 6.4. Вывод типичной статистической программы для ANOVA с повторными измерениями
SS

df

MS

F

p

η2

Межвременная

70

2

35

70

0.00000009

0.94

Внутривременная

40

12

Межсубъектная

36

4

Ошибка

110

14

Источник

104

 Часть II. Множественная проверка гипотез

Здесь представлен примеры симптомов пациента, измеренных
до, во время и после лечения (т. е. в разные моменты времени). В пер‑
вой строке («Межвременная») показано влияние времени измерения
на симптомы. В строке «Внутривременная» показана изменчивость
субъектов, измеренных в один и тот же момент времени. Она раз‑
бита на устойчивые тренды для каждого отдельного субъекта («Межсубъектная») и случайную ошибку, вызванную такими вещами, как
скорость диффузии лекарственного вещества («Ошибка»). Столб‑
цы: источник изменчивости, сумма квадратов (SS), число степеней
свободы (df), среднеквадратичное (MS), F-значения (F), p-значения
(p иногда обозначается «Sig.») и размер эффекта (η2). В строке
«Ошибка» показаны результаты вычислений члена ошибки, кото‑
рый используется в знаменателе F-значения. В случае ANOVA с не‑
зависимыми измерениями этот член совпадает с внутригрупповым.
Здесь же мы исключаем из внутригруппового члена изменчивость,
обусловленную субъектами, поэтому мы называем остаточную из‑
менчивость просто «изменчивостью ошибки». В остальных строках
показана межсубъектная изменчивость для основных эффектов
и взаимодействий. Подводя итог этим результатам, мы сказали бы,
что имеется значимое влияние момента измерения на симптомы
F(2, 14) = 70, p = 0.00000009. Здесь мы взяли число степеней свобо‑
ды из строк «Межвременная» и «Ошибка», а также F- и p-значения из
строки «Межвременная»
Что следует запомнить
1. Дисперсионный анализ (ANOVA) помогает уйти от задачи
множественной проверки гипотез – до некоторой степени.
2. Увеличение числа факторов может как повысить, так и пони‑
зить мощность.

Глава 7
Планирование эксперимента:
подгонка модели,
мощность и сложные планы
Что вы узнаете из этой главы
Дисперсионный анализ – один из способов справиться с проблемой
множественной проверки гипотез. Гораздо более простой способ –
вообще избежать ее путем продуманного планирования экспери‑
мента. Даже если необходимо измерять много переменных, нет нуж‑
ды подавать их все на вход статистического критерия. В этой главе
мы покажем, что, объединив много данных в одну осмысленную пе‑
ременную или просто опустив какие-то данные, мы сможем увели‑
чить статистическую мощность. Результаты простых и упрощенных
экспериментов проще интерпретировать, тогда как для сложных
экспериментов с этим могут возникнуть проблемы. Мы также пока‑
жем, как вычислить мощность эксперимента, что важно, например,
для определения размера выборки.

7.1. Подгонка модели
При сравнении двух средних t-критерий обладает высокой мощно‑
стью и легко поддается интерпретации. Эксперименты с большим
числом групповых сравнений подвержены проблеме множествен‑
ной проверке гипотез. Чем больше сравнений мы производим, т. е.
чем больше имеется групп или уровней, тем ниже мощность. Кроме
того, результаты экспериментов с большим числом групп труднее
анализировать из-за возможности взаимодействий, которых нет
в простых t-критериях (глава 6). Поэтому обычно следует предпо‑
честь простой план эксперимента. Однако иногда сложность неиз‑
бежна. Классический пример – эксперимент по обучению, когда ка‑

106



Часть II. Множественная проверка гипотез

чество нужно измерять в большом числе временных точек. Скажем,
обучение участников на простой визуальной задаче может быть ор‑
ганизовано в виде 10 блоков по 80 испытаний в каждом. Для каждого
блока мы определяем процент верных ответов (рис. 7.1a) и смотрим,
как повышается качество при переходе от одного блока к другому.
Как можно количественно охарактеризовать успешность обучения
и вычислить статистики? Нулевая гипотеза заключается в том, что
никакого обучения не произошло, т. е. качество во всех 10 блоках
одинаково. Интуитивно кажется, что можно было бы использовать
ANOVA с повторными измерениями и 10 уровнями, по одному для
каждого блока. Однако эта идея неудачна, потому что, во-первых,
ANOVA имеет дело с номинальными переменными, т. е. порядок
блоков не играет роли. Во-вторых, если бы качество повышалось на
протяжении первых пяти блоков, а затем снижалось, то ANOVA по‑
казал бы значимый результат, когда качество в блоке 5 значимо от‑
личается от качества в блоке 1. Но такой результат свидетельствует
не об обучении, а о странной комбинации приобретения и последу‑
ющей утраты навыков. В-третьих, мы заметно проиграли бы в мощ‑
ности. И что же делать? Ниже мы покажем, что вовсе не обязательно
подвергать все данные статистическому анализу.
Как показано на рис. 7.1b для эксперимента по обучению, один
из возможных подходов – отбросить все блоки, кроме первого и по‑
следнего (промежуточные блоки существенны для эксперимента,
потому что способствуют обучению, но для статистического анализа
не важны). Нулевая гипотеза заключается в том, что качество в этих
двух блоках не отличается. Для проверки этой гипотезы мы можем
использовать t-критерий с повторными измерениями. Однако дан‑
ные для обучения часто зашумлены, и потому такая процедура при‑
водит к потере мощности. Чтобы уменьшить зашумленность дан‑
ных, мы можем усреднить первый и последний блок и подать оба
средних на вход t-критерия с повторными измерениями (рис. 7.1c).
В обоих случаях мы отбрасываем большое количество данных
и потому не используем имеющиеся данные в полной мере. Можно
было бы поступить лучше, подогнав модель к данным (иначе гово‑
ря, аппроксимировать данные моделью). Например, из предыдущих
экспериментов мы можем знать, что в результате обучения качество
повышается линейно, и смоделировать это формулой mx + b, где m –
угловой коэффициент кривой обучения, b – координата точки пере‑
сечения с осью y (свободный член), а x – номер блока. Для вычисле‑
ния оптимальных значений параметров m и b отдельно для каждого
обучаемого можно воспользоваться компьютерной программой.

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

(a)

107

80

% правильных ответов

75

70

65

60

55
-2

% правильных ответов

(b)

0

2

0

2

4

6

8

10

12

4

6

8

10

12

8

10

12

Число блоков

80

75

70

65

60

55
-2

Число блоков

Рис. 7.1. Анализ данных об обучении. (a)
Качество
улучшается
с ростом числа блоков.
(b) При статистическом
анализе сравниваются
только первый и последний блоки. (c) Альтернативно можно усреднить
два первых и два последних блока, а затем
сравнить средние

% правильных ответов

(c)

80

75

70

65

60

55
-2

0

2

4

6

Число блоков

108



Часть II. Множественная проверка гипотез

Поскольку нас интересует только угловой коэффициент, b можно
отбросить. Нулевая гипотеза формулируется так: m = 0. Таким об‑
разом, для каждого обучаемого мы получаем одно значение m. Если
в эксперименте участвовало 12 обучаемых, то мы вычисляем одно‑
выборочный t-критерий по этим 12 значениям m и смотрим, верно
ли, что они значимо отличны от 0.
Этот подход обладает большой гибкостью. Например, если обу‑
чение описывается не линейной, а экспоненциальной функцией, то
можно аппроксимировать данные экспонентой, у которой тоже есть
параметр «наклона». Если нас интересует циклический процесс, на‑
пример изменение температуры в течение суток или количество на‑
секомых на протяжении года, то можно аппроксимировать данные
синусоидой. В общем случае можно аппроксимировать данные лю‑
бой функцией и определить один или несколько ее параметров. Та‑
ким образом, мы используем все данные и не теряем мощность. Как
действовать – решать экспериментатору. Но свой выбор он должен
сделать до начала эксперимента. Нельзя сначала изучить данные,
а затем пробовать разные варианты, пока не будет получен значи‑
мый результат (см. раздел 11.3.5).
В примере выше показано, как можно упростить статистику,
уменьшив число переменных. Мы видим, что необязательно под‑
вергать статистическому анализу все имеющиеся данные в исход‑
ной форме. Не существует общих правил упрощения данных, пото‑
му что все эксперименты различны. Однако всегда стоит задуматься
над тем, на какой главный вопрос должен ответить эксперимент.
А затем решить, какие переменные лучше всего подходят для полу‑
чения ответа и как вычислить статистику. Чем проще план экспери‑
мента и чем меньше переменных, тем лучше.

7.2. Мощность и размер выборки
7.2.1. Оптимизация плана
Часто для проведения эксперимента требуется много усилий и ресур‑
сов. Поэтому обычно имеет смысл заранее оценить, имеет ли экспери‑
мент шансы на успех, и определить, при каких размерах выборки веро‑
ятность успеха высока (если целью является обнаружение какого-то эф‑
фекта). В общем случае успех означает получение большого t-значения
и значимого результата. Сделать это можно двумя способами.
Во-первых, попробуйте увеличить размер эффекта на генераль‑
ной совокупности δ = (μ1 − μ2)/σ. Это можно сделать, рассмотрев

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

109

ситуации, в которых различие между средними генеральной сово‑
купности ожидаемо велико. Например, можно сначала попытаться
найти оптимальные стимулы для визуального эксперимента или
тесты в клинических испытаниях, обладающие наибольшей разли‑
чительной способностью.
Кроме того, попытайтесь уменьшить σ. Значения δ, а значит, t и p,
определяются отношением разности средних генеральной сово‑
купности к стандартному отклонению. Можно попробовать умень‑
шить шумы в измерительных устройствах, ежедневно калибруя их.
Можно попробовать сделать выборку более однородной: тестиро‑
вать пациентов каждый день в одно и то же время, по возможности
уравнять количество выпиваемого ими кофе, поручать проведение
тестов одному и тому же экспериментатору и т. д. Можно подумать
об исключении некоторых пациентов, например, введя ограниче‑
ния по возрасту, чтобы не путать нарушения в результате болезни
с возрастными эффектами. Однако такая стратификация уменьшает
общность вашего исследования (см. главу 3, следствия 4). Существу‑
ет много способов уменьшить σ, и подумать на эту тему всегда стоит.
Во-вторых, увеличьте размер выборки, n. Даже если δ оказы‑
вается малым, достаточно большая выборка может дать большое
t-значение. При достаточно большой выборке даже малые различия
между средними (зашумленный сигнал) можно отличить от ситуа‑
ции, когда между средними вообще нет различий (чистый шум). От‑
метим, что этот подход оправдан, только если вы уверены, что даже
малый размер эффекта заслуживает внимания. Не имеет смысла на‑
бирать и обрабатывать большую выборку только для того, чтобы об‑
наружить пренебрежимо малый эффект (см. главу 3, следствия 1 и 2).

7.2.2. Вычисление мощности
Даже когда δ ≠ 0, эксперимент не всегда дает значимые результаты
из-за недостаточности выборки (глава 3). Сейчас мы покажем, на‑
сколько вероятно, что для данного δ ≠ 0 и данного размера выбор‑
ки n получается значимый результат. И наоборот, мы покажем, на‑
сколько велико должно быть n, чтобы получить значимый результат
с заданной вероятностью.
Вероятность успеха эксперимента мы будем оценивать путем
вычисления мощности. Мощность – это частота правильных под‑
тверждений. Иначе говоря, это вероятность того, что случайная
выборка позволит правильно отвергнуть нулевую гипотезу. Пред‑
полагается, что нулевая гипотеза неверна, т. е. имеет место нену‑
левой эффект. Как показано в главе 3, для вычисления мощности

110 

Часть II. Множественная проверка гипотез

требуется определенный стандартизированный размер эффекта
в генеральной совокупности. Откуда берется этот размер эффекта,
зависит от ситуации. Иногда его можно оценить на основании дру‑
гих исследований, в которых ранее изучалось то же (или похожее)
явление. А иногда вывести из математических моделей, которые
предсказывают поведение в новой ситуации. Вместо того чтобы
предсказывать размер эффекта, иногда имеет смысл идентифици‑
ровать значение, которое непременно будет представлять интерес
или иметь практическую ценность.
После того как размер эффекта на генеральной совокупности опре‑
делен, мы обращаемся к компьютерным программам, которые вычис‑
ляют мощность (никаких простых формул не существует). На рис. 7.2
показан вывод бесплатной программы G*Power. Здесь мы выбрали
t-критерий из списка Test family (Семейство критериев), а в качестве
статистического критерия (Statistical test) взяли разность между двумя
независимыми средними. В качестве типа анализа мощности (Type of
power analysis) мы выбрали апостериорный (Post hoc.) В разделе вход‑
ных параметров (Input parameters) мы выбрали двусторонний крите‑
рий, ввели оценочный размер эффекта на генеральной совокупности
d = 0.55, задали частоту ошибок типа I α = 0.05 и ввели планируемые
размеры выборок n1 = n2 = 40. Программа строит графики в верхней ча‑
сти окна, а выходные параметры показывает справа внизу. На графике
показаны выборочные распределения (рис. 3.7), которые должны быть
порождены нулевой (красная кривая) и конкретной альтернативной
гипотезой (синяя кривая). Закрашенная синим цветом область обо‑
значена β, чтобы показать, что это частота ошибок типа II. Это вероят‑
ность незначимого результата, если δ = 0.55. Мощность равна допол‑
нению к частоте ошибок типа II. Как видим, для заданных входных
параметров вычисленная мощность равна 0.68. Это означает, что при
заданных условиях значимый результат будет получен с вероятно‑
стью 0.68.
Предположим, что мы не удовлетворены вероятностью 0.68 и хо‑
тим найти размер выборок, при которых шанс отвергнуть нулевую
гипотезу составляет 90 %. В списке Type of power analysis (Тип ана‑
лиза мощности) выберем «A priori», а в модифицированном разде‑
ле входных параметров изменим значение поля Power с 0.68 на 0.9.
На рис. 7.3 показан вывод программы в новой ситуации. В разделе
выходных параметров мы видим, что для получения мощности 0.9
для двустороннего двухвыборочного t-критерия, когда размер эф‑
фекта на генеральной совокупности δ = 0.55, необходимы размеры
выборок n1 = n2 = 71.

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

111

Рис. 7.2. Вывод программы G*Power, вычисляющей мощность t-критерия с заданными размерами выборок. В данном случае размер эффекта (0.55) и размеры
выборок (n1 = n2 = 40) известны, а мы ищем мощность, т. е. вероятность получить
значимый результат при таких размерах эффекта и выборок и использовании независимого t-критерия и α = 0.05. Выходными параметрами являются параметр
нецентральности δ, который не совпадает с размером эффекта в генеральной совокупности и здесь игнорируется, критическое t-значение, число степеней свободы Df и самое важное – мощность

112



Часть II. Множественная проверка гипотез

Рис. 7.3. Вывод программы G*Power, вычисляющей размеры выборок, необходимые
для того, чтобы мощность t-критерия для эксперимента была не менее 90 %. В данном случае размер эффекта (0.55) известен или является желаемым, а ищем мы размер выборки, необходимый для получения значимого результата с вероятностью 0.9.

В общем случае для заданного размера эффекта можно найти,
при каких наименьших размерах выборок эксперимент будет иметь
заданную мощность. Вычисление таких размеров выборок – важная
часть планирования эксперимента. Обычно не имеет особого смыс‑

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

113

ла ставить эксперимент, не будучи уверенным, что вероятность его
успеха, т. е. мощность, достаточна велика. К сожалению, многие
ученые ставят эксперименты, не выполнив предварительно анализ
мощности, потому что не держат в уме определенный размер эф‑
фекта. Такие исследования могут оказаться ценными, но это в зна‑
чительной мере вопрос удачи. Если вы не можете выполнить осмыс‑
ленный анализ мощности (с обоснованным размером эффекта), то
лучшее, что можно сделать, – «надеяться», что эксперимент даст
значимый результат. Если не получилось, то не на кого пенять, по‑
тому что у вас никогда и не было (количественных) причин ожидать,
что выборка достаточно велика для демонстрации эффекта. Сколь‑
ко раз ученые занимались предварительной проработкой, полагая,
что собираются что-то подтвердить! Подтверждающая работа почти
всегда основана на знаниях о размере эффекта, которые можно ис‑
пользовать для планирования эксперимента с высокой мощностью.

7.3. Возможное снижение мощности при сложном
плане эксперимента
В идеале анализ мощности производится до сбора данных; это назы‑
вается априорной мощностью. Но можно также оценивать мощность
апостериорно, используя размеры выборок и оцененный на основе
данных размер эффекта. В простых случаях (например, двухвыбо‑
рочный t-критерий) апостериорный анализ мощности не говорит
ничего, кроме критерия значимости. Если вы воспользуетесь про‑
граммой G*Power для вычисления мощности при различных ком‑
бинациях t и размеров выборок, то обнаружите, что если t-критерий
дает p > 0.05, то вычисленная мощность будет меньше 0.5. Анало‑
гично если t-критерий дает p < 0.05, то вычисленная мощность будет
больше 0.5. Если t-критерий дает p = 0.05, то вычисленная мощность
будет приближенно равна 0.5. В этом разделе мы покажем, что апо‑
стериорное вычисление мощности может быть полезнее для слож‑
ных видов статистического анализа, включающих применение не‑
скольких критериев к набору данных.
Выше мы видели, как использовать G*Power для вычисления мощ‑
ности при планировании простых экспериментов. Эта и похожие
программы вычисляют за раз только один статистический критерий.
На практике исследователи часто используют комбинации критери‑
ев для обоснования теоретической интерпретации. Для повышения
статистической мощности комбинации критериев часто требуется

114

 Часть II. Множественная проверка гипотез

генерировать модельные наборы данных, соответствующие плану
эксперимента и размерам выборок. Такие модельные данные затем
анализируются так же, как экспериментальные. Повторив этот про‑
цесс тысячи раз, можно просто подсчитать, как часто полный набор
статистических выходов соответствует выходам, необходимым для
поддержки теоретического предположения. Такой подход на основе
моделирования позволяет исследователю рассматривать «вероят‑
ность успеха», которая обобщает понятие мощности.
Мы увидим, что у сложных планов эксперимента с несколькими
критериями могут быть проблемы с достижением высокой мощно‑
сти. Даже если мощность отдельных критериев приемлема, может
случиться, что у полного набора критериев мощность низкая.
Для демонстрации этого обобщения полезно рассмотреть кон‑
кретный пример. Он специально усложнен, потому что запутан‑
ность высвечивает важные аспекты анализа мощности. В известном
исследовании, опубликованном в 2017 году, приводились эмпириче‑
ские факты в пользу того, что эффективность запоминания связана
с дыханием через нос. Побудительным мотивом для исследования
было то, что дыхание через нос может стимулировать мозговую ак‑
тивность в гиппокампе, связанном с обработкой запоминания. На‑
против, в дыхании через рот гиппокамп не участвует, поэтому влия‑
ния на запоминание быть не должно. Обследуемых просили дышать
либо через рот, либо через нос на этапе просмотра изображений во
время фазы кодирования информации в памяти. Затем при прове‑
дении теста на извлечение из памяти обследуемых просили иденти‑
фицировать ранее виденные изображения. В ходе обоих тестов – ко‑
дирования и извлечения – изображения предъявлялись в случайные
моменты времени – иногда на вдохе, а иногда на выдохе. Главный
вывод заключался в том, что верность идентификации была лучше
для изображений, предъявленных обследуемым, дышащим через
нос на вдохе. И это имело место как при кодировании, так и при
извлечении изображений. С другой стороны, дышащие через рот
не показали значимого эффекта вдоха по сравнению с выдохом.
Само исследование и анализ его результатов довольно сложны,
поэтому полезно охарактеризовать все проверки гипотез. Для удоб‑
ства перечислим также релевантные статистики из этого исследо‑
вания. Во всех проверках сравнивалась способность обследуемых
к запоминанию.
1. Дышащие через нос (n1 = 11) показали значимый (F(1, 10) =
6.18, p = 0.03) основной эффект фазы дыхания (вдох или вы‑
дох) на способность к запоминанию.

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

115

2. Дышащие через нос продемонстрировали лучшую способ‑
ность к запоминанию изображений, которые извлекались на
вдохе, чем на выдохе (t(10) = 2.85, p = 0.017).
3. Дышащие через рот (n2 = 11) не продемонстрировали лучшую
способность к запоминанию изображений, которые извлека‑
лись на вдохе, чем на выдохе (t(10)= −1.07, p = 0.31).
4. В целом не было зарегистрировано значимого различия меж‑
ду дышащими носом и ртом (F(1, 20) = 1.15, p = 0.29).
5. Имело место значимое взаимодействие между фазой дыха‑
ния (вдох или выдох) и типом дыхания (через нос или через
рот), когда изображения помечались способом кодирования
(на вдохе или на выдохе) (F(1, 20) = 4.51, p = 0.046).
6. Также имело место значимое взаимодействие между фазой
дыхания (вдох или выдох) и типом дыхания (через нос или че‑
рез рот), когда изображения помечались способом извлечения
(на вдохе или на выдохе) (F(1, 20) = 7.06, p = 0.015).
Если вы запутались, то черпайте утешение в том, что вы не оди‑
ноки. Исследование и анализ его результатов очень сложны, поэтому
читателю трудно связать опубликованные статистики с теоретиче‑
скими выводами. К тому же некоторые сравнения кажутся неумест‑
ными. Например, авторы исследования использовали проверки 2 и 3
для демонстрации различий в значимости между дышащими через
нос и через рот (сравнивая качество извлечения из памяти на вдохе
и на выдохе). В главе 3 (следствие 3b) мы отмечали, что различная зна‑
чимость не то же самое, что значимое различие. Аналогично авторы
сочли, что нулевой результат в проверке 3 указывает на «отсутствие
различий» в общей эффективности запоминания при дыхании через
нос и через рот. В главе 2 (следствие 3a) мы видели, что отсутствие до‑
казательства не то же самое, что доказательство отсутствия.
Таблица 7.1. Оценки вероятностей успеха для находок, обнаруженных в исследовании, связывающем эффективность запоминания с типом дыхания (через
нос или через рот)
Проверка

Вероятность успеха

Через нос: основной эффект фазы дыхания

0.690

Извлечение при дыхании через нос: эффект фазы
дыхания

0.655

Извлечение при дыхании через рот: эффект фазы
дыхания

0.809

116



Часть II. Множественная проверка гипотез
Окончание табл. 7.1
Проверка

Вероятность успеха

Сравнение дыхания через нос и через рот: нулевой
основной эффект

0.820

На этапе кодирования: взаимодействие между фазой
и типом дыхания

0.604

На этапе извлечения: взаимодействие между фазой
и типом дыхания

0.708

Все проверки

0.216

Оставим на время наши сомнения относительно уместности про‑
верок. Для успеха этого исследования требовалось получить четыре
значимых результата и два незначимых. Если бы какой-то из этих ре‑
зультатов оказалсябезуспешным, то были бы поставлены под сомне‑
ние некоторые выводы авторов. Как оказалось, данные подтвердили
каждый из необходимых результатов. Мы покажем, что при таком
большом числе результатов, которые должны быть подтверждены
одним набором данных, столь полный успех был бы редкостью, даже
если бы эффекты действительно имели место и были близки к оцен‑
кам значений, полученных на экспериментальных данных. Чтобы
оценить вероятность такого успеха, мы воспользовались статистиче‑
ской программой R для генерирования 100 000 модельных экспери‑
ментов с такими же размерами выборки, средними, стандартными
отклонениями и корреляциями (внутрисубъектных аспектов экспе‑
римента), как указано в исследовании. В табл. 7.1 показано, как часто
каждая проверка давала желаемый результат. Вероятность успеха для
любой отдельно взятой гипотезы варьируется от 0.60 до 0.82. Для каж‑
дой значимой проверки вероятность ее успеха соответствует мощно‑
сти. Для проверок 3 и 4 успешным считался незначимый результат,
и в таблице приведена вероятность не отвергнуть нулевую гипотезу.
Однако вероятность того, что при таком моделировании каждая
проверка будет успешна, гораздо ниже вероятности успеха одной
проверки, потому что данные должны обладать свойствами, необ‑
ходимыми для получения значимого результата в одних проверках
и незначимого в других. Совместная вероятность успеха всех прове‑
рок в одном эксперименте составляет всего 0.216. Такое низкое зна‑
чение наводит на мысль, что на случайной выборке прямое воспро‑
изведение этого исследования с похожим размером выборки имело
бы довольно низкие шансы повторить описанные результаты.

Глава 7. Планирование эксперимента: подгонка модели, мощность... 

117

Исследователь, задумавший повторить это исследование, на‑
верно, захотел бы взять выборку такого размера, при котором
вероятность успеха высока. Увеличение выборки повышает мощ‑
ность критерия, поэтому исследование всего с одной проверкой
имело бы больше шансов обнаружить эффект, если он существует.
Но когда теоретические выводы основываются как на значимых,
так и на незначимых проверках, максимальная вероятность успеха
ограничена, потому что при увеличении размера выборки малые
эффекты порождают значимые результаты (даже если авторы ис‑
следования надеются на нулевой результат). Предел вероятности
для этого исследования можно изучить с помощью дополнитель‑
ных модельных экспериментов, в которых размер выборки варьи‑
руется для каждого условия. Цветные линии на рис. 7.4 показыва‑
ют оценочные вероятности успеха для каждой из шести проверок
в виде функции от размера выборки (в предположении, что размер
выборки одинаков для каждого условия). Для тех четырех прове‑
рок, в которых успехом считается получение значимого результа‑
та, вероятность успеха возрастает вместе с ростом размера выбор‑
ки и сходится к максимальному значению 1 при размере выборки
около 40. Для двух проверок, где успехом считается незначимый
результат, вероятность успеха убывает с ростом размера выборки
(поскольку в некоторых случайных выборках имеют место значи‑
мые различия). Штриховые черные линии на рис. 7.4 показывают,
что при рассмотрении всех шести проверок вместе (черная линия)
максимально возможная вероятность успеха составляет 0.37, когда
выбрано n1 = n2 = 20 обследуемых для каждого условия.
Этот анализ вероятности успеха наводит на мысль, что для ис‑
следования связи между типом дыхания и эффективностью запо‑
минания желателен другой план эксперимента. Простые экспери‑
менты обычно лучше, потому что чем больше требований предъ‑
является к набору данных (например, порождать много значимых
или незначимых результатов), тем меньше вероятность того, что
какой-то конкретный набор данных даст требуемый набор ре‑
зультатов. Принимая во внимание низкую оценочную вероят‑
ность успеха в этом исследовании, возникает вопрос, как авторам
удалось так удачно сформировать случайную выборку, что были
подтверждены и отвернуты именно те гипотезы, которые были
им необходимы для подтверждения своих теоретических предпо‑
ложений. Мы рассмотрим этот вопрос в главе 10 при обсуждении
того, как следует интерпретировать статистику в повторных экс‑
периментах.

118

 Часть II. Множественная проверка гипотез
1
Через нос: основной эффект фазы дыхания
Извлечение при дыхании через нос: эффект фазы дыхания
Извлечение при дыхании через рот: эффект фазы дыхания
Сравнение дыхания через нос и через рот: нулевой основной эффект
На этапе кодирования: взаимодействие между фазой и типом дыхания
На этапе извлечения: взаимодействие между фазой и типом дыхания
Все проверки

Вероятность успеха

0.8

0.6

0.4

0.2

0
0

20

40

60

80

100

Размер выборки для каждого условия

Рис. 7.4. Каждая цветная линия показывает оценочную вероятность успеха
в виде функции от размера выборки для одной проверки из исследования влияния типа дыхания на эффективность запоминания. Сплошная черная кривая показывает оценочную вероятность успеха всех проверок. Штриховые черные линии
маркируют размер выборки, для которой вероятность успеха сразу всех проверок
максимально возможная. Каждое значение основано на 10 000 модельных экспериментов

Что следует запомнить
1. Старайтесь составлять простые планы: подумайте об уплот‑
нении исходных данных в промежуточные переменные, кото‑
рые уже подвергаются статистическому анализу.
2. Производите анализ мощности до начала эксперимента, что‑
бы оценить, есть ли у него реальные шансы продемонстриро‑
вать существующий эффект.
3. Старайтесь составлять простые планы: если для подтвержде‑
ния теории необходимы как значимые, так и нулевые резуль‑
таты, то мощность может сильно снизиться.

Глава 8
Корреляция
Что вы узнаете из этой главы
В главах 3 и 6 мы изучали влияние географической широты на высо‑
ту деревьев, для чего обмеряли деревья в двух и трех местах и про‑
веряли, различаются ли средние высоты. Как мы увидим ниже, для
ответа на этот вопрос лучше измерять высоту на большем числе па‑
раллелей. Применение дисперсионного анализа (ANOVA) не лучшее
решение в этой ситуации, потому что не принимается во внимание
тот факт, что широта измеряется по относительной шкале. В ANOVA
все широты трактуются как номинальные значения (см. главу 7).
Корреляция позволяет учесть относительность шкалы и тем самым
выразить влияние широты одним значением, r.

8.1. Ковариация и корреляция
Сначала поговорим о визуализации корреляции. В случае отри‑
цательной линейной корреляции увеличению одной переменной
соответствует линейное уменьшение другой переменной, напри‑
мер высота деревьев уменьшается с возрастанием широты. Если
отложить широту по оси x, а высоту деревьев по оси y, то точки
лягут на прямую, как показано на рис. 8.1a (отрицательная линей‑
ная корреляция). С другой стороны, если две переменные никак
не связаны между собой, то данные будут выглядеть как размытое
облако точек (рис. 8.1c, корреляция отсутствует). Если высота де‑
ревьев возрастает с увеличение широты, то имеет место положи‑
тельная линейная корреляция (рис. 8.1e). Обычно мы имеем чтото среднее (рис. 8.1b, d).

Высота дерева

120
(a)



Часть II. Множественная проверка гипотез
(b)

(c)

(d)

(e)

Широта

Рис. 8.1. Пять случаев зависимости высоты деревьев от географической широты.
Каждая точка представляет высоту одного дерева в одном месте. Корреляция измеряет степень линейной зависимости между двумя переменными

Эта линейная связь описывается формулой ковариации:
n

cov( x, y ) 

(x
i 1

i

 X )  ( yi  Y )
n 1

,

(8.1)

где xi – например, значения широты, yi – значения высоты деревьев,
а X и Y – средние, т. е. средняя широта и средняя высота дерева соот‑
ветственно. Данные представляют собой n пар (широта, высота дере‑
ва). Ковариация обобщает понятие дисперсии, потому что cov(x, x) –
дисперсия x.
Недостаток ковариации в том, что она зависит от масштаба. На‑
пример, если высота деревьев измеряется в метрах, то ковариация
будет меньше, чем при измерении в сантиметрах. Поэтому мы нор‑
мируем ковариацию, деля ее на произведение стандартных откло‑
нений x и y, и таким образом приходим к корреляции:
r=

cov( x,y )
.
sx sy

(8.2)

Корреляция этого типа называется коэффициентом корреляции
Пирсона. Его значения изменяются от −1.0 до +1.0, где −1 означает
отрицательную линейную корреляцию, 0 – отсутствие корреляции,
а +1 – положительную линейную корреляцию (рис. 8.1a, c и e). Дру‑
гие значения соответствуют промежуточной тесноте связи между
переменными.

8.2. Проверка гипотез с помощью корреляции
На рис. 8.2 приведен пример (n = 50) данных о высоте деревьев на
разных широтах. Каждая точка соответствует одному дереву. Оче‑
видно, что линейной корреляции нет, но кажется, что корреляция все

Глава 8. Корреляция 

121

же отлична от нуля. Мы воспользуемся проверкой гипотез, чтобы уз‑
нать, имеется ли значимая корреляция. Нулевая гипотеза имеет вид:
6.2
6

Высота деревьев (м)

5.8
5.6
5.4
5.2
5
4.8
4.6

0

10

20

30
40
Широта (градусы)

50

60

70

Рис. 8.2. Зависимость высоты деревьев от географической широты для выборки
из 50 деревьев. Коэффициент корреляции равен r = –0.312. Красная линия – наилучшая эмпирическая прямая
H0 : ρ = 0,

где ρ – корреляция в генеральной совокупности.
Мы не будем вдаваться в детали, но если нулевая гипотеза верна,
то стандартное отклонение выборочного распределения выбороч‑
ной корреляции равно:
sr 

1 r2
,
n2

(8.3)

а соответствующая статистика критерия – t-значение, вычисляемое
по формуле:
t=

r −0
.
sr

(8.4)

с числом степеней свободы df = n − 2. Вывод типичной статисти‑
ческой программы для данных на рис. 8.2 выглядит, как показано

122



Часть II. Множественная проверка гипотез

в табл. 8.1.
Таблица 8.1. Вывод корреляции типичной статистической программой
r

t

df

p

−0.312

−2.28

48

0.027

Поскольку значение p меньше 0.05, мы заключаем, что имеется
значимая корреляция. Тот факт, что значение r отрицательно, озна‑
чает, что более высокие деревья растут на меньшей широте.

8.3. Интерпретация корреляции
Предположим, что мы выявили значимую корреляцию между пере‑
менными x и y. О чем это говорит? Во-первых, это не значит, что
x является причиной y. Это легко понять, заметив, что
n

cov( x,y ) 

(x
i 1

i

 X )  ( yi  Y )
n 1

n



(y
i 1

i

 Y )  ( xi  X )
n 1

 cov( y, x),

(8.5)

что при неправильной интерпретации означало бы, что x является
причиной y и y является причиной x. Значимая корреляция может
иметь место по четырем причинам:
1) x является причиной y,
2) y является причиной x,
3) некоторая промежуточная переменная z является причиной x и y,
4) корреляция ложная.
Приведем пример промежуточной переменной (причина 3):
не сама широта определяет высоту деревьев, а некоторые факторы,
связанные с широтой, например запас воды. Ложная корреляция
(причина 4) может возникнуть случайно. Например, за период с 2000
по 2009 год между потреблением сыра на душу населения в США
и количеством людей, умерших, потому что запутались в простыне,
имеется корреляция r = 0.947. Если бы ученый обнаружил такую вы‑
сокую корреляцию в эксперименте, то откупорил бы бутылку шам‑
панского! Ложные корреляции неизбежны, если рассматривать до‑
статочно много наборов данных.
Важно отметить, что корреляция измеряет только линейную
связь, поэтому незначимая корреляция еще не означает, что между
x и y нет никакой причинно-следственной связи. Например, темпе‑

Глава 8. Корреляция 

123

ратура воздуха систематически изменяется на протяжении суток по
синусоидальному закону (поднимается днем и опускается ночью),
но коэффициент корреляции между временем суток и температу‑
рой r ≈ 0.
Всегда рекомендуется не только вычислять коэффициент корре‑
ляции, но и изучать график данных. Данные совершенно разных
типов могут приводить к одному и тому же значению r (рис. 8.3), по‑
этому знание одной лишь корреляции несет только частичную ин‑
формацию о наборе данных. Ко всему прочему, корреляция очень
чувствительна к выбросам (рис. 8.4), и добавление или удаление
всего одной точки может кардинально изменить коэффициент кор‑
реляции набора данных.
15

10

10

y

y

15

5

5
5

10

x

15

20
15

10

10

10

5

10

x

15

20

15

20

y

y

15

5

5

5
5

10

x

15

20

x

Рис. 8.3. Квартет Энскомба. Для всех наборов данных значение r одно и то же
(r = 0.816), хотя на графике они ничуть не похожи

 Часть II. Множественная проверка гипотез
15

15

10

10

5

5

y

y

124

0
-5

0

0

2

x

4

6

8

-5

0

2

x

4

6

8

Рис. 8.4. Выбросы могут оказать сильное влияние на корреляцию. Слева: оригинальные данные с r = 0.71. Справа: добавление единственного выброса (синяя
точка в правом нижнем углу) привело к резкому уменьшению коэффициента корреляции (r = 0.44)
Таблица 8.2. Рекомендации Коэна по размеру эффекта для |r|

Размер эффекта

Малый

Средний

Большой

0.1

0.3

0.5

8.4. Размер эффекта
Корреляцию часто применяют как меру размера эффекта, показы‑
вающую тесноту связи между двумя переменными. В частности,
квадрат корреляции, r2, показывает, какая доля изменчивости одной
переменной (например, высоты деревьев) может быть объяснена
изменчивостью другой переменной (например, широты). Это ин‑
формация того же рода, что и величина η2, рассмотренная в главе 6.
Согласно Коэну значение r, меньшее 0.1, считается малым эффек‑
том, как и значение, большее −0.1 (табл. 8.2).

8.5. Сравнение с подгонкой модели, ANOVA
и t-критерием
В главе 7 мы подгоняли модель к данным об обучении и обращали
внимание прежде всего на угловой коэффициент, который аналоги‑
чен коэффициенту корреляции, потому что корреляция – это мера

Глава 8. Корреляция 

125

Высота деревьев

линейности связи. Проверка гипотезы о ненулевом угловом коэф‑
фициенте дает такой же результат, как проверка гипотезы о ненуле‑
вой корреляции.
Как было отмечено в главе 7, не стоит использовать ANOVA, когда
независимая переменная измеряется по относительной шкале, пото‑
му что в ANOVA считается, что независимая переменная номинальная.
Поскольку анализ, основанный на корреляции, задействует все пре‑
имущества относительной шкалы, его мощность выше, чем у ANOVA.
Можно было бы также использовать t-критерий, разбив данные на
две части, например больше и меньше медианной широты, т. е. поло‑
вину данных отнести к северной группе, а другую половину – к юж‑
ной. В общем случае такой подход хуже анализа, основанного на кор‑
реляции, потому что (снова) не учитывает относительность шкалы
независимой переменной. Например, на рис. 8.5 данные, показан‑
ные на рис. 8.2, разделены между регионами с высокими и низкими
широтами. t-критерий не дает значимого результата. Таким обра‑
зом, если проанализировать данные с таким разбиением на подмно‑
жества, то мы не заметим значимого различия, которое нашли в ре‑
зультате анализа корреляции исходного набора данных (табл. 8.1).
В некотором смысле корреляцию можно рассматривать как обоб‑
щение дисперсионного анализа и t-критерия.
5.5

t(48) = 1.68, p = 0.09960

5.4

5.3

Первая половина

Вторая половина

Широта (медианное разбиение)
Рис. 8.5. Данные, порожденные в результате медианного разбиения данных на рис. 8.2.
Исследование с помощью t-критерия не показывает значимого различия между средними

8.6. Предположения и подводные камни
Для проверки гипотез о наличии корреляции необходимо сделать
несколько предположений.
1. Как всегда, данные должны быть независимы и одинаково
распределены.

126



Часть II. Множественная проверка гипотез

2. Распределение переменной y, обусловленной любым значе‑
нием переменной x, должно быть нормальным. То есть если
мы возьмем все значения y при одном и том же значении x и
построим их гистограмму, то эта гистограмма будет иметь
нормальное распределение.
3. Шкала обеих переменных интервальная или относительная.
4. Размер выборки фиксируется до начала эксперимента.
Если шкала данных порядковая, то можно вычислить коэффици‑
ент корреляции Спирмена, в котором используются ранги (поряд‑
ковая шкала), а относительная шкала необязательна. Коэффициент
корреляции Спирмена – непараметрический эквивалент параме‑
трического коэффициента корреляции Пирсона.

8.7. Регрессия
В этом подразделе мы кратко опишем связь между корреляцией
и регрессией. Если торопитесь, можете пропустить его. В следующих
главах регрессия не будет играть никакой роли.
Корреляция говорит, насколько плотно упакованы данные во‑
круг оптимальной эмпирической прямой. Например, коэффи‑
циент корреляции 1.0 означает, что данные точно ложатся на
прямую. Но что такое эта оптимальная эмпирическая прямая?
Регрессия дает ее уравнение с двумя параметрами: угловой ко‑
эффициент m и свободный член b (ордината точки пересечения
прямой с осью y). Угловой коэффициент прямой регрессии равен
стандартному отклонению в направлении y, поделенному на стан‑
дартное отклонение в направлении x и умноженному на весовой
коэффициент r из формулы 8.2:
m=r

sy
sx

.

(8.6)

Таблица 8.3. Вывод регрессии типичной статистической программой
Параметр

Значение коэффициента

t

p

Свободный член (константа)

12.146

4.079

0.00017

Угловой коэффициент (широта)

–0.147

–2.275

0.027

Глава 8. Корреляция 

127

Это означает, что для любой величины стандартного отклонения,
пройденной в направлении x, мы поднимаемся в направлении y на
величину стандартного отклонения, умноженную на r.
Свободный член b равен:
b = y − mx.
Для данных о высоте деревьев на рис. 8.2 угловой коэффициент
m = −0.1473, а свободный член b = 12.1461. Это означает, что на ши‑
роте 0° средняя высота деревьев равна 12.1461 м и что на каждый
градус широты к северу от экватора высота деревьев изменяется на
−0.1473 м (т. е. при увеличении широты высота деревьев уменьша‑
ется). Типичная статистическая программа показывает эти резуль‑
таты в виде таблицы, как в табл. 8.3.
Здесь, помимо углового коэффициента и свободного члена пря‑
мой регрессии, программа выводит также t- и p-значение того
и другого – так называемые коэффициенты регрессии.
Эти статистики проверяют нулевую гипотезу, согласно которой
угловой коэффициент и свободный член равны нулю. В данном при‑
мере p-значение меньше 0.05, поэтому обе величины значимо от‑
личны от нуля. В такой ситуации соответствующий коэффициент
корреляции (значение r) обычно значимо отличается от нуля. Если
свободный член значимо не отличается от нуля, то прямая регрес‑
сии приближенно проходит через точку (0, 0).
Что следует запомнить
1. Корреляцию следует предпочесть, если обе переменные изме‑
ряются по интервальной или относительной шкале.
2. Не следует путать причинно-следственную связь с корреляцией.
3. Совершенно различные наборы данных могут приводить
к одному и тому же значению r.

Часть III
Метаанализ и кризиc науки

Глава 9
Метаанализ

Что вы узнаете из этой главы
В части III мы покажем, что путем комбинирования данных из
различных экспериментов можно получить совершенно новые
знания. Например, даже если статистический результат каждого
эксперимента сам по себе не имеет особого смысла, иногда комби‑
нация данных указывает на наличие проблемы. Насколько вероят‑
но, что все четыре эксперимента с малым эффектом и малым раз‑
мером выборки приведут к значимым результатам? Мы покажем,
что чаще всего крайне маловероятно. Отсюда вытекает простое
следствие: если эксперименты всегда дают значимые результаты,
то данные слишком хороши, чтобы быть правдой. Мы покажем, как
распространенная, но неправильно понятая научная практика ве‑
дет к «слишком хорошим, чтобы быть правдой» данным, как эта
практика вздувает частоту ошибок типа I и как это привело к се‑
рьезному кризису науки, затронувшему многие области, где стати‑
стика играет ключевую роль. В этом смысле часть III можно считать
обобщением следствий, сформулированных в главе 3. И в конце мы
обсудим потенциальные решения.
В этой главе мы обобщим стандартизованные размеры эффектов
из главы 2 и покажем, как комбинировать данные из разных экспе‑
риментов для вычисления метастатистики.

9.1. Стандартизованные размеры эффектов
Как было сказано в части I, статистика в значительной своей части
занимается различением зашумленного сигнала и чистого шума.
Для стандартного двухвыборочного t-критерия отношение сигнала
к шуму называется d Коэна и оценивается на основе данных по сле‑
дующей формуле (см. главу 3):

Глава 9. Метаанализ 

d=

131

x1 − x2
.
s

d Коэна говорит нам, насколько просто различить два средних.
Разность средних находится в числителе. Большую разность проще
обнаружить, чем малую, но нужно также принимать во внимание
шум. При большом стандартном отклонении обнаружить различие
между средними труднее (см. главу 2). Если n1 = n2 = n, то t-значение
в двухвыборочном t-критерии равно:
t=

x1  x2 x1  x2
d
n


d .
2
sx1  x2
2
2
s
n
n

Таким образом, t-значение является просто произведением d Ко‑
эна на вес, равный функции от размера выборки. Как отмечалось
в главе 3, всегда полезно проверять размер эффекта. К сожалению,
во многих исследованиях указывается лишь p-значение, в котором
размер эффекта и размер выборки объединены. Исходя из приведен‑
ной выше формулы, мы можем вычислить d Коэна, зная t-значение
и размер выборки:
d =t

2
.
n

Важное свойство d Коэна – независимость его абсолютной вели‑
чины от размера выборки. Это следует из того, что d – оценка фик‑
сированного (хотя и неизвестного) значения для генеральной сово‑
купности1.
В главе 3 мы показали, что δ можно оценить с помощью d. Однако
d является хорошей оценкой, только если выборка велика. Для от‑
носительно небольших выборок d систематически завышает оцен‑
ку размера эффекта в генеральной совокупности δ. Это завышение
можно скорректировать, воспользовавшись не d, а g Хеджеса:


3
g = 1 
 d.
 4(2n  2)  1 

1

Отметим, что, хотя в эту конкретную формулу размер выборки n входит,
он лишь компенсирует увеличение t с ростом размера выборки.

132



Часть III. Метаанализ и кризиc науки

Почти для всех практических целей можно считать, что g Хеджеса –
то же самое, что d Коэна. Мы упомянули его здесь только потому, что
будем использовать для вычислений в контексте метаанализа. В при‑
ложение к этой главе включены формулы для случая n1 ≠ n2 и других
типов планирования эксперимента.

9.2. Метаанализ
Предположим, что один и тот же (или очень похожие) эксперимент
выполняется несколько раз. На первый взгляд, ничто не меша‑
ет объединить данные нескольких экспериментов, чтобы прийти
к еще более убедительным выводам и достичь большей мощности.
У такого объединения есть даже специальное название – метаана‑
лиз. Оказывается, что для проведения такого метаанализа очень по‑
лезны стандартизованные размеры эффектов.
В табл. 9.1 сведены статистические показатели из пяти исследо‑
ваний, в которых авторы приходят к выводу, что обращение с день‑
гами уменьшает нищету по сравнению с социальной изоляцией.
Во всех исследованиях использовался двухвыборочный t-критерий,
а в столбце g приведено значение g Хеджеса, являющееся просто
оценкой размера эффекта.
Чтобы объединить размеры эффектов по всем исследованиям,
необходимо принять во внимание размеры выборок. Эксперимент
с участием 46 обследуемых весит больше, чем эксперимент с 36 об‑
следуемыми в каждой группе. В последнем столбце табл. 9.1 приве‑
ден взвешенный размер эффекта, w × g, для каждого эксперимента
(о вычислении w см. приложение). Объединенный размер эффекта
вычисляется путем сложения взвешенных размеров эффектов и де‑
ления результата на сумму весов:
5

g* =

w g
i 1

i

wi

i

 0.632.

Этот метааналитический размер эффекта – лучшая оценка, ос‑
нованная на результатах пяти экспериментов. Стоит ли объединять
стандартизованные размеры эффектов таким образом, сильно за‑
висит от теоретической интерпретации эффектов. Если теория го‑
ворит, что все эксперименты измеряют, по существу, один и тот же
эффект, то такой вид объединения допустим, и результатом станет
более точная оценка размера эффекта. С другой стороны, нет особо‑

Глава 9. Метаанализ 

133

го смысла объединять существенно различные эксперименты, в ко‑
торых измеряются разные эффекты.
Метаанализ сильно осложняется, если эксперименты структурно
различны (например, в опубликованных работах могут применяться
t-критерии, ANOVA или корреляция). Но, несмотря на трудности, ме‑
таанализ может стать удобным средством объединения эксперимен‑
тальных данных и, следовательно, получения более точных оценок
эффекта.
Таблица 9.1. Данные из пяти экспериментов, использованные для метаанализа
n

t

g

w×g

36

3.01

0.702

12.15

36

2.08

0.485

8.66

36

2.54

0.592

10.43

46

3.08

0.637

14.17

46

3.49

0.722

15.83

Что следует запомнить
1. Объединение размеров эффектов из разных экспериментов
дает более точные оценки.
2. Объединение экспериментальных данных повышает мощность.

Приложение
Стандартизованные размеры эффектов в более
сложных случаях
Если размеры выборок различны (n1 ≠ n2), то t-значение двухвыбо‑
рочного t-критерия равно:
t=

x1  x2

sx1  x2

x1  x2
s

1 1

n1 n2



d
1 1

n1 n2

d

n1n2
.
n1 + n2

134

 Часть III. Метаанализ и кризиc науки

Если в опубликованном исследовании не приводятся средние
и стандартные отклонения выборок, то d Коэна можно вычислить по
указанным t-значению и размеру выборки:
d =t

n1 + n2
.
n1n2

g Хеджеса при неравных размерах выборок вычисляется по формуле:


3
g = 1 
 d.
n

n


4
(
2
)
1


1
2
Существуют аналогичные формулы стандартизованных размеров
эффектов и поправок для других планов эксперимента. Например,
для одновыборочного t-критерия с нулевой гипотезой, заключаю‑
щейся в том, что среднее генеральной совокупности равно a, вели‑
чина d Коэна вычисляется по формуле:
d=

x −a
,
s

где сигнал (отклонение от значения, предполагаемого в нулевой ги‑
потезе), как и раньше, находится в числителе, а шум (выборочное
стандартное отклонение) – в знаменателе. Несмещенным вариан‑
том d Коэна для одновыборочного случая является g Хеджеса:


3
g = 1 
 d.
n
4
(

1
)

1


Для t-критериев с повторными измерениями подходящий стандар‑
тизованный размер эффекта зависит от способа его использования.
Иногда исследователь хочет получить размер эффекта относительно
разностных примеров, вычисляемых для каждого обследуемого. В та‑
ком случае подходит одновыборочное d или g. А иногда требуется най‑
ти размер эффекта, эквивалентный тому, что был бы получен в двух‑
выборочном независимом t-критерии. Тогда необходимо компенси‑
ровать корреляцию между примерами. Если опубликовано t-значение
зависимой выборки, то вычисления производятся по формуле:
d=

t
n

2(1 − r ).

Глава 9. Метаанализ 

135

К сожалению, в большинстве работ не публикуется корреляция
между примерами для зависимой выборки. Для наших целей основ‑
ная идея стандартизованного размера эффекта важнее конкретного
вычисления. Однако следует иметь в виду, что формулы, встреча‑
ющиеся в интернете, иногда подразумевают не высказанные явно
предположения, например, о равенстве размеров выборок для неза‑
висимого t-критерия или что r = 0.5 для зависимого t-критерия.

Более полный пример метаанализа
В табл. 9.2 приведены некоторые промежуточные члены, отсутству‑
ющие в табл. 9.1.
Таблица 9.2. Подробный метаанализ с дополнительными вычислениями для
тех же данных, что в табл. 9.1
n1

n2

t

g

vg

w

wg

36

36

3.01

0.702

0.058

17.3

12.15

36

36

2.08

0.485

0.056

17.9

8.66

36

36

2.54

0.592

0.057

17.6

10.43

46

46

3.08

0.637

0.045

22.2

14.17

46

46

3.49

0.722

0.046

21.9

15.83

Для объединения размеров эффекта из разных исследований мы
умножаем каждое значение g на вес, равный его обратной диспер‑
сии. Вычисление обратной дисперсии состоит из нескольких шагов.
Для независимого двухвыборочного t-критерия формула диспер‑
сии d Коэна имеет вид:

d =

n1 + n2
d2
,

2(n1 + n2 )
n1n2

а дисперсия g Хеджеса включает квадрат встречавшегося ранее по‑
правочного члена:
2



3
 g = 1 
 , d .
n

n


4
(
2
)
1


1
2
который показан в отдельном столбце табл. 9.2. Для выполнения ме‑
таанализа каждый стандартизованный размер эффекта умножается
на свою обратную дисперсию:

136



Часть III. Метаанализ и кризиc науки

w=

1
,
νg

которая находится в столбце слева от произведения wg. Объединен‑
ный размер эффекта вычисляется путем суммирования произведе‑
ний и деления результата на сумму весов:
5

g* =

w g
i 1
5

i

 wi
i 1

i

 0.632.

Глава 10
Воспроизводимость
Что вы узнаете из этой главы
В этой главе используются методы анализа мощности из главы 7
и методы метаанализа из главы 9, чтобы выявить примеры некор‑
ректного статистического анализа в опубликованных работах. Ос‑
новная идея проста. Если мощность не очень велика, то мы знаем,
что даже реально существующие эффекты не всегда дают значи‑
мые результаты из-за недостаточности случайной выборки. Если
при умеренной мощности все результаты получились значимыми,
то опубликованные цифры слишком хороши, чтобы быть правдой.
Из наших рассуждений вытекает важнейшее следствие: при исполь‑
зовании статистической проверки гипотез воспроизведение не мо‑
жет являться окончательным арбитром в науке, если только экспе‑
риментальная мощность не очень велика. В главе 11 показано, что
такие результаты могут получаться, даже когда ученый старается
все делать правильно.

10.1. Кризис воспроизводимости
Во всех науках воспроизводимость считается «золотым стандар‑
том» для демонстрации важных открытий. Если коллега усомнил‑
ся в достоверности вашего эмпирического утверждения, то самый
верный способ поставить его на место – продемонстрировать, что
эффект устойчиво воспроизводится. Такая демонстрация особен‑
но убедительна, если эффект воспроизведен в независимой ла‑
боратории. И наоборот, если независимая лаборатория сообщает,
что воспроизвести эффект не удалось, то, скорее всего, последует
оживленная дискуссия на тему правильного применения проце‑
дур и интерпретации результатов. Успешное воспроизведение вы‑
соко ценится и считается сильным аргументом в пользу научного
утверждения.



Часть III. Метаанализ и кризиc науки
p-значения в повторном исследовании

138

1

0.8

0.6

0.4

0.2

0
0

0.02

0.04

0.06

0.08

0.1

p-значения в оригинальном исследовании
Рис. 10.1. Каждая точка соответствует паре p-значений из оригинального исследования и его воспроизведения. Хотя почти во всех оригинальных исследованиях
сообщалось, что p < 0.05, лишь в очень немногих воспроизведениях удалось получить столь же малое p-значение. Рисунок печатается с разрешения Open Science
Collaboration [1]. Обратите внимание на сильно различающийся масштаб по осям
x и y. Диапазон значений по оси x – от 0.0 до 0.1, а по оси y – от 0.0 до 1.0. Не просматривается очевидная связь между p-значениями в оригинальном и повторном
исследованиях. Хорошим считался бы результат, при котором p-значения в повторном исследовании меньше 0.05, т. е. когда все черные точки расположены
ниже штриховой горизонтальной прямой

К сожалению, во многих научных дисциплинах с воспроизводи‑
мостью дело обстоит неважно. Группа психологов под названием
Open Science Collaboration [1] предприняла попытку воспроизве‑
сти 97 исследований, опубликованных в трех ведущих журналах.
В их отчете от 2015 года лишь 36 % повторных исследований дали
результаты, сходные с оригинальными. Каждая точка на рис. 10.1
представляет пару p-значений: из оригинального и повторного ис‑
следования. Штриховая вертикальная прямая обозначает порог 0.05
в оригинальных исследованиях, и, как видно, почти во всех ори‑
гинальных исследованиях p-значение ниже этого порога. Оно и не
удивительно, потому что обычно публикуются только значимые ре‑
зультаты. Штриховая горизонтальная прямая обозначает порог 0.05
в повторных исследованиях, и почти все p-значения оказались выше
этого порога. Шокирующим стал тот факт, что между оригиналь‑

Глава 10. Воспроизводимость 

139

ным и повторным p-значением не прослеживается никакой связи.
Например, в некоторых оригинальных исследованиях p-значения
были гораздо меньше 0.01, а в повторных оказались близки к 1.0.
Хуже того, во многих повторных исследования выборка была больше, чем в оригинальных, поэтому p-значения должны были бы быть
меньше, как было подчеркнуто в главе 3 (следствие 2d).
Проблемы воспроизводимости свойственны не только психоло‑
гии. В 2012 году исследователи из биотехнологической компании
Amgen сообщили, что не смогли воспроизвести результаты 47 из
53 считающихся знаковыми статей, относящихся к исследованиям
рака. В академических кругах наблюдается стремление повторить
то, что было сделано психологами. И первые результаты показыва‑
ют, что с дела с воспроизводимостью обстоят ничуть не лучше, чем
в психологии. Для многих невоспроизводимость результатов в этих
исследованиях служит признаком чрезвычайно серьезных проблем,
которые иногда называют «кризисом воспроизводимости».
Мы согласны, что проблемы серьезны. Однако думаем, что, вместо
того чтобы недоумевать, почему повторные исследования не при‑
носят успеха, проще взглянуть на оригинальные опубликованные
результаты и показать, что они никогда и не имели смысла.
Рассмотрим следующие два явления, которые изучались в не‑
скольких экспериментах.
 Явление A: 9 из 10 экспериментов дали значимые результаты,
поэтому коэффициент воспроизводимости равен 0.9.
 Явление B: 10 из 19 экспериментов дали значимые результа‑
ты, поэтому коэффициент воспроизводимости равен 0.53.
Если согласиться с тем, что успешное воспроизведение – убеди‑
тельный аргумент в пользу достоверности, то результаты экспери‑
мента определенно отдают предпочтение явлению A перед явлени‑
ем B. Идеальной воспроизводимости нет ни в одном из двух случаев,
но из глав 3 и 7 мы знаем, что не каждый эксперимент обязан быть
успешным. Но все равно явление B воспроизводится только в поло‑
вине экспериментов, поэтому стоило бы усомниться, действительно
ли эффект существует.
Проблема в том, что явления A и B соответствуют реальным ис‑
следованиям. Явление A относится к так называемой прекогниции:
способности человека получать информацию из будущего и исполь‑
зовать ее в настоящем. В статье, опубликованной в ведущем журнале
в 2011 году, утверждалось, что в 9 из 10 экспериментов были получены
значимые свидетельства прекогниции. Несмотря на опубликованные
результаты, очень немногие ученые верят в существование преког‑

140

 Часть III. Метаанализ и кризиc науки

ниции; в основном потому, что это подрывало бы весьма успешную
общую теорию относительности. Таким образом, нам остается заклю‑
чить, что высокого коэффициента воспроизводимости не всегда до‑
статочно, чтобы люди поверили в достоверность эффекта.
Явление B относится к так называемому эффекту постороннего:
люди, оказавшиеся свидетелями чрезвычайной ситуации и способ‑
ные помочь, часто не пытаются помочь пострадавшим. Подобные
эксперименты довольно трудно провести, потому что необходимы
участники, выступающие в роли нуждающихся в помощи, и участни‑
ки в роли свидетелей, не оказавших помощь. Поэтому исследования
на эту тему имеют дело со сравнительно небольшими выборками. Как
следствие, часто встречаются исследования эффекта постороннего,
не дающие значимых результатов. И тем не менее почти все считают,
что этот эффект реально существует. Стало быть, приходится заклю‑
чить, что высокий коэффициент воспроизводимости не всегда не‑
обходим, чтобы заставить людей поверить в достоверность эффекта.
Похоже, мы оказались в парадоксальной ситуации. Ученые твер‑
дят о том, что воспроизводимость – золотой стандарт, позволяющий
судить о достоверности эффекта, но при столкновении с реальными
экспериментами воспроизводимость не является ни необходимым,
ни достаточным условием достоверности. Возникает вопрос – зачем
вообще ставить эксперименты?
Чтобы найти выход из этой странной ситуации, нужно лучше по‑
нимать, что такое статистика и воспроизводимость. В следующем
разделе мы покажем, что эксперимент не всегда обязан допускать
воспроизведение, особенно когда размеры эффекта и выборки
малы. Успешное воспроизведение должно отражать оценочную ве‑
роятность успеха эксперимента. Беспокоиться следует, когда экспе‑
римент воспроизводится слишком часто.

10.2. Тест избыточного успеха
Серия экспериментов должна завершаться успехом с частотой,
близкой к вероятности успеха. Посмотрим, так ли это в эксперимен‑
тах по изучению прекогниции.
Результаты каждого такого эксперимента анализировались с по‑
мощью одностороннего одновыборочного t-критерия. В табл. 10.1
приведены данные о размере выборки и стандартизованном раз‑
мере эффекта (g Хеджеса) для каждого эксперимента. Воспользуемся
техникой метаанализа из главы 9, чтобы вычислить объединенную
оценку стандартизованного размера эффекта. Получится g∗ = 0.1855.

Глава 10. Воспроизводимость 

141

Метаанализ здесь уместен, потому что автор исследования приме‑
нял в том числе аналогичный анализ для обоснования своего теоре‑
тического заявления о существовании прекогниции. Объединенный
размер эффекта, g∗, – лучшее, что мы можем предложить в качестве
оценки размера эффекта, и его можно использовать для оценки
мощности каждого отдельного эксперимента, как описано в главе 7.
В последнем столбце табл. 10.1 приведена оценка мощности, осно‑
ванная на таком метааналитическом размере эффекта. В полном со‑
ответствии с замечаниями по поводу мощности, сделанными в гла‑
ве 7, мощность возрастает и убывает вместе с размером выборки.
Ожидаемо в эксперименте 9 (n = 50) мощность наименьшая (0.36), а в
эксперименте 7 (n = 200) – наибольшая (0.83). Примерно в половине
экспериментов (где n ≈ 100) мощность немного выше одной второй.
Таблица 10.1. Статистика для десяти экспериментов, которые должны были
найти свидетельства в пользу прекогниции
Размер выборки (n)

Размер эффекта (g)

Мощность

Эксп. 1

100

0.249

0.578

Эксп. 2

150

0.194

0.731

Эксп. 3

97

0.248

0.567

Эксп. 4

99

0.202

0.575

Эксп. 5

100

0.221

0.578

Эксп. 6a

150

0.146

0.731

Эксп. 6b

150

0.144

0.731

Эксп. 7

200

0.092

0.834

Эксп. 8

100

0.191

0.578

Эксп. 9

50

0.412

0.363

Предположим, что какой-то ученый решил воспроизвести эту се‑
рию из десяти экспериментов с такими же размерами выборок, как
в оригинальной работе. Если мы согласны с тем, что объединенный
размер эффекта – хороший показатель эффекта прекогниции, то
ожидаемое число успешных исходов в серии из десяти эксперимен‑
тов равно сумме их мощностей. Например, если мощность каждого
эксперимента равна 1.0, то количество значимых результатов долж‑
но быть равно 10. Для экспериментов табл. 10.1 сумма мощностей

142



Часть III. Метаанализ и кризиc науки

равна 6.27. Следовательно, эксперимент должен воспроизводиться
6.27 раз. Эта ожидаемая степень успеха заметно ниже, чем 9 из 10,
указанная в оригинальной работе.
Какова вероятность получить 9 из 10 значимых результатов для
этого эффекта? Мы можем проделать нечто подобное проверке
гипотез и оценить вероятность получения 9 или более успешных
результатов в 10 таких экспериментах. Необязательно, чтобы это
были точно те же 9 экспериментов, что в статье, годятся любые 9
из 10. Чтобы вычислить вероятность успеха, найдем все 11 комби‑
наций экспериментов, в которых наблюдалось 9 или 10 успешных
исходов. Для каждой комбинации вычислим вероятность именно
такого результата, перемножив мощности всех успешных экспери‑
ментов и дополнения к мощностям всех неудачных. Затем сложим
эти величины и получим 0.058. То есть если эффект действительно
существует и близок к указанному в статье, то ученый, точно по‑
вторивший все десять оригинальных экспериментов, может рас‑
считывать всего лишь на 6%-ный шанс получить такой же успех,
как в оригинальной статье. Если считать, что успешное воспроиз‑
ведение должно быть основой доверия к достоверности экспери‑
ментальных результатов, то такой низкий коэффициент представ‑
ляется серьезной проблемой.
Более того, низкая оценка коэффициента воспроизводимости
поднимает вопрос о том, как автор оригинальной работы сумел
получить такую высокую частоту успехов. С учетом того, что нам
известно (из других исследований) об эффекте прекогниции, ка‑
жется очень странным, что 10 экспериментов оказались настолько
успешными. Настолько странным, что можно заподозрить какието огрехи в методике проведения этой серии экспериментов. Воз‑
можно, мы никогда точно не узнаем, что случилось (этого может
не знать и сам автор), но бремя доказательства лежит на исследо‑
вателе, опубликовавшем результаты. Быть может, эффект преког‑
ниции и существует,но это конкретное исследование не дает тому
научного подтверждения.
Что, если применить такой же анализ к явлению B, в котором 10
из 19 экспериментов дали статистически значимые подтверждения
эффекта постороннего? В этом случае объединенный стандартизо‑
ванный размер эффекта равен −0.47, и отрицательное число сви‑
детельствует о наличии эффекта. Объединенный размер эффекта
можно использовать для оценки мощности каждого из 19 экспери‑
ментов. Мощность варьируется от 0.2 приблизительно до 1.0, пото‑
му что в нескольких экспериментах участвовало всего 24 человека,

Глава 10. Воспроизводимость 

143

а в одном было аж 2500 участников. Сумма мощностей всех экспе‑
риментов равна 10.77. Стало быть, следовало бы ожидать получения
примерно 11 значимых результатов, а фактически в 10 эксперимен‑
тах было получено 10 значимых результатов. Таким образом, серия
экспериментов по исследованию эффекта постороннего представ‑
ляется заслуживающей доверия, потому что частота успеха соот‑
ветствует оценочной величине эффекта и размерам выборок. Оце‑
ночная вероятность наблюдать 10 или более значимых результатов
в таком исследовании равна 0.76.

10.3. Избыточный успех как следствие
статистического смещения публикации
В предыдущем разделе был описан тест избыточного успеха (ТИУ),
который проверяет, согласуется ли заявленная автором часто‑
та успехов в серии экспериментов с оценочной величиной успеха
и размерами экспериментальных выборок. Если расхождение ве‑
лико, то ТИУ позволяет предположить какую-то проблему в по‑
становке экспериментов, в анализе результатов или в теоретиче‑
ских утверждениях, основанных на данных или их анализе. В этом
и следующем разделах мы на модельных экспериментах покажем,
как коэффициент воспроизводимости может оказаться слишком
большим. В этом разделе рассматривается влияние статистического
смещения публикации: избирательной публикации значимых от‑
крытий и опускания незначимых.
В табл. 10.2 приведена статистика 20 модельных экспериментов,
результаты каждого из которых анализировались с помощью дву‑
стороннего t-критерия. В каждом эксперименте была модельная
контрольная группа, для которой никакого эффекта не было. При‑
меры для этой группы выбирались из нормального распределения
с нулевым средним и единичным стандартным отклонением. При‑
меры для экспериментальных групп выбирались из нормального
распределения со средним 0.3 и стандартным отклонением 1. Сле‑
довательно, стандартизованный эффект генеральной совокупности
δ = 0.3. Размеры выборок для обеих групп были одинаковы, n1 = n2.
Они выбирались случайным образом из равномерного распределе‑
ния в диапазоне от 15 до 50.
Во втором столбце табл. 10.2 показаны t-значения для каждого
модельного эксперимента. Значения, выделенные полужирным
шрифтом, статистически значимы, потому что соответствующие

144



Часть III. Метаанализ и кризиc науки

p-значения меньше порога 0.05. Значимых экспериментов пять.
Что ТИУ говорит о частоте успехов 5 из 20? Модельные данные
можно трактовать так же, как в исследованиях прекогниции и эф‑
фекта постороннего. Объединив размеры эффектов во всех 20
экспериментах, мы получим g∗ = 0.303. Эта оценка очень близ‑
ка к истинному значению 0.3, так что мы имеем наглядную де‑
монстрацию того, что метаанализ хорошо работает, когда в него
включены все эксперименты. Объединенный размер эффекта
можно использовать для оценки мощности каждого эксперимен‑
та; результаты показаны в четвертом столбце табл. 10.2. Сумма
этих значений равна 4.2, а вероятность получения в таких экспе‑
риментах пяти или более значимых результатов равна 0.42. Не су‑
ществует общепринятого порога вероятности успеха, но многие
ощущают неудовлетворенность, если вероятность меньше 0.1.
Если вклад в анализ вносят как значимые, так и незначимые ре‑
зультаты, то частота успехов примерно согласуется с оценочными
значениями мощности. Пока все хорошо.
Теперь предположим, что автор публикации склонен к такой
форме статистического смещения, когда публикуются и, следова‑
тельно, доступны для последующего изучения только значимые
эксперименты (t-значения, выделенные полужирным шрифтом
в табл. 10.2). Объединив только размеры эффектов в пяти опу‑
бликованных экспериментах, мы получим g∗ = 0.607, т. е. удво‑
енный размер эффекта в генеральной совокупности. Это имеет
смысл, потому что в значимых экспериментах t-значения должны
быть сравнительно велики. Так как размер эффекта – функция от
t-значения, в этих экспериментах должны быть также необычно
большие оценочные размеры эффектов. Поэтому смещение пу‑
бликации может стать причиной существенно завышенной оцен‑
ки размера эффекта. Используя завышенный размер эффекта для
вычисления мощности каждого эксперимента, получаем значения,
показанные в последнем столбце табл. 10.2. Они намного больше
истинных значений мощности, потому что основаны на сильно
завышенных оценках размера эффекта. Тем не менее сумма мощ‑
ностей равна 3.13, т. е. следует ожидать, что из пяти опубликован‑
ных экспериментов примерно три будут значимы. На самом деле
значимые результаты были получены во всех пяти экспериментах,
а вероятность, что все пять дадут значимые результаты, равна про‑
изведению мощностей, т. е. 0.081. Многие сочтут, что эта вероят‑
ность слишком низкая (например, меньше 0.1), и потому усомнят‑
ся в достоверности опубликованных результатов.

Глава 10. Воспроизводимость 

145

Таблица 10.2. Статистика для 20 модельных экспериментов с целью исследования эффекта статистического смещения публикации
n1 = n2

t

Размер
эффекта

Мощность на основе
объединенного РЭ

Мощность на основе
смещенного РЭ

29

0.888

0.230

0.206

25

1.380

0.384

0.183

26

1.240

0.339

0.189

15

0.887

0.315

0.126

42

0.716

0.155

0.279

37

1.960

0.451

0.251

49

−0.447

−0.090

0.318

17

1.853

0.621

0.138

36

2.036

0.475

0.245

22

1.775

0.526

0.166

39

1.263

0.283

0.262

19

3.048

0.968

0.149

0.444

18

2.065

0.673

0.143

0.424

26

−1.553

−0.424

0.189

38

−0.177

−0.040

0.257

42

2.803

0.606

0.279

21

1.923

0.582

0.160

40

2.415

0.535

0.268

22

1.786

0.529

0.166

35

−0.421

−0.100

0.240

0.718

0.784

0.764

10.4. Избыточный успех как следствие
необязательной остановки
В главе 4 отмечалось, что одним из требований к t-критерию является
фиксация размеров выборок в обеих группах до начала эксперимента.
На практике, однако, очень часто бывает, что размер выборки не фик‑

146



Часть III. Метаанализ и кризиc науки

сирован. Рассмотрим следующую ситуацию. Исследователь собирает
данные из двух генеральных совокупностей, и в результате в каждой
выборке оказывается n1 = n2 = 10 примеров. Исследователь вычисляет
t-критерий и находит, что p = 0.08. Это p-значение выше порога стати‑
стической значимости 0.05, но все равно выглядит многообещающе.
В таком случае исследователи часто решают взять еще десять примеров,
чтобы в каждой выборке было n1 = n2 = 20 примеров. Предположим, что
при вычислении t-критерия на большей выборке получается p = 0.04,
это уже ниже порога статистической значимости. Выглядит прекрасно:
взяли больше данных – получили более точный ответ. К несчастью, та‑
кая процедура может сильно увеличить частоту ошибок типа I. Одна из
проблем заключается в том, что в процедуре участвует несколько прове‑
рок. И с каждой из них связана какая-то вероятность допустить ошибку
типа I. Как показано в главе 5, если выполняется несколько проверок, то
вероятность, что хотя бы в одной из них будет допущена ошибка типа I,
выше, чем вероятность ошибки типа I в одной проверке.
Еще более серьезная проблема заключается в том, что сбор данных
прекращается после достижения желаемого результата. По мере до‑
бавления наблюдений в первоначальный набор данных значимость
может уступать место незначимости, и наоборот. Если решение о до‑
бавлении данных увязывается с получением значимого результата
(т. е. данные перестают добавляться, как только p < 0.05), то процесс
сбора данных оказывается смещен в сторону получения значимых
результатов. Такая процедура называется «необязательной останов‑
кой», она увеличивает частоту ошибок типа I. Недобросовестный ис‑
следователь, который начинает с n1 = n2 = 10 и добавляет по одному
наблюдению в каждый набор данных, пока не получится значимый
результат (p < 0.05) или до максимума n1 = n2 = 50, будет вознагражден
частотой ошибок типа I, превышающей 20 %.
Важно понимать, что проблема здесь не в добавлении данных, а в
остановке сбора данных, потому что частота ошибок типа I относит‑
ся к полной процедуре. Следовательно, необязательная остановка
является проблемой, даже если первый набор данных дает значи‑
мый результат, но исследователь мог бы добавить больше примеров
в незначимый набор данных. Важно, что если у исследователя нет
конкретного плана сбора данных, то невозможно вычислить частоту
ошибок типа I. Именно поэтому стандартный подход к проверке ги‑
потез предполагает, что размер выборки фиксирован.
ТИУ чувствителен к серии экспериментов, в которой исследователь
применяет такой некорректный подход, и, чтобы лучше прочувство‑
вать, что происходит, очень полезно взглянуть на модельные экспе‑
рименты. В табл. 10.3 приведена статистика для 20 модельных экс‑

Глава 10. Воспроизводимость 

147

периментов, результаты которых анализировались с помощью двух‑
выборочного t-критерия. Размеры выборок в контрольной и экспери‑
ментальной группах, n1 и n2, были одинаковы. Примеры выбирались
из нормального распределения с нулевым средним и единичным
стандартным отклонением. Поэтому размер эффекта в генеральной
совокупности δ = 0, т. е. эффекта в действительности не существует.
Таблица 10.3. Статистика по 20 модельным экспериментам для исследования
эффектов необязательной остановки
n1 = n2

t

Размер
эффекта

Мощность на основе
объединенного РЭ

Мощность на основе
значимых экспериментов

19

2.393

0.760

0.053

0.227

100

0.774

0.109

0.066

100

1.008

0.142

0.066

63

2.088

0.370

0.060

100

0.587

0.083

0.066

100

−1.381

−0.195

0.066

100

−0.481

−0.068

0.066

100

0.359

0.051

0.066

100

−1.777

−0.250

0.066

100

−0.563

−0.079

0.066

100

1.013

0.143

0.066

100

−0.012

−0.002

0.066

46

2.084

0.431

0.057

100

0.973

0.137

0.066

100

−0.954

−0.134

0.066

100

−0.136

−0.019

0.066

78

2.052

0.327

0.062

100

−0.289

−0.041

0.066

100

1.579

0.222

0.066

100

0.194

0.027

0.066

0.611

0.480

0.704

Полужирным шрифтом выделены статистически значимые результаты (p < 0.05)

148



Часть III. Метаанализ и кризиc науки

Для моделирования необязательной остановки в каждую выборку
первоначально было включено n1 = n2 = 15 примеров. К данным приме‑
нялся t-критерий и при обнаружении незначимого результата в каж‑
дую группу добавлялся еще один пример, затем t-критерий вычислял‑
ся снова. Этот процесс повторялся, пока размеры выборок не достига‑
ли n1 = n2 = 100, после чего выдавался окончательный результат.
Поскольку размер эффекта в генеральной совокупности равен
нулю, следует ожидать, что в среднем будет один значимый резуль‑
тат на 20 модельных экспериментов (см. главу 5). Четыре выделен‑
ных полужирным шрифтом t-значения в табл. 10.3 соответствуют
статистической значимости; эта частота (20 %) гораздо выше ожи‑
даемых 5 %. Простое вычисление с использованием биномиального
распределения показывает, что вероятность получить четыре или
более значимых результатов в серии из 20 экспериментов равна
0.016, если каждый эксперимент дает значимый результат с вероят‑
ностью 5 %. Во всех незначимых экспериментах в табл. 10.3 размер
выборки равен 100 (максимально возможный), потому что такова
природа необязательной остановки.
Вычисление объединенного размера эффекта для всех 20 экс‑
периментов дает g∗ = 0.052, очень близко к размеру эффекта в ге‑
неральной совокупности, равному нулю. В отличие от смещенной
публикации необязательная остановка не приводит к смещенным
оценкам размера эффекта. И если использовать этот оценочный
размер эффекта для вычисления мощности каждого эксперимента,
то получатся значения в диапазоне от 0.053 до 0.066; все они лишь
немного превышают порог значимости 0.05, потому что оценочный
размер эффекта лишь чуть больше нуля. И тем не менее результаты
кажутся слишком хорошими, чтобы быть правдой. Сумма мощно‑
стей во всех 20 экспериментах равна всего 1.28, поэтому мы ожи‑
даем найти примерно один значимый эксперимент из 20. Вычис‑
ленная по этим значениям мощности вероятность того, что среди
таких экспериментов будет четыре и более значимых, равна 0.036.
Этот результат (правильно) указывает на наличие какой-то пробле‑
мы в серии экспериментов: частота успехов выше, чем должна быть.
В последнем столбце табл. 10.3 приведены значения мощности,
основанные только на значимых экспериментах. Предполагается,
что информация о незначимых не опубликована (статистическое
смещение публикации). В этой ситуации анализ ТИУ вынужден
работать только с четырьмя значимыми экспериментами. Оценка
объединенного размера эффекта g∗ = 0.4 – намного выше истинного
значения 0. В результате этого завышения оценки значения мощно‑

Глава 10. Воспроизводимость 

149

сти четырех значимых экспериментов также сильно переоценены.
И тем не менее сложение этих мощностей показывает, что среди че‑
тырех таких экспериментов должно быть примерно два значимых.
Вероятность, что все четыре эксперимента дадут значимые резуль‑
таты, равна произведению мощностей, т. е. 0.047. И снова серия экс‑
периментов (правильно) кажется сомнительной, потому что частота
успехов не согласуется с оценкой размера эффекта и размерами экс‑
периментальных выборок.

10.5. Избыточный успех
и теоретические утверждения
Тест избыточного успеха может выявить ситуации, когда опублико‑
ванная частота успехов не согласуется с экспериментальными разме‑
рами эффекта и выборки. В этом анализе важный момент – определе‑
ние «успеха», которое всегда соотносится с каким-то теоретическим
утверждением. Предположим, к примеру, что исследователь поставил
десять независимых экспериментов, в каждом из которых изучается
отдельный вопрос (например, эффект Струпа, эксперимент по запо‑
минанию, различия в альфа-ритме на ЭЭГ, эпигенетическая переда‑
ча поведения, приобретенного в результате обучения, прекогниция
и другие вопросы). Предположим, что в первых четырех эксперимен‑
тах получен значимый результат, а в остальных шести – нет. Предпо‑
ложим также, что исследователь опубликовал только четыре успеш‑
ных результата, опустив шесть нулевых. Анализ ТИУ по четырем
опубликованным исследованиям (правильно) указывает на признаки
статистического смещения публикации, но это наблюдение не имеет
особого смысла. Все четыре эксперимента не связаны между собой
и не подразумевают какого-то общего теоретического утверждения.
А раз так, то мы можем лишь заключить, что были какие-то неудач‑
ные эксперименты, о которых не сообщается, но само их существо‑
вание ничего не говорит о достоверности опубликованных свойств
эффекта Струпа или эффективности запоминания.
С другой стороны, если тот же исследователь использовал резуль‑
таты тех же самых четырех значимых экспериментов, чтобы выдви‑
нуть какое-то теоретическое утверждение (например, объединен‑
ную теорию эффекта Струпа, запоминания, альфа-ритмов и эпи‑
генетической передачи), то статистическое смещение публикации
потенциально ставит это утверждение под сомнение. Если анализ
ТИУ показывает, что серия четырех публикаций может быть смеще‑

150



Часть III. Метаанализ и кризиc науки

на, то ученые должны скептически отнестись к теоретическим за‑
явлениям, в основе которых лежат эти эксперименты.
Часто исследователи непреднамеренно формулируют теорети‑
ческие выводы, слишком хорошие, чтобы быть правдой, поскольку
кладут в основу теории значимость и незначимость выполненных
экспериментов. В таком случае теория становится всего лишь крат‑
ким и грубым изложением того, что было измерено в эксперименте.
Такая теория почти наверняка объясняет какой-то шум в экспери‑
ментальных результатах и, скорее всего, не будет подтверждена но‑
вой серией экспериментов.
В полном соответствии со следствием 3a в главе 3 выводы анали‑
за ТИУ не доказывают отсутствия эффекта в серии экспериментов,
а говорят лишь, что в этой серии нет убедительной научной аргу‑
ментации.
Что следует запомнить
1. Если каждый из многих похожих экспериментов с малыми
размерами эффекта и выборки дает значимый результат, то
данные слишком хороши, чтобы быть правдой.
2. Количество значимых результатов в экспериментах должно
быть пропорционально их мощности.
3. Статистическое смещение публикации и необязательная
остановка могут сильно увеличить частоту ошибок типа I.

Литература
1. Open Science Collaboration. Estimating the reproducibility of psychological
science. Science. 2015;349. https://doi.org/10.1126/science.aac4716.

Глава 11
Величина избыточного успеха
Что вы узнаете из этой главы
В главе 10 мы познакомились с тестом избыточного успеха (ТИУ),
который обнаруживает некоторые виды смещения в статистиче‑
ском анализе нескольких экспериментов. Хотя мы и нашли серии
экспериментов, для которых ТИУ указывал на наличие проблем,
можно было бы допустить, что подавляющее большинство научных
исследований этим не грешит. Но, как показано ниже, это, к сожале‑
нию, не так.

11.1. При определении смещения возможны
трудности
Основная идея ТИУ довольно проста. Важное положение статистики
заключается в том, что неудачи обязательно должны быть. Даже если
эффект реально существует, иногда должны встречаться выборки,
в которых он не проявляется. Сообщать только об успешных результа‑
тах чревато проблемами, потому что опубликованный размер эффек‑
та может оказаться завышенным, и это указывает на существование
эффекта, которого на самом деле нет. Слишком высокий коэффициент
воспроизводимости – признак наличия какой-то проблемы в процес‑
се сбора данных, анализа, выдвижения теории или публикации.
Чтобы продемонстрировать последствия такого рода интерпре‑
тации, рассмотрим три серии модельных результатов, показанные
в табл. 11.1. Каждый смоделированный набор данных анализировал‑
ся с помощью двустороннего t-критерия. В основе каждой серии из
пяти исследований лежали по-разному смоделированные экспери‑
менты. В одной серии (корректная проверка) размер эффекта в гене‑
ральной совокупности был равен 0.8. Размеры выборок, n1 = n2, слу‑
чайно выбирались из диапазона от 10 до 30. Все пять экспериментов
дали значимые результаты, которые были полностью опубликованы.

152



Часть III. Метаанализ и кризиc науки

Таблица 11.1. Сводная статистика для трех серий из пяти модельных экспериментов
Серия A
n1 = n2

t

p

Серия B

Серия C

g

n1 = n2

t

p

g

n1 = n2

0.01

t

p

g

10

2.48 0.03

1.06

21

2.67

0.81

16

2.10 0.04 0.72

28

2.10 0.04

0.55

27

4.72