В современном мире цифирные показатели постоянно используют не как объективная мера реальности, а как инструмент манипуляции общественным мнением. Разберемся, почему не стоит слепо слепо полагаться на статистику.
Новости, официальные выступления, аналитика — всюду фигурируют цифры: шансы заражения новыми заболеваниями, объемы финансирования бюджета, динамика преступлений… Часто ими подкрепляют аргументы и позиции, пытаясь доказать свою точку зрения. Можно ли таким данным доверяться безоговорочно? Авторы книги «Цифры лгут. Как защитить себя от манипуляций статистикой», британцы Том и Дэвид Чиверсы, раскрывают ключевые методы обработки информации, влияющие на нашу оценку ситуации в своей книге.
Это своего рода предметный разбор распространенных приемов подтасовки чисел политиками, учеными, маркетологами и СМИ. Читатель узнает, почему важно понимать разницу между абсолютными и относительными показателями, как правильно воспринимать информацию о причинах и следствиях, учитывать размер выборки и роль третьих переменных («искажающих факторов»). Отдельные главы содержат практические советы и рекомендации по проверке достоверности статистических данных, включая математические формулы и конкретные кейсы.
Авторы провели анализ, как ученые, журналисты, политики и общественные деятели используют численные показатели, и выделили 21 способ их искажения. К публикации мы выбрали самые распространенные способы исказить данные, с которыми вы скорее всего встречались.
Размер эффекта и эффект размера
Часто приходится сталкиваться с утверждениями, что какое-либо поведение или привычка существенно повышают или понижают риск возникновения нежелательного события. Проблема в том, что зачастую информация подается без подробностей относительно величины и значимости выявленного эффекта.
Рассмотрим пример: многие публикации утверждают, будто использование электронных устройств для чтения вечером способно значительно ухудшить качество вашего сна. Тем не менее, если внимательно изучить первичные материалы экспериментов, выясняется следующее: участникам предлагалось проводить за чтением на экране целых четыре часа непосредственно перед отходом ко сну. Согласно результатам, те, кто использовал гаджеты, ложились спать в среднем на 10 минут позднее, чем те, кто предпочитал печатные издания. Учитывая, что большинство людей не проводит столь продолжительное время за чтением перед сном, реальная угроза здоровью оказывается весьма сомнительной.
То есть, обладая всей необходимой информацией, каждый способен принять взвешенное решение — стоит ли, к примеру, терять две минуты сна ради получаса чтения с планшета. Таким образом, столкнувшись с устрашающими выводами в сети, имеет смысл искать точные исходные данные, чтобы трезво оценить масштаб предполагаемого воздействия.
Причины и следствия в трёх буквах
Частое заблуждение возникает тогда, когда в сообщениях СМИ или научных работах смешиваются понятия причинно-следственных связей и корреляции. Чем они различаются?
Корреляция — это, когда изменение одной переменной сопровождается аналогичным изменением другой. Скажем, если величина Х растёт, и одновременно возрастает величина Y, графики их изменений выглядят схожими. Однако это вовсе не значит, что одна переменная порождает другую. Другими словами, рост Х необязательно ведёт к росту Y или наоборот.
Чтобы наглядно показать различие, приведём яркий пример из реальной жизни: продажи мороженого демонстрируют положительную динамику в период увеличения числа несчастных случаев на воде. Казалось бы, такая взаимосвязь очевидна, но давайте разберёмся подробнее. Прямой связи между поеданием мороженого (X) и случаями утопления (Y), разумеется, нет. Просто обе тенденции вызваны одним фактором Z — температурой окружающей среды. В тёплые летние дни спрос на мороженое возрастает, а также усиливается желание окунуться в водоёмы, что нередко заканчивается трагически.
Итак, корреляция не подразумевает наличие причины и следствия. Когда мы слышим утверждение, что фактор X связан с событием Y, это ещё не повод утверждать, что одно однозначно вызвало другое. Чаще всего присутствует третий, скрытый элемент Z, который воздействует на обе стороны и создаёт иллюзию взаимозависимости.
Абсолютно не все относительно абсолютно
В 2019 году широкое распространение получили предупреждения о том, что любители бекона подвержены повышенному риску развития колоректального рака на 20%. Эта цифра звучит угрожающе и создает впечатление значительного повышения личного риска. Однако важно осознать, что речь идет об относительном показателе, который не отражает полную картину.
Допустим, изначальная вероятность заболеть раком кишечника невелика. Даже при увеличении риска на 20%, итоговая вероятность остается сравнительно небольшой. Рассмотрим это на конкретном примере.
По данным Фонда исследования рака, риск появления колоректального рака в Великобритании составляет около 7% для мужчин и около 6% для женщин. Повышение риска на 20% приведет к следующим значениям:
- Для мужчин: 7%+20%=8,4%
- Для женщин: 6%+20%=7,2%
Это значит, что фактическое увеличение риска составит всего лишь 1,2–1,4 процентных пункта. Хотя такая разница всё-таки существенна, понимание её реального масштаба помогает правильнее оценить последствия потребления бекона.
Поэтому авторы рекомендуют чётко отделять относительные и абсолютные риски. Важно учитывать саму вероятность наступления конкретного события, а не исключительно величину её изменения.
Подмена понятий в системе подсчетов
Сообщения о резком увеличении заболеваемости определенными расстройствами вызывают беспокойство общественности. Примером служит история с диагностикой аутизма, частота которого резко возросла за последние десятилетия. Так, если в начале века расстройство аутистического спектра (РАС) фиксировалось у одного ребенка из 150, то к 2016 году эта цифра увеличилась до одного из 54, согласно американской статистике центров контроля и профилактики заболеваний (CDC).
Многие связывают подобный скачок с влиянием различных экологических факторов, такими как питание (глютен, казеин), загрязнения почв тяжёлыми металлами и гербицидами, а также вакцинацией. Несмотря на попытки установить прямую зависимость, научные доказательства пока остаются недостаточными.
Главная причина роста числа диагнозов кроется в изменениях подхода к диагностике. За прошедшие 20 лет значительно расширилось определение РАС и перечень признаков, позволяющих поставить соответствующий диагноз. Врачи теперь гораздо внимательнее относятся к возможным проявлениям расстройства, а новые медицинские технологии позволяют эффективнее помогать семьям, воспитывающим ребёнка с РАС. Всё это способствует большему количеству обращений и постановкам диагноза.
Следовательно, рост заболеваемости объясняется не самим увеличением числа больных, а улучшением методов выявления и диагностики расстройства.
Мера не равно цель
Закон Гудхарта утверждает: если статистическая метрика становится целью (KPI), она теряет свою полезность. Люди перестают ориентироваться на глобальную цель и фокусируются исключительно на достижении самого показателя, что искажает конечный результат.
Ярким примером служат рейтинги больниц в штате Орегон, основанные на уровне смертности среди госпитализированных пациентов. После введения подобной системы врачи стали предпочитать отказывать тяжелым пациентам в госпитализации, опасаясь ухудшения собственной статистики. Таким образом, изначально позитивная инициатива привела к негативным последствиям.
Похожая ситуация возникла в Британии во времена пандемии COVID-19. Правительство объявило своей задачей проведение ежедневного тестирования в объёме 100 тысяч анализов. Уже к маю 2020 года эта задача была объявлена достигнутой. Но вот интересный нюанс: значительное количество тестов отправлялось гражданам почтой, и неясно, пользовались ли ими пациенты реально. Цель оказалась достигнута формально, но польза от неё была минимальной.
Подобные случаи подчёркивают важность грамотного выбора индикаторов успеха. Вот несколько рекомендаций, как минимизировать негативные эффекты:
- Используйте сразу несколько разных показателей, чтобы создать сбалансированную систему оценки.
- Периодически меняйте используемые меры, чтобы предотвратить адаптацию сотрудников исключительно к ним.
- Будьте осторожны при интерпретации результатов: положительный тренд может отражать не улучшение качества работы, а умение искусственно улучшать формальные показатели.
К примеру, успехи учащихся в школьных экзаменах вполне могут свидетельствовать не о повышении общего уровня образования, а о подготовке к сдаче конкретных заданий и тестов, как это сейчас практикуется в системе ЕГЭ. Поэтому любую официальную отчётность стоит воспринимать с долей здорового скептицизма.
Российская действительность
Вот несколько примеров ситуаций, иллюстрирующих проблему некорректного использования статистики и данных:
Количественный рост мигрантов
За последние годы многократно увеличился поток трудовых мигрантов в Россию. Многие считают, что причиной стал экономический кризис и нестабильность в странах ближнего зарубежья. Однако важно отметить, что значительную роль сыграло расширение категорий лиц, имеющих право легально находиться и трудиться в стране. Таким образом, реальный прирост мигрантов мог быть ниже заявленных цифр.
Заболеваемость диабетом
Статистику заболеваемости сахарным диабетом в России можно интерпретировать двояко. Официальные органы здравоохранения отмечают значительный рост числа новых случаев болезни. Однако возможно, что дело не в настоящей эпидемии диабета, а в совершенствовании медицинской диагностики и осведомленности населения. Люди чаще обращаются к врачам, проходят обследования, и болезнь диагностируется раньше и точнее.
Пандемия COVID-19
Во время пандемии коронавируса Россия публиковала большое количество тестов ежедневно, демонстрируя высокие темпы проверки населения. Критики утверждали, что это сделано ради демонстрации успехов властей в борьбе с пандемией. Вопрос оставался открытым: сколько из этих тестов реально проводилось и давали ли они точные результаты? Часть специалистов высказывала сомнения, считая, что тесты могли использоваться неэффективно или проводиться выборочно.
Количество ДТП
Статистика аварийности на российских дорогах регулярно публикуется, вызывая обеспокоенность общества. Однако существуют нюансы: высокий уровень смертности в авариях может частично зависеть от состояния дорог, оснащенности автомобилей и доступности скорой помощи. Улучшение инфраструктуры и техники безопасности может снижать тяжесть последствий, уменьшая долю тяжелых происшествий, даже если общее количество ДТП останется прежним.
Эти примеры помогают понять, как легко ошибиться в восприятии данных, игнорируя важные факторы, такие как методология сбора данных, особенности выборки и влияние сторонних обстоятельств. Всегда полезно проверять источник и подходить к анализу статистических данных критически.
Цитаты из книги
«Следует с осторожностью относиться к исследованиям с менее чем сотней участников, особенно если получаются какие-то удивительные или малозаметные результаты. По мере роста числа участников исследования — при прочих равных — доверие к его результатам повышается».
«Раньше при проведении политических опросов было принято обзванивать респондентов, потому что стационарные телефоны стояли почти у каждого и так можно было без труда получить случайную выборку — просто выбирая номера случайным образом. Но в последующие годы время этот способ даст сильно смещенную выборку, потому что те, у кого еще оставались домашние телефоны (и кто отвечает на неизвестные звонки), отличаются от тех, у кого их нет».
«Исследование, проведенное Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов, показало: когда докторам сообщают данные об относительной, а не абсолютной эффективности лекарства, они выше оценивают его эффективность и чаще его прописывают, то есть тоже обманываются».
Зачем читать книгу?
Эта книга вооружит вас инструментами критического анализа информации, позволяя ясно видеть сквозь завесу цифровых данных. Вы научитесь более глубоко разбираться в цифрах, представленных в новостях, статьях о вакцинах или финансовых отчетах организаций. Это крайне полезно в нашем мире, полном информации и аналитики. Ну, а если вы разрывались между ЗОЖ и беконом, ваш выбор станет более обоснованным.
Авторы: Дэвид и Том Чиверсы — двоюродные братья, оба увлечены вопросами статистики и математики. Том — научный журналист, лауреат премии за выдающиеся заслуги в сфере популяризации науки, обозреватель изданий The Guardian, CNN, BBC News. Дэвид — преподаватель экономической теории в Даремском университете, кандидат наук по экономике, специалист по вопросам макроэкономической динамики и росту.