Практические статьи
Практические статьи
Первая статья раздела — как проверить цифру из новости или рекламы. Результат: вы находите первоисточник, понимаете, что именно измеряли и на ком, оцениваете погрешность, отличаете проценты от процентных пунктов и среднее от медианы, замечаете обрезанные оси графиков и не путаете совпадение с причиной. Все числа в примерах — условные и придуманы только для иллюстрации.
Проверка цифры — это не поиск подвоха. Это пять-десять минут, за которые вы узнаёте, о чём на самом деле говорит число.
Перед началом
- Сама цифра и точная фраза, в которой она приведена: «выросло на», «в среднем», «каждый второй»
- Ссылка на источник, если она есть, или название организации, на которую ссылаются
- Пара минут, чтобы открыть первоисточник, а не только пересказ
- Готовность к тому, что ответ будет «данных недостаточно», — это тоже результат
Найдите первоисточник
Пересказ часто теряет важные детали: кто проводил исследование, когда и на ком. Ищите исходную публикацию — отчёт организации, таблицу официальной статистики, страницу с методикой. Если первоисточник не указан и не находится, относитесь к цифре осторожно.
Условный пример: в заметке сказано «по данным исследования, 70% покупателей предпочитают X». Если нигде не указано, чьё это исследование, это ещё не факт, а утверждение.
Узнайте, кто заказчик и исполнитель
Добросовестный опрос раскрывает, кто его заказал и кто провёл. Заказ сам по себе не делает результат ложным, но помогает понять, почему задали именно такие вопросы и почему опубликовали именно эти цифры.
Условный пример: опрос о пользе продукта заказал его производитель. Это повод внимательнее прочитать формулировки вопросов, а не автоматически отвергнуть результат.
Выясните, что именно измеряли
Посмотрите точную формулировку вопроса или определение показателя. «Довольны» и «скорее довольны» — разные ответы; «пользовались хотя бы раз» и «пользуются регулярно» — разные показатели.
Условный пример: «80% пробовали сервис» не означает, что 80% им пользуются. Пробовать можно один раз и больше не возвращаться.
Проверьте выборку и погрешность
Узнайте размер и состав выборки, способ и даты опроса. Для простой случайной выборки при доверительной вероятности 95% и доле около 50% погрешность примерно равна ±0,98/√n: около ±4,9 пункта при 400 опрошенных, около ±3,1 при 1000 и около ±2,2 при 2000. Эта погрешность не учитывает неудачные формулировки, отказы отвечать и нерепрезентативную выборку.
Условный пример: по опросу 1000 человек 52% выбирают вариант А, 48% — вариант Б. Разница в 4 пункта сопоставима с погрешностью, поэтому уверенно говорить о перевесе нельзя.
Отличайте проценты от процентных пунктов
Если доля выросла с 10% до 15%, это рост на 5 процентных пунктов, но на 50 процентов. Обе формулировки верны, но производят разное впечатление. Также смотрите, приведён ли абсолютный размер: относительный рост от маленькой базы выглядит внушительнее, чем есть.
Условный пример: «продажи выросли вдвое» — это может быть рост с двух штук до четырёх. Без абсолютных чисел вывод сделать нельзя.
Уточните, среднее это или медиана
Среднее арифметическое чувствительно к крайним значениям, медиана — нет. Поэтому для доходов, цен на жильё и похожих показателей часто показывают медиану. Если в тексте сказано просто «в среднем», проверьте, что именно посчитано.
Условный пример: у девяти человек доход по 50 тысяч, у одного — 1 миллион. Среднее — 145 тысяч, медиана — 50 тысяч. Медиана здесь лучше описывает типичного человека.
Посмотрите на оси графика
Обрезанная вертикальная ось превращает небольшую разницу в пропасть, а неравные интервалы на горизонтальной оси искажают скорость изменений. Проверьте, с какого значения начинается ось, какой шаг у делений и за какой период показаны данные.
Условный пример: ось начинается не с нуля, а с 95. Тогда столбцы со значениями 96 и 98 выглядят так, будто второй втрое выше первого.
Не путайте совпадение с причиной
Корреляция не означает причинности: две величины могут меняться вместе из-за третьего фактора или случайно. Кроме того, при объединении групп тенденция может исчезнуть или смениться на противоположную — это парадокс Симпсона. Прежде чем делать вывод «A вызывает B», спросите, что ещё могло повлиять на обе величины.
Условный пример: в жаркие дни растут и продажи мороженого, и число купающихся. Мороженое не заставляет людей купаться — обе величины зависят от погоды.
Типичные ошибки
- Доверять пересказу, не открывая первоисточник
- Считать большую выборку автоматически качественной
- Принимать разницу меньше погрешности за реальное различие
- Путать проценты и процентные пункты
- Не замечать, что вертикальная ось графика начинается не с нуля
- Делать вывод о причине по одной корреляции
Альтернативы
- Если первоисточник не находится — поищите ту же тему в публикациях официальной статистики
- Если методика опроса не раскрыта — сравните результат с другими исследованиями на ту же тему
- Если времени нет — отложите вывод и не пересылайте цифру дальше, пока не проверите
Чек-лист результата
- Найден первоисточник цифры
- Известны заказчик и исполнитель исследования
- Понятна точная формулировка вопроса или определение показателя
- Известны размер выборки, способ и даты опроса
- Проценты не перепутаны с процентными пунктами
- Понятно, среднее это или медиана
- Оси графика проверены
- Вывод о причине не сделан по одной корреляции
Каталог публикаций для русскоязычных читателей
В этом разделе будут выходить отдельные материалы для читателей из России и других русскоязычных стран. Они пишутся с учётом того, где искать местные официальные данные и как обычно публикуются рейтинги и опросы, и не являются переводами материалов других языковых версий сайта.
Сейчас в каталоге одна статья — та, что выше. Новые материалы появятся в этом списке.
Темы, которые планирует редакция
- Как читать рейтинги школ и вузов: что стоит за баллами
- Звёздочки на маркетплейсах: как устроена средняя оценка и сколько отзывов нужно
- Как найти нужную таблицу в публикациях официальной статистики
- Инфляция и цены: почему личные ощущения расходятся с официальной цифрой
Редакционные правила
- Материалы каталога пишутся отдельно для каждой языковой версии и не являются переводами.
- В некоторых материалах есть ссылки на сторонние сайты, в том числе игровые сервисы; мы не отвечаем за их содержание, цены и условия.
- Мы не публикуем собственные рейтинги, непроверяемые опросы и отзывы.
Смежные разделы
- Ответы на вопросы
Короткие ответы об опросах, рейтингах, отзывах и базовых понятиях статистики.
- Справочная информация
Словарь терминов: выборка и опросы, описательная статистика, графики и данные.
- Подборки материалов
Маршруты чтения: первое знакомство, перед покупкой, цифры в новостях.
Источники
- Росстат
- AAPOR — Transparency Initiative
- ESOMAR — International Code
- Учебники по статистике и методологии опросов
- Энциклопедические источники
Сведения актуальны на дату подготовки. Методики исследований, публикации официальной статистики и стандарты профессиональных объединений меняются — проверяйте актуальные данные в первоисточниках.