Перейти к содержимому
Учи.Онлайн Выбрать школу
Статья

Аналитика для руководителя: как читать метрики, задавать вопросы данным и решать по цифрам

Аналитика для руководителя — это умение заказать расчёт и правильно им воспользоваться. Руководитель формулирует вопрос, от ответа на который зависит конкретное решение, уточняет, как посчитана метрика и откуда взяты данные, проверяет, с чем сравнивают результат и насколько он устойчив, а затем решает, что делать, и называет оговорки. Писать SQL для этого не обязательно. Освоить придётся определения метрик, базу сравнения, разброс, основы экспериментов и несколько ловушек, из-за которых случайное колебание принимают за эффект решения.

Автор: редакция Учи.ОнлайнОтветственный редактор: Дмитрий Игнатьев
Содержание
Иллюстрация к статье: Аналитика для руководителя: как читать метрики, задавать вопросы данным и решать по цифрам

Распространённое заблуждение: чтобы работать с данными, руководителю нужно выучить Python или Power BI. Инструменты пригодятся, но решения чаще ломаются в двух других местах. Первое — вопрос: «почему упала конверсия» аналитик может разбирать неделю и принести десять графиков, ни один из которых не скажет, что делать. Второе — чтение ответа: цифра на дашборде выглядит окончательной, хотя за ней стоят выбор периода, фильтр, способ подсчёта и иногда неполные данные.

Кому нужен навык и когда цифры не помогут

Навык нужен тем, кто регулярно решает по отчётам: директору филиальной сети, руководителю продаж или сервиса, владельцу интернет-магазина. Сами они не считают, но распределяют бюджет, премии, проверки и людей по тому, что видят на экране, и ошибку в чтении масштабируют на весь бизнес.

Есть решения, где данные почти ничего не добавят. Выход на новый рынок или найм первого руководителя направления опираются на суждение и единичные наблюдения: исторических цифр для сравнения нет. Если событий мало — три крупных клиента в год, пять проектов в квартал, — любая «доля» будет шумом. Честный ответ аналитика тогда звучит как «данных недостаточно», и умение принять его без раздражения тоже часть навыка.

Учебный пример: аудит, который «сработал»

Ситуация вымышленная. Компания ремонтирует бытовую технику в 18 сервисных центрах. На дашборде директора есть «доля повторных обращений»: сколько устройств вернулись с той же неисправностью в течение 30 дней после ремонта. В среднем по сети около 9 %. По итогам мая четыре центра показали 14–17 %, директор отправил туда контролёра качества, и в июньском отчёте у них уже 10–11 %. Напрашивается решение — ввести проверки во всей сети.

Аналитик задал три вопроса. Закрыто ли окно метрики? Ремонт от 25 июня может вернуться до 25 июля, поэтому в отчёте на 1 июля многие июньские ремонты ещё не успели «провалиться», и свежий месяц в такой метрике всегда выглядит лучше, чем окажется позже. Сколько ремонтов стоит за процентом? В маленьком центре 70 ремонтов в месяц, и разница между 7 и 12 возвратами — колебание, а не смена качества. Что происходило с худшими центрами раньше, без проверок?

Третий вопрос оказался решающим. За прошлый год аналитик брал в каждом месяце четыре худших центра и смотрел на следующий месяц: в среднем они заметно улучшались без всякого вмешательства, а лучшие — ухудшались. Июньское улучшение нельзя приписать контролёру. Компания проведёт проверку в половине проблемных центров, выбранных жребием, и сравнит результат через два полных месяца, когда окно метрики закроется.

Почему после наказания становится лучше

В примере сработала регрессия к среднему: если результат зависит и от устойчивых причин, и от случайности, крайние значения при следующем замере обычно оказываются ближе к среднему. Худший месяц был худшим отчасти из-за неудачного совпадения обстоятельств, а повторится оно вряд ли.

Самое известное описание этой ловушки управленческое по сути, хотя речь в нём о лётной подготовке. Амос Тверски и Даниэль Канеман в статье «Judgment under Uncertainty: Heuristics and Biases» (Science, 1974, т. 185, с. 1124–1131; ранняя версия — технический отчёт 1973 года) пересказали наблюдение опытных лётных инструкторов: после похвалы за особенно мягкую посадку следующая обычно хуже, а после резкой критики за грубую — лучше. Инструкторы решили, что похвала вредит обучению, а наказание помогает. Авторы показали, что вывод ошибочен: такая картина возникает из-за регрессии к среднему, даже если реакция инструктора ни на что не влияет. По их словам, непонимание регрессии ведёт к переоценке наказания и недооценке поощрения.

Отсюда практическое правило. Любое вмешательство, назначенное по худшему результату, — проверка, разнос, план исправления, смена руководителя точки — будет выглядеть успешным, даже если оно бесполезно, а награда за лучший результат будет выглядеть так, будто расслабила людей. Защита одна: сравнивать с похожими случаями, где вмешательства не было. Рядом стоят парадокс Симпсона и ошибка выжившего, которые подробно разбирают в материалах об анализе данных; руководителю достаточно привычки спрашивать, из каких групп сложилась цифра и кого в ней нет.

Как поставить задачу аналитику и читать ответ

Пункты ниже стоит проговорить именно в этом порядке: решение и срок определяют глубину анализа, определения и база сравнения — его содержание, и только потом выбирают форму ответа. Если начать с формы — «нужен дашборд по возвратам», — аналитик построит дашборд, а вопрос останется без ответа.

  1. Решение: что вы сделаете по-разному в зависимости от ответа и к какой дате.
  2. Метрика: что считается возвратом, заказом, активным клиентом; совпадает ли определение с данными финансового отдела.
  3. База сравнения: прошлый год, похожие точки без изменений, контрольная группа.
  4. Порог: какой эффект в рублях или процентных пунктах оправдает затраты — его называют до расчёта.
  5. Форма ответа: оценка с разбросом, допущения и то, что могло бы опровергнуть вывод.

Читая готовый дашборд, задавайте те же вопросы в обратную сторону. Закрыт ли период? У метрик с окном в 7, 30 или 90 дней последний период всегда неполный. Сколько наблюдений стоит за процентом? Не менялись ли определение или источник? Новый статус заказа в CRM ломает динамику без всяких изменений в бизнесе. Если аналитик не может ответить сразу, это не повод ему не доверять, а повод записать ограничение рядом с выводом.

Эксперимент и деньги на уровне решения

Считать объём выборки руководителю не нужно, но нужно понимать, когда настаивать на эксперименте. Если изменение можно включить для случайно выбранной части клиентов или точек, сравнение с остальными даст ответ надёжнее любого анализа прошлых данных. Второй вопрос — переведён ли эффект в деньги. Рост конверсии на 0,5 пункта ничего не значит, пока его не умножили на число заказов и маржу с заказа и не вычли стоимость изменения.

С чего начать и в каком порядке осваивать

Начинать лучше со своих отчётов, а не с инструментов. Порядок ниже ведёт от чтения к заказу анализа: сначала понять, что показывают ваши цифры, затем отличать сигнал от шума и ставить задачи, а эксперименты оставить на конец — без понимания определений и разброса даже правильный эксперимент прочитают неверно.

  1. Выпишите пять метрик, по которым решаете, и точное определение каждой; сверьте его с автором отчёта.
  2. Узнайте типичный разброс каждой метрики от месяца к месяцу.
  3. Посмотрите, что происходит с худшими и лучшими подразделениями через месяц.
  4. Поставьте одну задачу аналитику по пяти пунктам выше.
  5. Разберите основы экспериментов: случайный выбор групп, контрольная группа, порог эффекта.

Если хочется попробовать посчитать самому — среднее, медиану, проверку гипотезы на своих данных, — подойдёт короткий онлайн-курс Нетологии «Основы аналитики и аналитическое мышление»: четыре недели, 20 часов теории и 38 часов практики, семь домашних работ, среди них отчёт по собственным данным и проверка гипотез. В программе есть Python и SQL — для руководителя это знакомство, а не обязательный рабочий навык.

Открыть курс

Упражнения и самопроверка

Лучшее упражнение — разобрать уже принятое решение. Возьмите прошлогоднее изменение, которое считают удачным, и ответьте, с чем его сравнивали, был ли закрыт период и что происходило там, где изменений не было. Второе упражнение — перед совещанием запишите ожидаемые цифры, а потом отметьте, какие отклонения вы объяснили бы шумом. Через несколько месяцев станет видно, насколько хорошо вы чувствуете разброс своих метрик.

Для регулярной практики на управленческих ситуациях без программирования есть онлайн-курс Karpov.Courses «Принятие решений на основе данных и ИИ». Он рассчитан на менеджеров и руководителей, идёт два месяца при нагрузке до восьми часов в неделю, заявлены более двадцати проектов и столько же квизов и заданий. Разбивки по модулям в описании нет, поэтому план по неделям стоит запросить у школы до оплаты.

Открыть курс «Принятие решений на основе данных и ИИ»

Проверить себя можно простым тестом: попросите аналитика оценить вашу последнюю постановку задачи. Если ему пришлось переспрашивать, какое решение зависит от ответа, постановка была неполной.

Как навык влияет на доход

Открытых данных о надбавке к зарплате руководителя за работу с данными нет: в вакансиях навык встречается как одно из требований — «принятие решений на основе данных», «работа с метриками» — рядом с опытом управления и знанием отрасли, а доход определяют масштаб ответственности и переменная часть. Влияние косвенное: руководитель, который отличает колебание от эффекта, реже тратит бюджет на программы, «сработавшие» из-за регрессии к среднему, и реже наказывает команду за случайный провал. Чтобы оценить спрос, откройте вакансии своего уровня в своём регионе и посмотрите, как часто в требованиях упоминаются метрики, дашборды или A/B-тесты.

Как выбрать обучение

Программы для руководителей различаются сильнее, чем курсы для аналитиков: одни готовят пользователя BI-системы, другие разбирают кейсы и почти не касаются расчётов. Спросите до оплаты, есть ли разбор ошибочных выводов, будут ли задания на ваших ситуациях и кто проверяет работы.

Тем, кому важнее связать цифры с финансами и процессами компании, подойдёт программа «Основы бизнес-аналитики» Московской бизнес академии: четыре дисциплины, от управленческого и финансового анализа до моделирования бизнес-процессов, 27 видеоматериалов, два практических задания и удостоверение о повышении квалификации. Сведения о длительности расходятся — два месяца и полтора, — поэтому её и формат проверки заданий стоит уточнить у школы.

Открыть курс

Оцените и своё время: короткая программа с домашними заданиями даст больше, чем длинная, брошенная на третьей неделе. Если отчёты в компании собирают в конкретной BI-системе, попросите аналитика показать вам её фильтры: умение самому открыть разбивку по группам снимает многие вопросы.

Сравнить онлайн-школы по цене, формату и практике поможет широкий рейтинг онлайн-школ с обучением анализу данных: в нём в основном программы для будущих аналитиков, поэтому смотрите на короткие курсы. А перед записью проверьте себя на собственном отчёте: найдите метрику с незакрытым окном и подразделение, чей «провал» или «успех» может оказаться регрессией к среднему.