Объяснять в 2020 году, что такое data-driven, уже как-то неудобно. Но практика показывает, что многие компании в СНГ все еще пытаются распробовать этот подход. Так вот, data-driven — это работа через данные. Принимать решения о том, что стоит делать с продуктом или компанией, на основе собственного мнения — плохо. За каждым решением должны стоять цифры: результаты A/B-тестов, выводы из предиктивной аналитики и качественных исследований.
Команда Kolesa Group всегда старалась работать, ориентируясь на показатели. Дашборды в Grafana, Google Analytics, Firebase — это инструменты, которыми мы пользуемся столько, сколько себя помним. Но по-настоящему серьезно за работу с данными мы взялись в середине 2017 года. Сначала был подготовительный период, когда мы несколько месяцев занимались сбором и подготовкой данных. Как говорится, «You don't need Big Data — You need the Right Data».
Еще здесь стоит сразу оговориться, почти всё, что в Казахстане принято называть Big Data, на самом деле таковым не является. Даже в нашем случае, когда объем данных уже измеряется терабайтами, называть их Big Data было бы нескромно.
Создание своего отдела аналитики было одной из лучших инвестиций в развитие компании за последние несколько лет
В 2018 году мы начали с небольшой команды. Думали, нам хватит пяти крутых специалистов, в основном это были казахстанцы, которые работали за рубежом (Microsoft, Tinkoff Bank), и выпускники МГУ. Но в результате за 1,5 года отдел аналитики разросся до 15 человек и продолжает расти — таковы потребности бизнеса.
Накопленная экспертиза теперь позволяет нам обучать свой кадровый резерв. В феврале 2020 года (дедлайн для заявок — 31 января) мы проведем первую «Колёса Академию», посвященную анализу данных, — будем готовить product-аналитиков для себя и не только. Академия проходит в формате продвинутой трехмесячной оплачиваемой стажировки — к ребятам относятся как к полноценным сотрудникам и дают решать реальные задачи. Большинство стажеров становятся нашими сотрудниками.
Работа с данными не ограничивается специальным отделом, потому что наши аналитики создали среду, в которой любой product-менеджер, UX-дизайнер или руководитель отдела может самостоятельно достать нужные ему показатели или, скажем, сделать несложный отчет в AppMetrica. А в большинстве отделов есть дашборды, позволяющие мониторить результаты повседневной работы, моментально реагировать на аварии в дата-центрах, отслеживать результаты релизов или A/B-тестов.
На старте важно понимать, чего вы хотите от своего отдела аналитики. Легко увлечься избыточно сложными решениями, которые могут не дать ощутимых результатов. Так что главное — начать с правильно поставленных задач и KPI, а во главе работы с данными должны стоять правильные люди, менеджеры и тимлиды, понимающие потребности компании и обладающие крутым техническим бэкграундом. Они-то и обеспечат связь технологий с бизнесом. Иначе вы рискуете очнуться после релиза суперсложного проекта, который ничего не дал продукту.
Думаю, любой отдел data-science и ML (машинное обучение) через это проходил: запустили крутой сервис, применили машинное обучение, компьютерное зрение, использовали последние технологии, закупили мощное железо, выступили на конференции и… улучшили KPI продукта на 0,01%. Знакомо? Я утрирую, но мы были в ситуациях, когда для решения простой задачи придумывали сложное решение.
И если уж говорить о поджидающих граблях, то второй невероятно важный аспект — это доверие к данным. В работе с данными критична их чистота, а также правильность сбора и подготовки. Например, львиная доля всех ошибок в продуктовой аналитике приходится буквально на два кейса: какие-то нажатия пользователей на кнопки перестали записываться, но никто этого не заметил, либо стали записываться с дублированием. Любая регрессионная (предсказательная) модель или A/B-тест (тест на контрольной группе) ничего не стоят, если в их основе лежат ошибочные данные. И такие «фейлы» нам тоже знакомы. Если бизнес сделает на основе ошибочного анализа неправильные выводы, это может подорвать доверие ко всему подходу data-driven в принципе.
Как этого избежать? Ничего фантастического — перепроверять сделанную работу, наличие и корректность событий для аналитики. Плюс, конечно же, необходимо, чтобы аналитик «чувствовал» продукт не хуже product-менеджера. Тогда он изначально будет замечать, что какие-то цифры нереалистично растут, а другие — падают без видимых причин.
Содержать хороший отдел аналитики – очень дорого: хранение и обработка данных, «железо», зарплаты крутых специалистов, дорогие инструменты. Вам предстоит инвестировать десятки тысяч долларов каждый месяц, поэтому крайне важно понимать эффективность этой работы и давать команде по-настоящему амбициозные задачи, которые обеспечат бизнесу хороший рост.
Любовь к работе с данными заразна
Когда работа по принципу data-driven встанет на рельсы, вы увидите, как всё вокруг меняется. Работать с цифрами - это круто, эффективно и интересно. Если у вас хорошая команда, она быстро заразится этим подходом.
Несколько примеров использования:
- Любое изменение в продукте предварительно проверяется несколькими этапами аналитики. Это может быть предиктивная аналитика, качественные исследования, когортный анализ пользователей, A/В-тесты и много чего еще. Мы стараемся помнить, что разработка — самый дорогой способ проверки продуктовых гипотез. И по-хорошему на все вопросы и предположения нужно ответить до того, как вы решили занять целую команду разработчиков на три месяца.
- Постановка KPI. Мне приятно видеть, как руководитель отдела или product-менеджер, чтобы поставить KPI для команды, не просто берет прошлогодние показатели и умножает их на два, а самостоятельно строит нелинейную регрессию, учитывая сезональность и влияние разных внешних факторов, чтобы потом «провалидировать» эти цифры у аналитика. Это крутой подход, который позволяет задавать амбициозные, но выполнимые планы, чтобы регулярно мотивировать команду: «Было непросто, но мы это сделали!».
-
Автоматизация задач. Если у вас 11,5 млн пользователей, любая мелкая задача превращается в ежедневную большую работу. Проверка объявлений, мониторинг показателей, сбор данных по маркетинговым компаниям. Большинство таких задач можно автоматизировать. Вместо работы нескольких модераторов — ML-модель для проверки объявлений, вместо ежедневного отчета об изменениях в показателях — автоматизированная рассылка или чат-бот.
Самый яркий пример — наша «Гермиона». Это микросервис, работающий на основе алгоритмов машинного обучения и проверяющий большинство объявлений на kolesa.kz. Этот опыт мы сейчас активно масштабируем, часть объявлений market.kz уже также проверяется автоматически, а скоро аналогичный сервис появится и для анализа фотографий автомобилей на «Колёсах».
- Индивидуальный подход. Продукт должен быть максимально эффективен для всех типов пользователей. Тогда они готовы будут платить за полученную пользу. В такой задаче не обойтись без сегментации и индивидуального подхода. Мы работаем уже с двумя десятками сегментов. Они могут быть как очевидными (покупатель, продавец, частник, бизнес), так и нестандартными, рассчитанными по поведению пользователей. Не перестаю удивляться тому, как такие сегменты называют аналитики в своих отчетах: «орлы», «горячие штучки», «черепашки-ниндзя». Каждому сегменту мы стараемся предложить пакет услуг и функционал, который будет полезен конкретно для него.
Что нам дает data-driven-подход?
Вот уже третий год Kolesa Group растет в полтора-два раза от года к году. Со своей стороны этот успех я на 50% могу отнести именно к работе с данными, во всех ее проявлениях: ценообразование и автоматизация задач, продуктовая аналитика и многие другие процессы.
Быть data-driven в 2020 году — уже норма. Если в вашей компании все еще нет хорошей аналитики, то стоит поторопиться, ведь до получения профита предстоит пройти еще долгий путь.
