Метрика в строительстве это

Это материал из серии о том, как создавать продукты, которые нужны людям — об основах продакт-менеджмента.

Из этого материала вы узнаете, почему продуктовая команда должна фокусироваться на метриках эффективности решения и метриках добавочной ценности. Именно они определяют продуктовые метрики, которые, в свою очередь, определяют метрики роста.

↓ Другие материалы этой серии:

В «Симуляторе управления продуктом на основе данных» вводятся два типа метрик: метрики роста и метрики продукта. Эти категории нужны для того, чтобы студентам было проще понять, в каких ситуациях и какие метрики надо использовать.

• Метрики продукта отвечают на вопросы о самом продукте. Они позволяют понять, как продукт превращает новых пользователей в другие материи — активных пользователей, платящих пользователей, прибыль, заказы, обращения в поддержку;
• Метрики роста отвечают на вопросы о бизнесе, построенном вокруг продукта. К таким метрикам относятся доход, количество активных пользователей, количество заказов или обращений в поддержку.

За прошлые несколько лет я понял, что необходимо выделить еще два типа метрик — метрики эффективности решения задачи пользователя и метрики добавочной ценности.

Что такое метрики?

Давайте обсудим, что это за метрики, зачем они нужны и почему именно на них должна фокусироваться продуктовая команда. Более глубоко метрики добавочной ценности изучаются в «Симуляторе управления ростом продукта».

Метрики продукта

Любой продукт можно рассматривать как магическую черную коробку, к которой пользователи обращаются для решения своих задач. На вход этой коробки подаются новые пользователи. Продукт их перерабатывает и превращает в активных пользователей, прибыль, запросы в службу поддержки и так далее.

Характеристики того, как продукт превращает новых пользователей в другие материи — это метрики продукта.

• Retention показывает, как новые пользователи превращаются в активных;
• LTV показывает, как новые пользователи превращаются в прибыль за все время использования сервиса;
• Конверсия в первую покупку показывает, как продукт превращает новых пользователей в платящих.

↓ Подборки материалов о метриках:

Метрики роста

Если метрики продукта описывают сам продукт, то метрики роста описывают бизнес, который построен вокруг этого продукта.

Метрики роста — это итоговый результат переработки новых пользователей продуктом в другие материи.

Метрики роста — это производная от метрик продукта и количества новых пользователей, основных рычагов влияния на общий рост бизнеса.

Примерами метрик роста будут:

• DAU или дневная активная аудитория (New Users * Retention);
• Прибыль (New Users * LTV);
• Количество пользователей, отправляющих сообщения (New Users * Retention into Sending a Message);
• Количество новых подписчиков (New Users * Conversion into Subscriber).

Product Metric	New Users * Product Metric =	Growth Metric
Daily Retention	New Users * Daily Retention =	DAU
LTV	New Users * LTV =	Gross Profit
Retention into Sending a Message	New Users * Retention into Sending a Message =	Users Sending a Message
% of New Users Who Subscribe	New Users * % of New Users Who Subscribe =	Number of New Subscribers

ЧТО ТАКОЕ МЕТРИКА — РАССКАЗЫВАЕТ АЛЕКСЕЙ САВВАТЕЕВ

Почему недостаточно метрик продукта и метрик роста

В материале о когортном анализе мы подробно разбирали, почему при оценке влияния продуктовых изменений нельзя ориентироваться на метрики роста. Дело в том, что метрики роста зависят и от характеристик продукта, и от притока новых пользователей. Отделить эти факторы друг от друга сложно.

Поэтому для того, чтобы понять, как сделанные вами изменения повлияли на поведение пользователей, нужно использовать метрики продукта.

Проблема возникает, когда команды начинают использовать метрики продукта не только как инструмент для оценки влияния изменений на поведение пользователей, но и как инструмент приоритизации проектов для будущего развития.

Разберем пример

Нам необходимо увеличить LTV пользователей нашего маркетплейса, чтобы разблокировать платные каналы привлечения.

Один из рычагов влияния на LTV — это Retention. Люди возвращаются, когда мы присылаем им уведомления об акциях и распродажах.

Принимаем решение слать больше пуш-уведомлений, проводить больше акций.

Нам нужно добавить больше триггеров для возвращения пользователей в продукт.

Решаем добавить дополнительную функциональность для общения пользователей друг с другом.

В примере выше была, конечно, гротескная зарисовка, но попытки думать о развитии продукта на уровне продуктовых метрик рано или поздно приводят к похожим по структуре конструкциям.

В предыдущем материале серии мы обсуждали, что работа продакт-менеджера заключается в том, чтобы создать более эффективное решение задачи пользователя. Именно это является основным рычагом воздействия на поведение пользователей и, как следствие, на метрики продукта.

Именно на уровне эффективности решения задачи пользователя должен думать и работать продакт-менеджер. Метрики продукта же лишь косвенно отвечают на вопрос о том, насколько эффективно решается задача пользователя.

↓ Чтобы глубже разобраться в том, как создаются, развиваются и масштабируются продукты, пройдите обучение в симуляторах GoPractice.

→ «Симулятор управления продуктом на основе данных» поможет научиться принимать решения с помощью данных и исследований при создании продукта.

→ «Симулятор управления ростом продукта» поможет найти пути управляемого роста и масштабирования продукта. Вы построите модель роста и составите стратегию развития продукта.

→ «Симулятор SQL для продуктовой аналитики» поможет освоить SQL и применять его для решения продуктовых и маркетинговых задач.

→ Не знаете с чего начать? Пройдите бесплатный тест для оценки навыков управления продуктом. Вы определите свои сильные стороны и слепые зоны, получите план профессионального развития.

→ Еще больше ценных материалов и инсайтов — в телеграм-канале GoPractice .

Почему метрики продукта не всегда отвечают на вопрос об эффективности решения задачи пользователя

• Человек оценивает лекарство не на основе того, как регулярно и долго его надо принимать (метрики продукта), а на основе того, насколько быстро оно может решить его проблему со здоровьем (метрики эффективности решения задачи).

• Пользователь оценивает дейтинг-приложение не на основе того, какой у него Retention или конверсия в первую покупку (метрики продукта). Для пользователя важно, какое из приложений даст ему больше качественных свиданий в обмен на потраченное время и усилия (метрики эффективности).

• Человек оценивает два различных метода тренировки собаки не на основе того, как часто ими надо пользоваться (метрики продукта). Его интересует полученный результат в виде доли правильно выполненных команд в обмен на потраченное время в рамках каждого из методов (метрики эффективности).

Метрики продукта описывают то, как люди взаимодействуют с продуктом. Метрики продукта нужно использовать, чтобы понять, как сделанные изменения повлияли на поведение пользователей.

При этом основной рычаг влияния на поведение пользователей — это повышение эффективности решения задачи. Обычно это означает, что человеку становится легче и проще добиться прогресса в поставленной перед ним задаче.

Для измерения эффективности продукта с точки зрения пользователя следует использовать метрики эффективности решения задачи. Для сравнения эффективности продукта с его альтернативами следует использовать метрики добавочной ценности.

Метрики эффективности решения задачи пользователя и метрики добавочной ценности

Давайте сформируем определения.

• Метрики эффективности решения задачи пользователя — это мера того, сколько усилий и ресурсов требуется для решения задачи пользователя, либо достижения определенного прогресса в рамках ее решения.

• Метрики добавочной ценности — это мера того, насколько эффективнее один продукт решает задачу, чем другой (то есть разница метрик эффективности двух продуктов).

Это высокоуровневые определения. Мы подробнее разберем подход к формированию и расчету метрик эффективности и добавочной ценности в одном из следующих материалов.

Разберем упрощенный пример

Есть два финансовых продукта, которые созданы для получения пассивного дохода от вложенных в них денег. Между ними нет никаких различий, кроме годовой процентной ставки:

• Первый продукт приносит 5% годовых;
• Второй продукт приносит 10% годовых.

В таком случае процентная ставка является метрикой эффективности каждого из продуктов. А разница между процентными ставками — это метрика добавочной ценности второго продукта относительно первого.

Метрики добавочной ценности определяют выбор способа решения задачи пользователем

Вы можете спросить, а зачем мы ввели понятие добавочной ценности.

При выборе продукта для решения конкретной задачи человека интересует не эффективность в вакууме, а то, насколько одно решение лучше другого. Именно поэтому фокусом продуктовой команды должна быть добавочная ценность относительно альтернатив.

Добавочная ценность — основная сила, которая тянет человека к использованию нового продукта вместо старого.

Метрики эффективности и добавочной ценности привязаны к задаче, а не продукту

Важная особенность метрик эффективности в том, что они привязаны к задаче, а не к продукту. Это значит, что метрику эффективности можно использовать для любого продукта, решающего соответствующую задачу.

Например, задачу получения дохода с инвестированного капитала могут решать депозиты, акции, бонды, покупка недвижимости под сдачу в аренду. Каждый из этих продуктов можно сравнить друг с другом на основе метрики эффективности, выраженной в ожидаемом годовом доходе с инвестированного капитала.

Вы можете возразить, что эта метрика не в полной мере отражает эффективность решения задачи, так как разные инвестиционные продукты имеют разный уровень риска. Это справедливое утверждение, поэтому для оценки этих продуктов нужно будет добавить еще один параметр — уровень риска.

Более глубоко вопрос измерения эффективности решения задачи и добавочной ценности мы обсудим в одном из следующих материалов.

Метрики эффективности и добавочной ценности не всегда сонаправлены с метриками продукта

В большинстве случаев рост добавочной ценности ведет к тому, что улучшаются и продуктовые метрики: Retention, конверсия в покупку и другие. Ведь чем больше добавочная ценность, тем выше мотивация использовать новый продукт вместо прежней альтернативы, тем чаще именно его выбирают при возникновении задачи.

По этой причине продуктовые команды, которые работают исключительно через призму метрик продукта, все равно могут быть достаточно эффективны.

Но такая связь метрик эффективности и добавочной ценности с метриками продукта прослеживается не всегда. Давайте рассмотрим два примера, где метрики продукта и эффективности решения задачи движутся в разных направлениях.

Пример 1. Лопата для копания траншеи

Вы работаете над продуктом «лопата».

Ваши целевые пользователи «нанимают» лопату, чтобы выкопать траншею.

С текущей версией лопаты решение этой задачи занимает 10 дней. Как следствие, Retention после 10 дня стремительно падает (уточним, что задача копания траншеи возникает у пользователей не слишком часто).

Продуктовая команда приоритизирует и оценивает свою работу с помощью метрик продукта. В частности, с помощью Retention.

В рамках одного из спринтов команда запускает эксперимент, где уменьшает размер ковша лопаты.

В результате этого изменения Retention лопаты на новой когорте пользователей растет. Дело в том, что с новой версией лопаты копание траншеи стало занимать 15 дней.

Продуктовая метрика выросла, но эффективность решения задачи пользователей упала.

Нередко команды делают похожие вещи. Они не знают или не видят реального эффекта от принятых решений на жизнь конечного пользователя.

Пример 2. Приложение для общения Clubhouse

В приложении Clubhouse пользователи могут в реальном времени общаться в групповом голосовом чате. Несколько спикеров обсуждают выбранную тему, а другие пользователи слушают дискуссию и могут участвовать в ней через механизм «поднятой руки».

Давайте считать, что сервис решает развлекательно-образовательный юзкейс — хорошо провести время, узнать новое и интересное.

Сразу после запуска приложение Clubhouse работало на основе инвайтов. Инвайт можно было получить от команды сервиса или от пользователя из коммьюнити. Наличие такого барьера очевидным образом портило и активацию новых пользователей, и Retention (метрики продукта). Многие пользователи узнавали о Clubhouse через сарафанное радио, скачивали приложение и не могли им воспользоваться, так как у них не было инвайта (страдает активация и Retention).

Зато этот механизм позволял максимизировать эффективность решения задачи. Среди первых пользователей Clubhouse были известные инвесторы, предприниматели, авторы, ученые и другие деятели. Вот лишь несколько имен — Elon Musk, Naval Ravikant, Marc Andreessen, Benjamin Horowitz. Их разговоры между собой на разные темы были интересными, глубокими и содержали большое количество инсайтов (то есть эффективно решали задачу пользователей).

Высокое качество первых участников коммьюнити через механизм приглашений обеспечивало приток других интересных новых пользователей в Clubhouse, что опять же повышало эффективность решения задачи пользователей.

Таким образом, наличие барьера в виде механизма приглашений портило продуктовые метрики Clubhouse, но при этом повышало метрики эффективности решения задачи.

Спустя год после запуска Clubhouse начнет быстро масштабироваться и постепенно уберет барьер в виде механизма приглашений. Это повысит активацию и Retention новых пользователей в краткосрочной перспективе, но приведет к размытию качества коммьюнити, уходу самых интересных пользователей и снижению ценности (эффективности решения задачи).

Метрики добавочной ценности определяют метрики продукта

В обычной жизни мы достаточно хорошо умеем чувствовать и понимать, какой продукт лучше решает нашу задачу. Например, вы знаете, какой сотрудник лучше справляется с определенной работой, какие кроссовки лучше подходят для бега, какой аналитический инструмент позволит вам быстрее получить ответ на вопрос.

Проблема возникает, когда мы начинаем делать продукты для других. Мы начинаем думать о них в терминах фичей, роадмапов, конверсий, конкурентов, трендов, продуктовых метрик. Но пользователей волнует все тот же простой вопрос — как эффективнее (быстрее, дешевле, проще) решить свою задачу.

Метрики добавочной ценности позволяют посмотреть на продукт глазами пользователя. Они отвечают на вопрос, насколько эффективнее наш продукт решает задачу по сравнению с другими известными и доступными ему альтернативами.

Именно поэтому добавочная ценность — это самая важная метрика в продуктовой работе:

• Если продукт не создает добавочной ценности относительно альтернатив, то у пользователя не будет никакой мотивации его пробовать и дальше использовать. Конечно, вы можете с помощью обещаний на уровне маркетинга привлечь пользователя, но вы не сможете его удержать долгосрочно.
• Если продукт создает добавочную ценность относительно текущего способа решения задачи и ее достаточно, чтобы перебороть инерцию, лень и страхи пользователя, то он выберет ваш продукт.

↓ Это может быть вам полезно:

Метрики добавочной ценности определяют метрики продукта, которые, в свою очередь, определяют метрики роста. Именно поэтому работа продакт-менеджера должна вестись на уровне эффективности решения задачи пользователя.

↓ Следующий материал серии:

Бесплатный тест навыков в управлении продуктом

Оцените свои навыки в управлении продуктом за один час

Симулятор управления продуктом на основе данных

Пройдите симулятор управления продуктом на основе данных

Симулятор управления ростом и масштабированием

Усильте знания и навыки в симуляторе управления ростом продукта

Новый симулятор SQL для продуктовой аналитики

Научитесь применять SQL в работе над продуктом и маркетингом

Делимся новостями GoPractice и новыми материалами для профессионального развития в нашей почтовой рассылке и в телеграм-канале

Источник: gopractice.ru

Иерархия метрик

Это завершающая статья в небольшом цикле постов про growth management, который я стартовал в канале месяц назад. В ней я хочу показать, чем отличается управление ростом ценности продукта от роста метрик компании, когда они пересекаются, как ценность продукта превращается в конкретную выгоду клиента и еще много полезных мыслей.

Желательно ознакомиться с предыдущими постами:

Откуда взялась модель

К концепции иерархии метрик я пришел, когда работал в LAF24, чтобы попытаться разрешить противоречие вида «сайт как продукт». Противоречие простое и банальное: есть сайт, на котором продаются товары. Является ли в этом случае сайт продуктом или всего лишь точкой контакта, где совершается определенная конверсия?

С одной стороны сайт не может быть продуктом, т.к. им пользуются не потому, что хотят им пользоваться, а чтобы купить автозапчасти, и по сути именно автозапчасти являются продуктом компании. Сайт не несет ценности сам по себе — он существует только как площадка для поиска товаров.

Но, с другой стороны, именно при помощи сайта пользователи находят товары и совершают какую-либо конверсию. Т.е. ценность сайта, как продукта, может заключаться как раз в возможности удобного подбора и поиска тех самых автозапчастей. Ну, например, как на Яндекс.Маркете, где покупка совершается не на самой площадке, а у конечного реселлера.

Так чем же тогда является сайт — omnichannel touchpoint или search product? Ответ, конечно же, один единственный — и тем, и другим.

Смысл модели на примере LAF24

Сайт как продукт

Кликабельно

Иерархия метрик строится сверху вниз. Вершина иерархии метрик продукта — это North Star метрика, определяющая его ценность. Какая ценность сайта как движка для поиска автозапчастей с точки зрения клиента? В том, чтобы я, как пользователь, на любой свой запрос смог найти нужную автозапчасть. Причем не абы какую, а правильно подобранную.

Автобизнес по сложности ассортимента превосходит все остальные отрасли, т.к. крупные сети торгуют автозапчастями разных брендов автомобилей (это около 15-20 тысяч модификаций автомобилей), к каждой модификации которого привязано порядка двух тысяч деталей. А еще есть понятие кроссировки — это когда один товар можно заменить на другой.

А еще на каждый такой товар есть 10-20-30-40-50 предложений от разных поставщиков. Тем самым количество уникальных объектов, которым приходится управлять в режиме реального времени — это порядка 3-4 миллионов. А это я еще услуги сюда не добавил, которые каждая на свою категорию автозапчастей в рамках конкретной модификации. Поэтому качество связей «правильности» подбора при таком количестве данных — одна из важнейших задач. Для её решения в компаниях используются десятки людей для ручной верификации данных (а мы использовали data science).

North Star этой иерархии будет «Количество правильных подобранных автозапчастей», но в отличие от продажи телефонов в автобизнесе запчасть, как правило, НЕ ищут по названию или категории. Вариантов поиска несколько, и чтобы ключевая ценность сохранялась, мы должны предоставить возможность правильного подбора для всех вариантов поиска запчастей, т.е. North Star декомпозируется на количество подобранных автозапчастей каждым конкретным способом.

Каждый способ уникален и совершенно не связан с другим ни с точки зрения интерфейса, ни с точки зрения реально используемых данных (ну почти — мы для решения этой проблемы построили внутренний продукт PIMS, Product Information Management System). Например, чтобы мне подобрать какой-либо товар по автомобилю, мне нужно сначала выбрать бренд автомобиля, потом серию, потом поколение, потом модификацию, потом найти категорию автозапчастей и только уже после этого мне откроется перечень подходящих деталей.

Кликабельно

Этот user flow представляет собой обычную воронку, но в рамках иерархии «перевернутую». При этом логика расчет конверсий остаётся той же самой: абсолютные значения перемножаются с конверсией и являются новыми вводными для следующего этапа, которые также перемножаются с конверсий и т.д. до самого конца, пока от запросов поиска по автомобилю мы не придем к количеству найденных таким образом автозапчастей. Это второй принцип иерархии — к метрикам одного уровня должны применяться какие-то математические операции таким образом, чтобы на выходе получалась метрика уровня выше. Метрики для других вариантов поиска декомпозируются аналогично исходя из своего контекста.

Второй принцип сразу же перетекает в третий — иерархия метрик на самом деле представляет собой формулу ценности продукта, выраженную в конкретных метриках. При этом, как и в любой формуле, на ней очень ясно можно увидеть плечо метрик — насколько изменение одной метрики может повлиять на изменение North Star.

Кликабельно

Для задач продуктового анализа в иерархии могут быть указаны точки роста или те факторы, которые непосредственно влияют на значение показателей (например, на конверсии). Например, я ищу какой-либо артикул. Его может вообще не быть в нашей базе данных, или он может быть в каталогах нескольких брендов.

Если пользователь что-то ищет, но не находит просто потому, что этого нет, то какой-бы крутой UX ни был, ценности он не принесет. Качество и количество данных здесь — точка роста. И уже только после этого UX.

На примерах точки роста обозначены как текст с голубой подложкой, к которому ведут стрелочки.

Следующий принцип построения иерархии метрик — иерархия строится до того момента, пока мы можем влиять на ситуацию. Например, в контексте продукта мы не можем влиять на количество запросов на артикул или какой-то другой вариант поиска, т.к. это наш «спрос» — он вызван чем-то извне нашего продукта.

На примерах «спрос» обозначен в виде кружочков — на него влиять мы не можем.

Cайт как omnichannel touchpoint

Кликабельно

Представим сайт как точку на customer journey map клиента компании. Какая ключевая ценность может быть этой точки? Для чего она нужна? С точки зрения омниканальной модели сайт играет несколько ролей:

• Во-первых, является интернет-магазином, на котором клиент может самостоятельно найти и оформить заказ.
• Во-вторых, местом приземления трафика для дальнейшей его конвертации либо в заказ, либо в звонок, либо в чат, либо в обратный звонок.

Тем самым мы можем сказать, что North Star сайта как точки будет являться количество достигнутых целей (goal completion rate), который декомпозируется на четыре возможных цели: заказ, звонок, чат, обратный звонок.

Кликабельно

Рассмотрим количество заказов — видим классическую воронку: чтобы оформить заказ, нужно добавить в корзину, чтобы добавить в корзину, нужно найти товар, чтобы найти товар, нужен кто-то (трафик). Но, секундочку, ведь именно «Количество правильно подобранных автозапчастей» — это North Star сайта, как продукта!

Что это значит? Это значит, что работая над повышением ценности сайта, как поискового продукта, продакт-менеджер (или хрен знает еще кто) всё равно будет влиять на ключевой показатель сайта как omnichannel touchpoint.

Влияя на ценность, мы влияем на деньги.

Но с другой стороны это же самое значит, что улучшение конверсии в корзину или заказ, или звонок, или чат, или обратный звонок НЕ являются действиями, влияющими на ценность сайта как поискового продукта. И это совершенно нормально. Проблема тут заключается лишь в том, что ответственность за повышение этих показателей зачастую в ecommerce проектах перекладывают на продакт менеджеров, но продакт менеджер, по смыслу своей деятельности, должен отвечать за увеличение ценности продукта, а не эффективности ecommerce или omnichannel touchpoint. Для этого есть другая роль — ecommerce manager или marketing manager.

Смысл модели на примере TextBack

Иерархия метрик продукта

TextBack — это платформа для рассылок в мессенджерах. Работает на b2b2c-рынке. Продукт позволяет бизнесу автоматизировать коммуникации со своими клиентами в мессенджерах через рассылки, чат-боты и цепочки сообщений. Т.е. бизнес приходит в продукт, набирает базу лидов или загружает свою базу контактов, создает рассылки/настраивает цепочки и отправляет их по этой базе по выбранным каналам, например, WhatsApp или ВКонтакте. Все очень похоже на email-маркетинг.

Кликабельно

С этой точки зрения ценность продукта для клиентов TextBack будет в том, чтобы как можно большее количество уже их клиентов выполнило целевое действие из рассылки. А с учетом того, что за период таких рассылок может быть и не одна, то чем больше ситиарят, тем более очевидна ценность продукта.

Из чего состоит количество целевых действий за период? Из среднего количество целевых действий с одной рассылки на количество запущенных кампаний рассылок. Из чего складывается среднее количество? Из количества просмотров рассылки на CTR. Из чего складывается количество просмотров?

Из количества рассылок конкретным клиентам на Open Rate. При этом количество рассылок конкретным клиентам складывает из количества лидов в базе, умноженное на коэффициент сегментации (ведь не всем же нужно отправлять конкретную кампанию рассылки). Декомпозировать можно и глубже, но для примера пока хватит — хотелось показать, что смысл математики весьма простой.

Математика скоринга и плечо метрик

Предположим, что в среднем значения показателей продукта большей части клиентов примерно такие:

• Lead Count = 10.000 (т.е. в базе у клиента есть 10.000 его клиентов)
• Segmentation Rate = 90% (т.е. клиент отправляет одну рассылку почти на всю свою базу)
• Open Rate = 80% (в мессенджерах конверсия в просмотр намного выше, чем в email)
• CTR = 20% (т.е. 20% из тех, кто открыл рассылку кликнули на CTA-элемент)
• Message Campaign Count = 4 (т.е. за период клиент отправляет только четыре рассылки).

Goal Count = (((Lead Count * Segmentation Rate) * Open Rate) * CTR) * Message Campaign Count

Математика нам говорит, что 5.760 целей будет достигнуто при текущих показателях (5.760 конечных клиентов перейдут на целевую страницу клиента TextBack за период).

А теперь предположим, что у меня есть две фичи. Одна потенциально может увеличить Open Rate на 2 п.п., а вторая CTR на 0,4 п.п. Предположим, что время их реализации, как и наша уверенность в этих оценках, примерно одинаковые. Какую фичу будем делать первой? С точки зрения иерархии метрик продукта — ту, что больше влияет на North Star.

В нашем случае, это первая фича: она дает 5.904 (Open Rate) против 5.875,2 (CTR) достигнутых целей.

В рамках иерархии метрик, метрика North Star здесь — это значение impact в таких скоринговых моделях, как ICE или RICE.

Иерархии метрик как инструмент анализа ценностного предложения и бизнес-модели компании

Кликабельно

Посмотрим на иерархию метрик компании. Вершина — это чистая прибыль или MRR, если отбросить издержки. MRR складывается из количество клиентов компании на среднюю стоимость месячной подписки, которая в свою очередь зависит от цены пакета за определенное количество лидов в базе (ресурсная модель, как в телекоме). Количество клиентов за период при этом равно количеству новых клиентов плюс количество количество текущих клиентов минус количество ушедших клиентов (классика SaaS).

Проведем анализ, каким образом ценность продукта участвует в формировании прибыли компании. В каком месте здесь пересекаются метрики иерархии продукта с метриками иерархии компании? Это тот вот оранжевый кусочек — количество лидов. Но, подождите, ведь количество лидов не несет само по себе ценности — это вообще входные данные для того, чтобы пользоваться сервисом. Ценность ведь продукта не в том, чтобы залить туда свою базу лидов, а в том, чтобы рассылать этой базе лидов рассылки и конвертить их в целевое действие.

Оранжевым выделена метрика, которая общая для иерархии метрик продукта и иерархии метрик компании. Такие метрики в терминологии иерархии называются traction-метриками, т.к. напрямую связаны с увеличением денег компании.

Т.е. любое повышение ценности продукта не позволяет с текущих клиентов брать больше. Другими словами, компания тратит деньги и время в улучшение ценности продукта, но это увеличение ценности не приводит к увеличению прибыли. В основу экономики тарифа взят не тот ресурс (goal count), который ценен для клиента, а тот, который проще всего монетизировать (lead count).

Я не могу судить, насколько это хорошо или плохо, но это явный повод задуматься о том, что, если сместить фокус экономики с лидов на выполненные цели, то можно как больше получать с текущих клиентов, так и сделать для них же прозрачной и справедливой зависимость ценности продукта от цены.

Кликабельно

Что такое ценность? Это степень, в которой продукт закрывает потребности пользователей (решает проблемы клиентов). В b2b для доказательства приносимой ценности используются case study, который невозможен без приведения конкретных показателей эффективности. В случае продукта TextBack — это количество целевых действий за период, как главная метрика ценности продукта.

Восприятие ценности / ценностное предложение в первую очередь влияет на конверсию из трафика в регистрацию (лид) / триал (проспект), но только его одного недостаточно, чтобы создать покупку. На конверсию в покупку влияет оффер (стоимость) этого ценностного предложения, который выражен в стоимости тарифа.

Здесь мы снова приходим к противоречию, ведь я, как клиент, вижу ценность в goal count, а оффер мне делают по лидам. Т.е. я должен что-то отдать компании (заплатить за лидов) еще до того, как компания что-то отдала мне (получить профит с рассылок). Вот последний момент и рассмотрим подробнее.

Иерархия метрик клиента

Кликабельно

В b2b любой продукт используется либо для того, чтобы приносить деньги, либо чтобы их экономить. Давайте посмотрим, а как продукт TextBack влияет на структуру прибыли клиента.

Одним из сегментов являются клиенты, которые проводят вебинары для продажи своих услуг, для приведения на которые они и используют сервис TextBack. Предположим, что вершиной иерархии будет оборот за период, который складывается из оборота с одного вебинара на количество вебинаров.

При этом оборот с одного вебинара состоит из количество пришедших на конверсию в покупку на средний чек. Количество пришедших зависит от количества регистраций на конверсию в посещение вебинара. Количество регистраций от количество посетителей лендинга на конверсию в регистрацию на вебинар. А вот уже количество посетителей лендинга и зависит от того, какое количество просмотров рассылки TextBack было, умноженное на CTR.

Зеленым отмечены те метрики, которые пересекаются в иерархии метрик продукта и иерархии метрик клиента.

И вот здесь мы уже более прозрачно видим, каким образом ценность продукта влияет на реальные доходы клиента. Строя аналогичную математику, как она приведена выше, можно даже сказать, насколько увеличится прибыль клиента при добавлении каких-либо фич в продукт. Ни один здравомыслящий клиент не будет отказываться от того, чтобы зарабатывать деньги, и если ваш продукт ему это очень четко продемонстрирует, то проблем со сделкой не будет.

Конкуренция за долю в кошельке клиента

Построенная иерархия метрик клиента в контексте анализируемого продукта показывает еще одну важную деталь — это точку конкуренции за кошелек клиента.

Тот же пример с сегментов вебинаров. У них есть лендинги, на которые идет трафик. Рассылки, обеспечиваемые продуктом TextBack, составляют только часть этого трафика, наравне с органикой, рекламными кампаниями или даже конкурентными продуктами. Точкой конкуренции здесь будет метрика «Количество посетителей лендинга», которая складывается из метрик Open Count и CTR рассматриваемого продукта.

Коммерческая цель любого продукта в этом контексте — вытеснить доли других продуктов, влияющие на эту метрику, чтобы оставаться полноправным лидером. Каким образом это сделать? Показывать эффективность большую, чем это делают конкуренты. В данном случае — генерить больше просмотров рассылок и конверсии с них. Или же заходить на территорию конкурентов, начиная решать проблему клиента их способами, превращая изначальный продукт в экосистему вокруг решения проблемы клиента.

Итого

Иерархия метрик — это отличный инструмент анализа для того, чтобы понимать:

• из каких ключевых метрик состоит ваш продукт: в чем заключается North Star, как он декомпозируется на ключевые метрики, какие из них являются traction-метриками;
• каким образом изменение показателя влияет на изменение ценности продукта;
• как взаимосвязаны метрики продукта, компании и клиента;
• какие противоречия могут возникать между тарификацией и ценностью продукта;
• как определить метрику конкуренции в структуре доходов клиента.

Планируется еще одна статья, в которой я покажу, каким образом иерархию метрик можно использовать для поиска драйверов роста.

Конечно же, не я придумал использовать древовидные структуры для конфигурации метрик. Например, подобные штуки уже давно применял Михаил Карпов еще во Вконтакте, а сейчас и в SkyEng. Подобные структуры используются для объяснения сложно составных формул, вроде LTV или моделей юнит-экономики — ничего не ново под луной =) Однако, как мне кажется, мне первому удалось показать при помощи них важные взаимосвязи между метриками, прибылью, ценностью, конкуренцией за кошелек клиента и моделью ценообразования в более-менее «научном» виде.

Update

Никита Ефимов подсказал, что год назад Елена Серёгина как раз раскрывала эту тему на Product Sense. А еще есть потрясающая статья от неё. Поэтому свои слова про первенство я вынужден забрать назад, да и вообще изменить термин «пирамида» (он раньше был использовать в статье) на «иерархию», как более правильно отображающий смысл.

Основой стратегии является не выбор какого-то одного пути, ведущего к победе, а создание таких условий, чтобы все пути вели к ней.

Источник: sergeytikhomirov.ru

Создание новых метрик в метрических пространствах при решении задач математического моделирования

Калашников, С. Н. Создание новых метрик в метрических пространствах при решении задач математического моделирования / С. Н. Калашников, О. С. Бабушкина. — Текст : непосредственный // Молодой ученый. — 2020. — № 25 (315). — С. 79-84. — URL: https://moluch.ru/archive/315/71959/ (дата обращения: 13.10.2022).

В статье сформированы примеры функций со специальными свойствами для синтеза новых метрик в метрических пространствах.

Ключевые слова: метрика, метрическое пространство, аксиома, неубывающая функция, производная, интеграл.

Как и многие структуры абстрактной математики, понятие метрики в метрических пространствах относится к простому геометрическому понятию — расстоянию между двумя точками

на плоскости. Метрики, будучи удобным способом оценить то, насколько один объект отличается от другого, имеют большое значение при построении математических моделей различных процессов и объектов.

называется метрическим пространством , если для всех его элементов определена такая числовая функция

двух аргументов, что для любых

выполняются три аксиомы :

Элементы метрического пространства называют также точками , функцию

— метрикой или расстоянием между точками

Перечисленные аксиомы согласуются с привычным представлением о свойствах расстояния. Аксиома 3 имеет существенное значение, когда точки

попарно различны, в противном случае она следует из двух предыдущих аксиом [1, с. 16].

Для создания новых метрик используем специальные неубывающие функции

, которые обращаются в нуль только при

и удовлетворяют условию

Применяя эти функции к имеющимся метрикам

, получим новые метрики

. Для таких функций выполняются следующие свойства:

Рассмотрим свойство производной

и воспользуемся определением производной для произвольной функции

— неубывающая функция, значит её производная

, то есть с увеличением

значение производной уменьшается, следовательно, уменьшается коэффициент наклона касательных. Тогда в качестве производной

подойдет выходящая, например, из значения 1, убывающая и повсюду положительная функция из известных функций, от которой необходимо взять интеграл и подобрать константу

интегрирования так, чтобы выполнялось условие

Проверим выполнение аксиом метрики для функции

неубывающая и обращается в нуль только при

по 1-ой аксиоме для исходной метрики

по той же аксиоме.

по 2-ой аксиоме для исходной метрики

по 3-ей аксиоме для исходной метрики

и свойствам неубывающей функции

Далее представлен графический анализ неубывающих функций

позволяющих создавать (синтезировать) новые метрики в метрических пространствах [2].

проведена в работе либо аналитически, либо графически как проверка положительности значений функции двух переменных

В качестве производной первой функции выберем функцию вида

— убывающая и положительная показательная функция при

Находим неопределённый интеграл от

Значение константы интегрирования

представлены на рис. 1.

Рис. 1. График функции

и её производной

Докажем аналитически выполнение свойства

как неотрицательность значений функции двух переменных

меняются от 0 до бесконечности.

— вектор, вдоль которого происходит наибольшее возрастание значений функции

Из положительности компонент вектора градиента делаем вывод, что при любых значениях

при их дальнейшем увеличении значение функции

будет увеличиваться, начиная с

при любых значениях

— что и требовалось доказать.

Таким образом, функцию

можно использовать для создания новых метрик по имеющимся метрикам

также является метрикой.

В качестве производной второй функции выберем дробно-иррациональную функцию вида

Находим неопределённый интеграл от

Подберем константу интегрирования

так, чтобы выполнялось условие

представлены на рис. 2.

Рис. 2. График функции

и её производной

Докажем аналитически выполнение свойства

как неотрицательность значений функции двух переменных

меняются от 0 до бесконечности.

Также как и в первом примере из положительности компонент вектора градиента делаем вывод, что при любых значениях

при их дальнейшем увеличении значение функции

будет увеличиваться, начиная с

при любых значениях

— что и требовалось доказать.

Таким образом, функцию

можно использовать для создания новых метрик по имеющимся метрикам

также является метрикой.

Для третьего примера возьмем убывающую и повсюду положительную дробно-рациональную функцию вида

После реализации тех же действий, что и в предыдущих примерах, получается следующий результат:

представлены на рис. 3.

Рис. 3. График функции

и её производной

Докажем выполнение свойства

как неотрицательность значений функции двух переменных

. В данном случае воспользуемся графическим методом.

меняются от 0 до бесконечности.

На рис. 4 представлен график функции двух переменных

, из которого видно, что

при любых значениях

Рис. 4. График функции двух переменных

Таким образом, функцию

можно использовать для создания новых метрик по имеющимся метрикам

— также является метрикой.

в рассмотренных трех примерах различны, но у них есть общее свойство, которое заключается в том, что производные этих функций неотрицательны , однако уменьшаются с увеличением параметра

. Это выражается как в графиках производных, так и в уменьшении коэффициента наклона касательных к графикам. При этом

В метрическом пространстве

(плоскость, состоящая из пар вещественных чисел — вещественная плоскость с декартовыми координатными осями) основная естественная метрика — евклидова метрика (расстояние между точками на плоскости)

С помощью выбранных функций

созданы новые метрики на базе евклидовой метрики

Таким образом, в данной работе построены примеры функций

для синтеза новых метрик в метрических пространствах с требуемыми свойствами, а также созданы новые метрики на основе евклидовой метрики и построенных функций

1. Филимоненкова, Н. В. Конспект лекций по функциональному анализу: Учебное пособие. — СПб.: Издательство «Лань», 2015. — 176 с.: ил. — (Учебники для вузов. Специальная литература).

2. Колмогоров, А. Н. Элементы теории функций и функционального анализа / А. Н. Колмогоров, С. В. Фомин. — 7-е изд. — М.: Физматлит, 2004. — 572 с.

Основные термины (генерируются автоматически): метрика, функция, график функции, метрическое пространство, создание новых метрик, выполнение свойства, график функций, евклидова метрика, исходная метрика, неубывающая функция.

Ключевые слова

Похожие статьи

Внедрение системы мониторинга метрик в серверное приложение.

Для каждой из метрик мы можем сконфигурировать время хранения значения, тренда и единицы измерения метрики. В случае если данные метрик памяти приходят в Байтах, а мы хотим отображать их на графиках в Мегабайтах, можно выполнять обработку входящих данных.

Обзор некоторых алгоритмов нестрогого сопоставления записей.

Это свойство позволяет метрикам образовывать метрические пространства произвольной размерности. Такие метрические пространства не обязательно являются евклидовыми, так, например, метрики Левенштейна и Дамерау-Левенштейна образуют неевклидовы.

Математические аспекты метода Вагнера — Фишера

Наиболее популярная из существующих метрик — это функция Левенштейна–Дамерау. ОПР.3. Расстояние Левенштейна равно минимальному

На базе метрики Левенштейна — Дамерау построено большое число поисковых алгоритмов, в т. ч.: сигнатурные алгоритмы, алгоритмы.

Использование матриц комбинаторного типа для построения.

Эти решающие функции определяются как меры близости новых объектов с имеющимися представителями каждого класса. Для детерминированных признаков чаще всего используются меры типа расстояние (метрика Хэмминга, евклидова метрика, метрика Минковского.

Соотношение между усредненными модулями гладкости функции.

Множество всех измеримых, — периодических функций для которых.

, . Известно, что — неотрицательная, неубывающая, непрерывная функция и.

Пусть , и , . Тогда для функции справедлива оценка. . Далее, рассмотрим пространство в случае , , и обозначим как .

Выбор метрики сравнения слов.

Основная метрика, которая применялась для сравнения строк — расстояние Левенштейна. Данный алгоритм должен быть достаточно

В ходе выполнения работы был реализован алгоритм поиска на основе хэширования. Основная метрика, которая применялась для.

Метод естественной кластеризации данных | Статья в журнале.

Однако использование различных метрик, особенно таких распространенных как евклидово расстояние

В качестве метрики использовалась так называемая «манхэттенская метрика», в

Слева — исходная таблица. Справа — результаты кластеризации стандартного метода.

Интегральные операторы в весовых пространствах измеримых.

Введение. Хорошо известно, что интегральные операторы с ядрами Пуассона и Коши проектируют классы Гельдера на единичной окружности на соответствующие классы аналитических функций ([1], [2]) На этом основаны многие вопросы математической физики.

Алгоритмы распознавания объектов | Статья в сборнике.

некая функция, вектор параметров семейства кривых, координаты точек пространства .

Сегментация является важной процедурой, так как результаты выполнения данной

Так же существуют алгоритмы, основанные на кластеризации пространства цветов.

Распознавание и извлечение 3D-моделей по двумерным.

Во время обучения происходит процесс минимизации двух функций потерь, одна функция отвечает за соответствие трёхмерной модели её скрытому представлению, другая функция отвечает за соответствие скрытого представления трёхмерной модели скрытому.

Источник: moluch.ru

Продуктовые метрики: какие они бывают и как ими пользоваться?

Я работаю CPO в компании с десятками тысяч заказов в день. Недавно стал плотно вовлекать коллег в продуктовые процессы. Оказалось, что не все знают, что такое GMV или конверсия, не говоря уже о более узких метриках, например, session duration или page depth. Расскажу поподробнее в этой статье про метрики и комплексы метрик.

GMV . Основная метрика для большинства сервисов. Расшифровывается как Gross merchandise volume или общий объём оборота товаров/услуг. Измеряется в рублях или любой другой валюте. Проще говоря — весь доход компании до вычета расходов. Как по шагам «очистить» эту метрику от налогов, зарплат, амортизации, комиссий и прочего, чтобы получить показатели чистого дохода, можно почитать тут.

LTV . Lifetime value. Доход/прибыль, который приносит в среднем один пользователь за срок своей «жизни» в сервисе. Обычно компании считают LTV360, то есть доход с одного пользователя за год. А все, что получено больше, чем за этот срок, можно потом добавить нарастающим итогом на следующий. Во-первых, потому, что это удобно для расчета годовых планов. Во-вторых, это проще считать.

В третьих, мало в каких сервисах люди живут больше года.

Обратите внимание: вам нужно четко понимать, что именно вы хотите измерять — доход или прибыль. Если вы маркетплейс, который живет на инвестициях и которому важен оборот как показатель роста, то измерять стоит доход на пользователя. Если вы сервис, который вышел на самоокупаемость, то в LTV стоит считать прибыль на клиента.

PU . Paying users. Количество пользователей, которые принесли доход.

AOV . Average order value, оно же средний чек. Если у вас есть большие выбросы в числовых рядах (например, 99% пользователей имеет средний чек 1 тыс ₽ и 1% имеет средний чек 20 тыс ₽), то значение среднего чека будет немного не информативным. В таком случае лучше пользоваться медианой чека.

Retention . Возвращаемость пользователей. Day N Retention показывает, какой процент пользователей вернулись к указанному дню. Допустим, если 1го Января в сервис пришло 100 пользователей и 50 из них вернулось на следующий день, а 3го Января из них вернулось 25, то Retention 2го дня будет равен 50%, а Retention 3го дня будет равен 25%. Эта метрика всегда считается по когортам.

Все те пользователи, для которых вы замеряете Retention (или любую другую метрику) — это когорты. Например, Retention когорты 25го Января, или Retention когорты мобильных пользователей Ноября 2021 года.

Traffic — это количество пользователей, которые пришли на сервис: ввели ссылку в адресную строку браузера, из поисковика, из рекламы.

С1 — это conversion rate (конверсия) первой покупки. Например, если из 100 пришедших новых пользователей пятеро совершили покупку, то С1 = 5%.

C1 в расчете платящих пользователей нужно только для того, чтобы посчитать, сколько из тех, кто пришел, совершил первую покупку (то есть, стал платящим пользователем). В дальнейшем в продукте разумнее смотреть общую конверсию для всех покупок пользователя — и первых, и последующих. Давайте поговорим об этом поподробнее.

Конверсия — это переход из одного этапа в другой (в целевое действие).

Обычно самая главная конверсия — из сессии в покупку или подписку.

Но все шаги, которые проходит пользователь на сайте или в мобильном приложении, имеют свою конверсию. Обычно смотрят конверсию из каждого шага в следующий. Это называется воронка конверсий.

На графике часто можно увидеть то, что глазами в таблице воспринять сложно. В данном примере огромная просадка конверсии происходит на переходе из поиска в карточку товара. Значит, пользователь не может найти то, что ему нужно. Причин может быть много: неудобный поиск, плохой контент, неактуальный ассортимент, неверные ожидания пользователя от сервиса и тд. Найти и устранить их должен продакт.

Кроме того, мои продакты отдельно смотрят конверсии из всех страниц в покупку. Допустим, кто-то мог найти товар в дереве каталога, кто-то мог найти товар на главной в подборке акций, а кто-то мог найти его через поиск. У всех этих пользователей разная конверсия.

Воронок мы смотрим тоже несколько. Не все пользователи попадают на главную. Кто-то приходит из Гугла или Яндекса сразу на карточку, после чего переходит в корзину. А кто-то заходит на главную и пользуется поиском. А кто-то пользуется поиском, но добавляет товары из автоподсказок или поисковой выдачи и вообще не попадает на карточку товара потому, что потом сразу идет в корзину и оформляет.

Если у вас B2B2С сервис (например, маркетплейс), нужно отдельно смотреть воронку конверсий селлера. Сколько селлеров подали заявку, сколько из них вы рассмотрели, сколько из них вы одобрили, сколько из них выставили хотя бы 1 товар, сколько из них хотя бы 1 товар продали.

Там же можно посмотреть воронку товаров. Сколько товаров отправили на модерацию, сколько из них было одобрено, сколько из них посмотрели пользователи, сколько из них добавили в корзину, сколько из них купили.

Конверсию нужно смотреть по дням, неделям или месяцам. Чтобы видеть динамику роста или падения. Если есть просадка — нужно бежать проверять трафик, работоспособность микросервисов, последние релизы и тд.

Важно помнить, что общая конверсия — не панацея. Надо уметь ее смотреть под разными углами. На вебе и в мобилке она обычно отличается в несколько раз. На вебе с десктопа и на вебе с телефона конверсия тоже разная. Она отличается у разных сегментов пользователей.

У новых и старых пользователей она разная.

Очень важно уметь находить просадки конверсий именно у тех типов пользователей, у которых они возникают. Общая конверсия показывает не более, чем среднюю температуру по больнице.

Я и многие другие стейкхолдеры регулярно смотрим продуктовые показатели всей компании на общем дашборде (попозже будет целый раздел о дашбордах). Расскажу о таких общих показателях поподробнее.

Но сначала давайте остановимся на линиях тренда. Это линия, которая в сложном, волатильном графике покажет вам динамику роста.

В оранжевом графике линия тренда не очень важна — там и так видны колебания. А вот если бы в синем графике не было голубой линии, сложно было бы понять, есть какой-то рост в среднем или нету.

DAU/MAU . Daily active users и Monthly active users. Количество активных пользователей сервиса в день и в месяц. Очень важный показатель, который позволяет видеть динамику и просадки/пики.

Если у вас просадки, значит нужно начинать искать проблемы: может быть, проблемы с SEO, конкуренты выкатили крутую фичу или просто в силу внешних факторов (погода или праздничный день). Причин может быть много, главное уметь их найти. Рост же обычно бывает после рекламных кампаний.

Orders . Кол-во заказов. Или подписок, если у вас подписочные сервисы.

Old vs New . Соотношение новых и старых пользователей (обычно смотрят внутри графиков GMV и DAU/MAU). Еще можно на одном графике смотреть разные показатели новых и старых пользователей (именно показатели, а не их соотношение) — например, выводить средний чек старых и новых.

Session duration . Длительность сессии. Казалось бы, если сервис хорош, то для принятия решения пользователю не нужно много времени. И чем сессия короче, тем лучше: значит, человек смог быстро что-то выбрать и оплатить. Но обычно чем сессия длиннее, тем выше вероятность, что пользователь сконвертируется в целевое действие.

Page depth . Глубина просмотра страниц. То есть, количество страниц, которые пользователь просмотрел за сессию. Аналогично метрике выше: обычно, чем показатель больше, тем лучше.

Нужно уметь комбинированно смотреть подобные метрики. Например, Session duration осталась прежней, но page depth выросла. И конверсия упала. Значит, она упала потому, что пользователи просматривают больше страниц, чем обычно и не могут найти нужную им информацию. Скорее всего, недавно были релизы, один из которых нужно будет откатывать.

Кстати, кроме продуктовых метрик, в различных продуктовых инструментах смотрят данные по когортам (уже писал об этом в начале статьи) и вебвизор. Вебвизор — это возможность смотреть запись экрана пользователя. Можно отфильтровать сценарии по каким-то негативным признакам (например, долгий срок шага регистрации), посмотреть записи 5-10 человек и уже набросать гипотезы роста.

ARPU . Average revenue per user. Применяется для подписочных сервисов. Средняя сумма оплаты на пользователя. К вам пришло 100 пользователей. Из них 5 купило подписку за 100 ₽, а 5 за 200 ₽. ARPU будет (5*100 + 5*200)/100 = 15 ₽.

ARPPU . Average revenue per paying user. Применяется для подписочных сервисов. Средняя сумма оплаты на платящего пользователя. Если брать те же условия, что и выше, то получится 150 рублей. Потому, что делим не на 100 (то есть не на всех пользователей), а на 10 (то есть, заплативших).

Довольно полезным бывает умение мысленно комбинировать показатели разных графиков и искать причины ухудшений. Допустим, мы видим, что DAU не просел или даже вырос, конверсия не упала, а GMV не растет. Тогда стоит посмотреть, в первую очередь, средний чек. Наверное, вышла какая-то кампания или фича, которая его снижает.

Или трафик растет, средний чек прежний, а GMV падает. Скорее всего, просаживается конверсия. Тогда можно сделать предположение, что на сервис стал приходить менее качественный трафик, который хуже покупает.

Дашборды — это разделы (страницы) аналитической системы, на которых собраны графики по разным тематикам. Например, дашборд мобильного приложения, дашборд способов доставки, дашборд показателей контакт-центра и им подобные.

Обычно на дашборде очень хорошо смотреть одну тематику по разным срезам. Все то, что я описал (трафик, конверсия, кол-во заказов, DAU, GMV и тд) в разрезе городов, платформ, источников, способов доставки и тд.

Чтобы составить такой дашборд, надо понимать, на какие вопросы себе нужно ответить, чтобы понять, как хорошо функционирует определенная часть сервиса. И для каждого такого вопроса — график.

Давайте рассмотрим примеры пары продуктовых команд, которые работают внутри выдуманной мной компании.

Команда А. Компания занимается продажей замороженной выпечки: пирогов, пирожков, пиццы. Компания решает расширить свой ассортимент, например, авторскими свежими тортами. Для этого собирают новую команду, которая себе заведет отдельный дашборд, на котором могут быть:

• Конверсия относительно заказов заморозки на сайте
• Движение тортов по воронке (из просмотра в покупку)
• Доля заказов на сайте, в которых есть торты
• Доля брошенных корзин с тортами относительно брошенных корзин с заморозкой
• Дефектура
• Эффективность тортов по категориям
• Уровень цен по тортам, динамика выручки
• Прямые заходы на страницы тортов из рекламы или поиска
• Средний срок доставки тортов

Команда Б. Компания понимает, что покупатели хотят свежие торты как можно раньше, а их курьерская доставка через 2 дня не подходит. Приходит понимание, что нужны новые способы доставки: самовывоз из магазина и экспресс-доставка на велосипедах. Новая продуктовая команда начинает работу и заводит себе дашборд, на котором смотрит графики, на каждом из которых показатели для разных типов доставки:

• Кол-во заказов
• Конверсия
• Выкупаемость (соотношение получивших заказ к сделавшим заказ)
• Доля доставки вовремя
• Срок доставки, побитый по этапам: от заказа до сборки, от сборки до забора курьером, от забора до доставки
• Платформы, с которых делаются заказы
• Средний чек

Скорее всего, по каждому из направлений доставки перед стартом работ была защита и есть плановые метрики. Поэтому команде нужно будет отслеживать еще для каждого способа план и факт. Как минимум, по количеству заказов или GMV.

Итак, мы можем сделать первый вывод : Есть отдельные продуктовые и бизнесовые метрики по компании, которые очень важны. Но у каждой команды есть еще отдельные дашборды с общими метриками по их направлению.

Но у каждой команды в работе может быть одна или даже несколько страниц сервиса. Про метрики этих страниц мы уже в целом поговорили. Но страницы состоят из разных элементов и кнопок. Поэтому мы делаем второй вывод : для разных элементов страниц нужно отслеживать свои метрики.

В идеальном процессе после формулирования и расчета гипотезы, а затем проработки дизайн-макетов и проведения UX тестов макет попадает к продуктовому аналитику. Который дополняет карту ивентов. Пишет, какой ивент на каком элементе располагается. Ивент — это такое событие, которое передается в базу данных, когда пользователь выполняет действие.

Чтобы знать, что пользователь, зашедший на страницу нажимал те или иные кнопки, переходил к тем или иным разделам, вводил данные, получал ошибки и тд. Эта карта ивентов попадает в разработку вместе с продуктовой постановкой, а потом по ивентам продуктовый аналитик может сделать различные выводы о пользовательском опыте.

Давайте рассмотрим несколько примеров

Пример 1. Карточка товара (страница конкретного тортика, на котором его фото, описание и тд, а так же возможность добавить его в корзину) во многих сервисах содержит раздел «Пользователи так же интересовались». Для простоты дадим разделу рабочее название «Аналоги».

Продакт, который отвечает за эту страницу и этот раздел, отдельно смотрит различные метрики, например:

• Доля просмотров (не все промотают до этого раздела)
• Доля переходов в раздел (если есть кнопка «посмотреть все аналоги», как часто ее нажимают?)
• Конверсия в переход на карточку конкретного аналога
• Конверсия в добавление аналога из списка аналогов в корзину
• Конверсия такого аналога в покупку

Пример 2. Поиск на сайте или в приложении:

• Клики в поисковую строку
• Появление автоподсказок
• Конверсия из автоподсказок
• Доля использования фильтров
• Конверсия при использовании фильтров
• Доля использования сортировки
• Конверсия при использовании сортировки
• Переход на листинг поисковой выдачи
• Конверсия из листинга в корзину
• Конверсия из листинга в карточку товара

Пример 3. Так как тортики в нашем сервисе появились недавно, большинство пользователей до сих пор приходит только за заморозкой. И надо им сообщить о тортиках. Для этого маркетологи делают баннер, в котором пишут «У нас на сайте есть прекрасные тортики. Купи тортик сегодня и получи скидку 300 рублей».

И кнопку — перейти в раздел тортиков. Команда под эту гипотезу создает небольшой дашборд:

• Конверсия в переход
• Конверсия в добавление в корзину после перехода
• Изменение LTV
• Изменение конверсии
• Накопительный GMV от покупок тортиков, которые перешли по баннеру

Продакт команды уже предварительно посчитал, когда прорабатывал гипотезу: сколько человек перейдет, сколько из них купит. Насколько изменится средний чек, насколько вырастет прибыль. И, разумеется, Unit-экономику: потенциальный доход не должен превысить расходы на скидку. По крайней мере, если это заранее не заложил продакт или маркетолог.

Осталось только проверить, что экономика по факту сходится. Или изменить условия.

Frequency . Частотность покупок. Точнее, частотность выполнения целевых действий.

CTR . Click through rate. Конверсия из показа в клик (переход). 100 человек увидели баннер, 15 перешло. CTR = 15%

CSI, NPS и CES. Три метрики, которые показывают, насколько пользователь доволен.

CSI — это Custorer Satisfaction Indicator или индикатор пользовательской удовлетворенности. Знакомое многим «оцените наш сервис от 1 до 10».

NPS — Net Promotion Score. Готовность рекомендовать сервис. Все еще знакомое, но реже встречающееся «Насколько вы готовы рекомендовать наш сервис друзьям и близким от 1 до 10»

CES — Customer Effort Score. Одна из важнейших метрик, которую в России почему-то почти не используют. Коэффициент того, насколько сложно пользователю выполнить какой-то шаг в своем CJM (карте пользовательского пути). Например, при оформлении тортика первый раз может быть высокая конверсия, но при этом высокий коэффициент сложности. Почему так бывает?

Потому, что у пользователя есть скидка на первый заказ и большая мотивация завершить заказ. Но завершить его трудно — неудобные элементы оформления, сложный выбор адреса и тд. Это — плохой продукт. В хорошем конверсия должна быть высокой, а CES — низким. Если вы знаете, почему его обычно не трекают, пишите в комменты.

CAC — Customer acquisition cost. Стоимость привлечения пользователя. Обычно стараются, чтобы CAC был ниже, чем LTV.

ROI . Return on investment. Показатель возврата инвестиций. Вкладываете деньги, например, в рекламу. Покупок становится больше. Смотрите, сколько заработали, вычитаете сумму вложений за рекламу.

Acquisition rate , Churn rate . Приток и отток пользователей. Churn rate (отток) обратно пропорционален показателю Retention. Приток должен быть выше оттока. Приток новых пользователей зависит, в основном, от маркетинга. Показатель оттока зависит, в основном, от качества и условий сервиса.

Reactivation Rate . Показатель реактивации. Пользователей, которые перестали пользоваться сервисом, можно вернуть. Как правило, маркетинговыми коммуникациями. Количество вернувшихся клиентов к количеству рассылок — это и есть Reactivation Rate.

Referal . Показатель реферальных клиентов. То есть, пользователей, которые пришли к вам по рекомендации других пользователей. Отслеживаются они по персональным промо-кодам, которые им дали друзья. Обычно и реферал, и референт получают бонусы. Как правило, компания в рамках реферальной программы тратит денег меньше, чем на CAC, а показатели таких пользователей часто выше: покупают чаще, дольше и на большие суммы.

Доля лояльных пользователей и метрики лояльных пользователей.

Есть множество специфичных метрик, которые употребляются редко и которые приводить в статье нет смысла, иначе она превратится в учебник. Например, AHT — Average handling time. Среднее время обработки вызова оператором в контакт-центре.

Итак, мы поговорили о следующих штуках:

• Метрики для различных элементов на страницах
• Метрики разных направлений компании
• Общие метрики компании

Пришло время двигаться к еще более крупному представлению — комплексам метрик. Это несколько показателей, которые с одного взгляда показывают состояние продукта в компании.

Таких комплексных метрик тоже бывает много. Наиболее часто встречающиеся — HEART (придумали в Google) и воронка AARRR (придумал основатель проекта 500 Startups Дэйв Макклюр).

• Happiness (гигиенический минимум — метрики удовольствия)
• Engagement (вовлечение — длительность сессий, глубина просмотра, частотность сессий и конверсии)
• Adoption (переход к лояльности. Например, скачивание приложения)
• Retention (возвращаемость)
• Task success (доля удовлетворения потребностей пользователей. Кол-во клиентов, которые сделали то, что хотели)

• Aquisition (привлечение)
• Activation (С1)
• Retention (возвраты)
• Referal (рекомендации)
• Revenue (выручка)

Я рассказал вам об основных метриках. Не все из моей статьи может на 100% подходить вашей компании. Как только делаешь шаг влево или шаг вправо, то сразу появляется своя специфика. Уже надо считать не средний чек, а медиану чека. Уже надо считать не Classic Day N Retention, а Rolling Retention.

Кому-то подходит LTV360, а кому-то нет. Кто-то считает «старым» клиентом того, который не первый раз на сайте, а кто-то того, кто уже раньше платил. А кому-то приходится маржу делить на NPS и умножать на реферальность, чтобы получить свою узкоспециализированную метрику.

Если вы только знакомитесь с метриками, то прочитав статью или пройдя Go Practice, не сможете полноценно построить и управлять системой метрик. Для этого должно пройти много времени, вы должны решить много кейсов и найти много ответов на совершенно разные вопросы. Но раз вы тут — значит, двигаетесь в верном направлении. Дерзайте и у вас все получится!

Спасибо за критику/дополнения Ростиславу Оголенко, главе продуктовой аналитики Здравсити.

Источник: vc.ru