Arsenn32
Arsenn32
Премиум
- Регистрация
- 08/01/2019
- Сообщения
- 5.838
- Репутация
- 19.674
Авторы Telegram-канала по продуктовому маркетингу Epic Growth узнали у продактов Qlean, Skyeng и Aviasales, какие неудачные эксперименты случались у них в продукте.
Руководитель продукта в Qlean Валерия Коваленко
Для клиентов Qlean.ru невероятно важно, какой именно клинер к ним приезжает. Клиенты хотят постоянства и качества: один, два или максимум три клинера, которые быстро научатся классно делать именно те вещи, которые важны, будут приходить регулярно и красивенько наводить порядок.
Это то, что сильно отличает нас от сервисов такси или доставки еды, где клиенту не важно, кто его повезет или принесёт доставку, он готов к вариативности. Но никто не хочет, чтобы до его постельного белья дотрагивались 100 человек в год.
Мы подумали: «Ага, всё понятно, сейчас всё будет» и влепили в клиентские интерфейсы опцию «избранного клинера». Работало это следующим образом: клиент выбирает из своего списка того клинера, которого он хочет видеть в следующем заказе, после мы назначаем клинеру заказ клиента. Счастливые мы выкатили фичу.
Оказалось, что:
Нам нужно было пересмотреть систему распределения заказов, систему планирования рабочего расписания для клинеров и систему букинга заказов для клиентов. Пока что мы находимся в середине пути, нам удалось добиться того, что на примерно 45% от всех заказов приезжают избранные клинеры.
Это точно не предел, мы сейчас по-прежнему работаем над тем, чтобы добиться хотя бы 80%. Это, наверное, одна из самых сложных задач, которую нам приходилось когда-либо решать.
Head of Product Marketing в Skyeng Денис Пушкин
Мы проводим большое количество продуктовых экспериментов и у любого теста есть несколько моментов, где можно провалиться. На нашей практике самые частые: техника и неправильная оценка.
Например, последние полгода мы занимались прокачкой нашей главной страницы, провели несколько больших и долгих A/B-тестов и… в мае поняли, что наша внутренняя система A/B-тестов работает неправильно после зимнего обновления. Пришлось в срочном порядке её чинить, и сейчас мы заново перезапускаем все тесты.
Благо, они уже разработаны — хоть где-то мы экономим. Вы скажете: «Нужно было тестировать». Мы это делали, но из-за специфики и разной логики тестов, не увидели в чём ошибка.
Внешне все распределения были корректными. Увидеть неполадку удалось только на необычном кейсе, с которого и началось наше расследование. Из-за технической ошибки мы потеряли время и приняли ряд продуктовых решений, в которых сейчас не уверены.
Менеджерский промах — это не всегда неправильно принятое решение. Часто это непринятое решение. Недооценённое. В рамках нашего направления монетизации, которым руководит Ксюша Петрова, мы работали с SLA ответа клиенту разными линиями продаж.
Ксюша оценила потенциал от изменений регламента первой линии продаж меньше, чем в +10% годовой выручки, потому решила не уделять внимание этому направлению. Слишком маленькая гипотеза для группы монетизации. Целых три месяца она внедряла новые SLA у методистов вводных уроков и второй линии продаж.
В это время руководитель первой линии решил, что он не хуже других, нужно держать своих ребят в тонусе и сам за полторы недели внедрил у себя новый регламент. Это принесло нам дополнительно 5 млн выручки в месяц (в три раза больше предсказанного) при минимальных затратах.
Факапы случаются у всех. Важно, выращивать во всех сотрудниках аналитические навыки и выращивать в компании культуру зарабатывания денег. Тогда технические проблемы могут быть обнаружены раньше, а деньги будут зарабатываться даже, если вы это не запланировали. По крайней мере, так у нас происходит в Skyeng.
Менеджер мобильных продуктов в Aviasales Андрей Маслак
К сожалению, люди привыкают к новым паттернам и интерфейсам далеко не сразу. Пару лет назад мы реализовали решение по инверсии порядка поисковой выдачи городов в автокомплите. И опередили время. Люди привыкли, что самый релевантный вариант располагается в верхней части списка, а не ближе к строке ввода.
То, что Instagram сделал через пару месяцев для упоминания друзей в комментариях, в случае приложения Aviasales показало, что массовые пользователи к этому не готовы (конечно же благодаря UX-тестированию, в котором четыре из пяти участников ощутили небольшие сложности при выборе города). Кстати, через какое-то время и Instagram отказался от этой идеи.
Руководитель продукта в Qlean Валерия Коваленко
Для клиентов Qlean.ru невероятно важно, какой именно клинер к ним приезжает. Клиенты хотят постоянства и качества: один, два или максимум три клинера, которые быстро научатся классно делать именно те вещи, которые важны, будут приходить регулярно и красивенько наводить порядок.
Это то, что сильно отличает нас от сервисов такси или доставки еды, где клиенту не важно, кто его повезет или принесёт доставку, он готов к вариативности. Но никто не хочет, чтобы до его постельного белья дотрагивались 100 человек в год.
Мы подумали: «Ага, всё понятно, сейчас всё будет» и влепили в клиентские интерфейсы опцию «избранного клинера». Работало это следующим образом: клиент выбирает из своего списка того клинера, которого он хочет видеть в следующем заказе, после мы назначаем клинеру заказ клиента. Счастливые мы выкатили фичу.
Оказалось, что:
- у клиента постоянно меняется расписание (на один заказ бывает до десяти переносов);
- у клинера постоянно меняется расписание (устал, надо забрать ребенка из садика и так далее);
- клинеры бывают уже заняты на других заказах, болеют, уходят в отпуск — у клиента начинается паника;
- клинеры не хотят идти к клиенту, потому тем им не понравилась уборка или потому что они нашли себе другой заказ на это же время.
Нам нужно было пересмотреть систему распределения заказов, систему планирования рабочего расписания для клинеров и систему букинга заказов для клиентов. Пока что мы находимся в середине пути, нам удалось добиться того, что на примерно 45% от всех заказов приезжают избранные клинеры.
Это точно не предел, мы сейчас по-прежнему работаем над тем, чтобы добиться хотя бы 80%. Это, наверное, одна из самых сложных задач, которую нам приходилось когда-либо решать.
Head of Product Marketing в Skyeng Денис Пушкин
Мы проводим большое количество продуктовых экспериментов и у любого теста есть несколько моментов, где можно провалиться. На нашей практике самые частые: техника и неправильная оценка.
Например, последние полгода мы занимались прокачкой нашей главной страницы, провели несколько больших и долгих A/B-тестов и… в мае поняли, что наша внутренняя система A/B-тестов работает неправильно после зимнего обновления. Пришлось в срочном порядке её чинить, и сейчас мы заново перезапускаем все тесты.
Благо, они уже разработаны — хоть где-то мы экономим. Вы скажете: «Нужно было тестировать». Мы это делали, но из-за специфики и разной логики тестов, не увидели в чём ошибка.
Внешне все распределения были корректными. Увидеть неполадку удалось только на необычном кейсе, с которого и началось наше расследование. Из-за технической ошибки мы потеряли время и приняли ряд продуктовых решений, в которых сейчас не уверены.
Менеджерский промах — это не всегда неправильно принятое решение. Часто это непринятое решение. Недооценённое. В рамках нашего направления монетизации, которым руководит Ксюша Петрова, мы работали с SLA ответа клиенту разными линиями продаж.
Ксюша оценила потенциал от изменений регламента первой линии продаж меньше, чем в +10% годовой выручки, потому решила не уделять внимание этому направлению. Слишком маленькая гипотеза для группы монетизации. Целых три месяца она внедряла новые SLA у методистов вводных уроков и второй линии продаж.
В это время руководитель первой линии решил, что он не хуже других, нужно держать своих ребят в тонусе и сам за полторы недели внедрил у себя новый регламент. Это принесло нам дополнительно 5 млн выручки в месяц (в три раза больше предсказанного) при минимальных затратах.
Факапы случаются у всех. Важно, выращивать во всех сотрудниках аналитические навыки и выращивать в компании культуру зарабатывания денег. Тогда технические проблемы могут быть обнаружены раньше, а деньги будут зарабатываться даже, если вы это не запланировали. По крайней мере, так у нас происходит в Skyeng.
Менеджер мобильных продуктов в Aviasales Андрей Маслак
К сожалению, люди привыкают к новым паттернам и интерфейсам далеко не сразу. Пару лет назад мы реализовали решение по инверсии порядка поисковой выдачи городов в автокомплите. И опередили время. Люди привыкли, что самый релевантный вариант располагается в верхней части списка, а не ближе к строке ввода.
То, что Instagram сделал через пару месяцев для упоминания друзей в комментариях, в случае приложения Aviasales показало, что массовые пользователи к этому не готовы (конечно же благодаря UX-тестированию, в котором четыре из пяти участников ощутили небольшие сложности при выборе города). Кстати, через какое-то время и Instagram отказался от этой идеи.