Шервудский вестник Epic fails: продакты Skyeng, Aviasales, Qlean поделились неудачными экспериментами в продукте

  • Автор темы Arsenn32
  • Дата начала

Arsenn32

Премиум
Регистрация
8 Янв 2019
Сообщения
8.702
Лайки
163.361
Монетки
85905.5
#1
Авторы Telegram-канала по продуктовому маркетингу Epic Growth узнали у продактов Qlean, Skyeng и Aviasales, какие неудачные эксперименты случались у них в продукте.

%D0%91%D0%B5%D0%B7-%D0%BD%D0%B0%D0%B7%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-jpg.19793


Руководитель продукта в Qlean Валерия Коваленко
Для клиентов Qlean.ru невероятно важно, какой именно клинер к ним приезжает. Клиенты хотят постоянства и качества: один, два или максимум три клинера, которые быстро научатся классно делать именно те вещи, которые важны, будут приходить регулярно и красивенько наводить порядок.

Это то, что сильно отличает нас от сервисов такси или доставки еды, где клиенту не важно, кто его повезет или принесёт доставку, он готов к вариативности. Но никто не хочет, чтобы до его постельного белья дотрагивались 100 человек в год.

Мы подумали: «Ага, всё понятно, сейчас всё будет» и влепили в клиентские интерфейсы опцию «избранного клинера». Работало это следующим образом: клиент выбирает из своего списка того клинера, которого он хочет видеть в следующем заказе, после мы назначаем клинеру заказ клиента. Счастливые мы выкатили фичу.

Оказалось, что:

  • у клиента постоянно меняется расписание (на один заказ бывает до десяти переносов);
  • у клинера постоянно меняется расписание (устал, надо забрать ребенка из садика и так далее);
  • клинеры бывают уже заняты на других заказах, болеют, уходят в отпуск — у клиента начинается паника;
  • клинеры не хотят идти к клиенту, потому тем им не понравилась уборка или потому что они нашли себе другой заказ на это же время.
Всё превратилось в хаос, фича работала только на 5% заказов. Мы поняли, что таким простым путем идти не получится — придётся долго и методично переделывать практически всю нашу платформу и правила взаимодействия с клиентами и клинерами.


Нам нужно было пересмотреть систему распределения заказов, систему планирования рабочего расписания для клинеров и систему букинга заказов для клиентов. Пока что мы находимся в середине пути, нам удалось добиться того, что на примерно 45% от всех заказов приезжают избранные клинеры.

Это точно не предел, мы сейчас по-прежнему работаем над тем, чтобы добиться хотя бы 80%. Это, наверное, одна из самых сложных задач, которую нам приходилось когда-либо решать.

Head of Product Marketing в Skyeng Денис Пушкин
Мы проводим большое количество продуктовых экспериментов и у любого теста есть несколько моментов, где можно провалиться. На нашей практике самые частые: техника и неправильная оценка.

Например, последние полгода мы занимались прокачкой нашей главной страницы, провели несколько больших и долгих A/B-тестов и… в мае поняли, что наша внутренняя система A/B-тестов работает неправильно после зимнего обновления. Пришлось в срочном порядке её чинить, и сейчас мы заново перезапускаем все тесты.

Благо, они уже разработаны — хоть где-то мы экономим. Вы скажете: «Нужно было тестировать». Мы это делали, но из-за специфики и разной логики тестов, не увидели в чём ошибка.

Внешне все распределения были корректными. Увидеть неполадку удалось только на необычном кейсе, с которого и началось наше расследование. Из-за технической ошибки мы потеряли время и приняли ряд продуктовых решений, в которых сейчас не уверены.

Менеджерский промах — это не всегда неправильно принятое решение. Часто это непринятое решение. Недооценённое. В рамках нашего направления монетизации, которым руководит Ксюша Петрова, мы работали с SLA ответа клиенту разными линиями продаж.

Ксюша оценила потенциал от изменений регламента первой линии продаж меньше, чем в +10% годовой выручки, потому решила не уделять внимание этому направлению. Слишком маленькая гипотеза для группы монетизации. Целых три месяца она внедряла новые SLA у методистов вводных уроков и второй линии продаж.

В это время руководитель первой линии решил, что он не хуже других, нужно держать своих ребят в тонусе и сам за полторы недели внедрил у себя новый регламент. Это принесло нам дополнительно 5 млн выручки в месяц (в три раза больше предсказанного) при минимальных затратах.

Факапы случаются у всех. Важно, выращивать во всех сотрудниках аналитические навыки и выращивать в компании культуру зарабатывания денег. Тогда технические проблемы могут быть обнаружены раньше, а деньги будут зарабатываться даже, если вы это не запланировали. По крайней мере, так у нас происходит в Skyeng.

Менеджер мобильных продуктов в Aviasales Андрей Маслак
К сожалению, люди привыкают к новым паттернам и интерфейсам далеко не сразу. Пару лет назад мы реализовали решение по инверсии порядка поисковой выдачи городов в автокомплите. И опередили время. Люди привыкли, что самый релевантный вариант располагается в верхней части списка, а не ближе к строке ввода.

То, что Instagram сделал через пару месяцев для упоминания друзей в комментариях, в случае приложения Aviasales показало, что массовые пользователи к этому не готовы (конечно же благодаря UX-тестированию, в котором четыре из пяти участников ощутили небольшие сложности при выборе города). Кстати, через какое-то время и Instagram отказался от этой идеи.
 
Сверху Снизу