Почему вы должны быть информированы, а не управляемы данными

Система принятия решений, которую вы создаете для своей команды / организации, будет иметь решающее значение для ее успеха или провала. В эпоху Интернета данные стали ключевой частью систем принятия решений в компаниях. И, по праву, так. Данные основаны на реальности — что на самом деле происходит. И ваши решения должны быть максимально основаны на реальности и фактах. Однако то, как вы используете данные в своих решениях, также имеет значение. И это может оказать долгосрочное влияние на качество продукта, который вы производите.

Данные управляемые против данных информированных

Иногда люди думают, что разница между « управляемостью данными » и « информированностью данных » подобна потайто потахто. Некоторые организации называют себя управляемыми данными, другие называют себя информированными. Это означает то же самое.

Хотя разница между этими терминами может показаться незначительной, в зависимости от того, какую культуру принятия решений вы настроили в своей организации, это может иметь долгосрочные последствия для вашего продукта и траектории вашей организации.

Чтобы понять, в чем разница между управлением данными и информированием данных, давайте взглянем на пример. Скажем, вы являетесь издателем новостей и решаете, как оформить заголовки ваших новостей. Вы пробуете несколько разных вариантов, и обнаруживаете, что тот, у кого заголовки clickbaity, получает больше всего кликов.

Принятие решений на основе данных : увеличение числа кликов. Посещения (основной показатель для этого издателя) увеличены. Доход (так как они запускают объявления CPM) вырос. Большой! Все наши ключевые показатели выросли. Давайте отправим заголовки с заголовками clickbaity.

Принятие решений на основе данных : все наши ключевые показатели работают. Это хорошо. Какие встречные метрики? Показатель отказов вырос. Это не кажется хорошим опытом, если пользователи подпрыгивают. Как насчет долгосрочных счетчиков? Считаем ли мы, что названия clickbaity хороши для наших пользователей? Повредит ли это настроению по отношению к нашему издательскому бренду? Кстати, почему работают заголовки с кликом? Контент, который возбуждает любопытство пользователей, хорошо работает. Вместо того, чтобы писать заголовки с кликом, можем ли мы интегрировать это понимание в нашу контент-стратегию. Напишите о темах, которые интересны людям, но, возможно, недостаточно.

При принятии решений, основанных на данных , данные находятся в центре принятия решений. Это основной (а иногда и единственный) вход. Вы полагаетесь только на данные, чтобы выбрать лучший путь вперед. При принятии решений, основанных на данных , данные являются ключевым входом среди многих других переменных. Вы используете эти данные, чтобы глубже понять, какую ценность вы предоставляете своим пользователям.

Таким образом, можно спросить, что плохого в том, чтобы быть культурой, управляемой данными . Данные являются неопровержимым источником правды. Вера в то, что данные неопровержимы, на самом деле является мифом. В данных есть несколько слепых зон, которые, если их не устранить, могут привести к неоптимальным решениям. Здесь мы рассмотрим риски, связанные с культурой, управляемой данными .

Слепые пятна управляемой данными культуры

Когда вы применяете идеи из данных буквально

Скажем, вы разработчик игр, вы проводите анализ и обнаруживаете, что пользователи, которые получают уведомления, более активны. Решение: Yay, давайте отправим больше уведомлений! Объем уведомлений увеличивается в приложении. Я получаю уведомление о новом игровом пакете, который я могу купить, мой друг, который набрал новый уровень, и это продолжается. Соотношение шума и сигнала увеличивается. Пользователи начинают игнорировать уведомления, даже те из них, которые вы отправили ранее, в конечном итоге отключая push, и в конечном итоге ваше игровое приложение в конечном итоге становится одним из нескольких защищенных приложений, которые никогда не открывались на устройстве пользователя.

В культуре, основанной на данных , вы пытаетесь понять поведение, стоящее за данными. Пользователи находят ценность в контенте, о котором они уведомляются, а не в самом уведомлении. Понимая, какие уведомления нравятся пользователям и почему пользователи находят эти определенные уведомления полезными, вы сможете выяснить: а) как повысить ценность вашего приложения; б) если существуют подобные ценные события, для которых пользователи будут благодарны за уведомления.

Когда измеряемые вами данные не точно отражают поведение

  • Опережающие и запаздывающие показатели

Измерение правильных метрик имеет решающее значение для построения как управляемой данными, так и культуры, основанной на данных . Однако, если вы считаете данные священными, вы с большей вероятностью попадете в заблуждение при измерении запаздывающего индикатора. Например Допустим, вы являетесь разработчиком игр, и ваш основной инструментальный показатель для оценки работоспособности вашего приложения — это ежедневные и ежемесячные активные ресурсы и удержание. Вы создаете новую функцию. Были некоторые отзывы, что это изменение делает игру более сложной. Вы решаете, что результаты теста A / B должны помочь вам принять решение. Итак, вы запускаете A / B-тест, не замечая влияния на вышеуказанные показатели. Все хорошо, вы отправляете сдачу.

Однако через некоторое время вы замечаете, что игровые уровни, которых достигают люди, снизились, но DAU / MAU по-прежнему стабильны. Изменения, которые вы отправили, увеличили сложность игрового процесса, поэтому пользователям все труднее ориентироваться в игре. В течение следующих нескольких месяцев пользователи начнут работать, и именно тогда вы увидите влияние на DAU / MAU. В этом случае достигнутые игровые уровни были опережающим индикатором (который вы не измеряли), DAU / MAU были запаздывающими индикаторами. К тому времени, когда вы видите влияние на DAU / MAU, уже слишком поздно прекращать отток.

  • Влияние участия против объема

Иногда вы можете заметить положительное влияние на ваши показатели и предположить, что это положительное изменение для всех пользователей. Фактически, небольшая группа опытных пользователей может искажать ваши результаты, и на подавляющее большинство ваших пользователей это оказывает негативное влияние.

  • Влияние контекста

Опять же, на примере разработчика игр, скажем, вы создаете магазин для игрового приложения. Магазин занимает видное место в вашем приложении, так что все ваши пользователи знают, что он существует. Вы измеряете конверсионную воронку для витрины магазина. Один из ваших сотрудников, который раньше работал в компании, занимающейся электронной коммерцией, говорит: «Вау, это намного меньше, чем мы видели там». Эта воронка сломана!

Здесь контекст имеет значение. Фронт вашего магазина очень заметен в игровом приложении. Вы предоставляете функциональность в дополнение к играм, а не основную ценность. Таким образом, ваша вершина воронки массивна и также не имеет большого намерения. Но приложение электронной коммерции получает (с большим намерением) пользователей, которые хотят что-то купить. Так что, если вы сравните воронку конверсии в этих двух приложениях, это как яблоки и апельсины. В этом случае вам нужно либо измерить верхнюю часть воронки на витрине магазина таким образом, чтобы отфильтровывать трафик с низким уровнем намерений, либо провести сравнительный анализ с другим приложением, предоставляющим аналогичную функциональность.

Когда у вас паралич из-за нехватки данных

Иногда культура, основанная на данных, приводит к тому, что — если мы не можем измерить это, мы не будем это строить. Без данных (или несовершенных данных) может быть сложно определить, является ли проблема реальной или нет. Много раз, решение заканчивается не решением, так как вы не можете измерить возможность. Первые принципы, основанные на мышлении вашего друга в это время. Понимание основных блоков проблемы может помочь вам решить, как лучше двигаться вперед, даже если у вас нет данных. Вот хорошая статья о том, как практиковать мышление, основанное на первых принципах (если вам интересно узнать больше о мышлении, основанном на первых принципах, дайте мне знать через комментарии, и я мог бы написать другую статью).

Когда тенденции меняются

Ранние тенденции редко обнаруживаются в данных. Люди начинают замечать ранние тенденции раньше, чем это видно в данных. Не стесняйтесь доверять своим продуктам. Если вы посмотрите на проблему из первых принципов, возможное влияние будет гораздо более очевидным, даже до того, как оно появится в данных. Это огромное слепое пятно для большинства крупных организаций, и именно здесь процветают стартапы. Сбои в работе крупных организаций происходят, когда они игнорируют или не замечают ранние тенденции и вместо этого полагаются на существующие данные.

Когда вы передаете продукт мышления данных

Иногда, когда у вас есть легкодоступные данные, можно легко приступить к микрооптимизации, не задумываясь о том, как работать с продуктом. Хотя на первый взгляд это может показаться разумным подходом (в конце концов, вы управляете данными ), общий эффект от всех микрооптимизаций может фактически быть отрицательным. И иногда это может занять некоторое время, чтобы увидеть его влияние (см. Вышеупомянутый пункт об измерении запаздывающих индикаторов). Сочувствие пользователя, дизайн и чувство продукта всегда должны быть вашим руководством, наряду с данными, при решении проблем для ваших пользователей. Спросите, приносит ли это решение пользу пользователям? Это соответствует их ментальной модели? Имеет ли смысл вся система, в которую входит это изменение?

Но как предотвратить субъективность в культуре информированных данных?

Создание отличных продуктов требует, чтобы вы хорошо понимали пользователя. Ваша цель в использовании данных должна быть исключительно для этого. Субъективность не плохая. Построение продукта, по сути, субъективно. , Вот почему Twitter отличается от Facebook, WhatsApp отличается от Telegram. Каждый из этих продуктов обслуживает аналогичные сценарии использования, и можно утверждать, что он также замечает много похожих поведений, но предпочитает интерпретировать их по-разному.

Но как вы масштабируете субъективность в организации. В то время как данные намного легче масштабировать, масштабирование культуры информированных данных сложно, но не невозможно. Масштабирование культуры информированных данных может быть достигнуто путем использования сильных процессов и принципов в структуре создания продукта.

Как создать культуру, основанную на данных

  • Поймите, какое поведение пользователя влияет на показатель, не используйте показатель как есть. Любой экспериментальный анализ должен иметь ряд гипотез, описывающих, какое поведение пользователя может вызывать перемещение метрики. Если возможно, подтвердите их с помощью дополнительного пользовательского исследования.
  • Спросите, измеряете ли вы правильные вещи? Это опережающий индикатор или запаздывающий индикатор? Как это влияет на подгруппы населения? Какие слепые пятна в вашем измерении? Как вы их покроете?
  • Подумайте о контексте данных. Каков был опыт пользователя для этого эксперимента? Что еще происходит в системе, частью которой является это изменение, что может повлиять на это?
  • Заставьте себя учесть все мнения о том, почему результаты анализа могут быть неверными. Слушать адвокат дьявола.
  • Когда у вас есть несовершенные данные, используйте первые принципы.
  • Всегда, всегда, помните о пользователе. Это Святой Грааль, который определит успех культуры, основанной на данных .
Posted in BABOK.

Оставить комментарий

avatar
  Подписаться  
Уведомление о