От отчетов к аналитике данных
Кейс дня
Сегодня поговорим про кейс анализа данных по дарксторам Впрока. Также изучим, какие виды анализа данных бывают и как алгоритмы BI помогают нам в поиске ответов на вопросы.
Тема дня
Анализ оценок пользователей по заказам
Аналитик данных
Направление бизнес-архитектуры
Дмитрий Бибин
Иван Дубровских
Директор дивизиона Екатеринбург Екатеринбург-Центр
Для меня BI — это полезный инструмент, с помощью которого я могу изучать данные и предметно общаться с руководителями, коллегами, подчинёнными. Это такой конструктор, в котором все, что тебе нужно, собрано в одном месте.

Если в отчетности я вижу какую-то проблему, то я подключаю к ее обсуждению не только руководителей в кластерах, но и сотрудников смежных функций — вместе мы можем посмотреть на детали в данных, например, увидеть, какая позиция отсутствует в наших магазинах и несет максимальный потенциал для роста товарооборота.
Анализ оценок пользователей
После доставки товаров из интернет-магазина Впрок, клиенты сайта (или приложения) проставляют оценки по совершенному заказу.

Сотрудникам Впрока важно понимать обратную связь, чтобы улучшать качество сервиса и реагировать на проблемы. Сегодня эту задачу решает интерактивный отчет по анализу дарксторов — «темных» складов складов для сборки интернет-заказов на доставку.

Как выглядел процесс раньше, до появления отчета? Нужные данные жили в разных файлах, которые собирались «скриптами» — небольшими программами. При этом, скрипты не позволяли гибко исследовать разные срезы данных — например, данные можно было смотреть только по дате оценки, хотя у заказа есть много разных дат (дата заказа, дата доставки).

Любое отхождение от прописанного кода стоило дорого. «А давайте посмотрим, если…» было крайне трудозатратно.

После получения выгрузок, данные нужно было свести в Excel. При этом, в отдельных Excel-файлах было легко запутаться. В течение недели, аналитики собирали ежедневные данные, на основе которых считали средние. Отдельно собирали данные за прошедшую неделю, отдельно за месяц… Представьте количество Excel-файлов и объем ручного труда, необходимого на их ежедневную обработку. Это долгий и трудозатратный процесс.

Кроме того, у разных пользователей разные запросы. Так, директорам складов интересны их склады, а топ-менеджменту важна картина в целом. Данные одни и те же — но их нужно было уметь разделять на разные срезы.
Описание отчета
Мы смогли уйти от Excel и сделать интерактивный отчет с множеством фильтров для разных сценариев анализа. Автоматизировать сбор данных для отчета было легко. Итоговый дашборд позволяет быстро получать данные по дарксторам, исследовать их с помощью фильтров и параметров, выгружать в нужный формат.

Первыми пользователями отчета стали сотрудники колл-центра Впрока. Кроме этого, со временем мы добавили просмотр комментариев к плохим оценкам, чтобы можно было понять кто виноват и что делать. По клику на заказ с негативной оценкой, пользователь сегодня сразу увидит сборщиков заказа и сможет обратиться к нужному сотруднику.
Информация по оценкам среди прочего используется в ежемесячном конкурсе на звание лучшего даркстора. Каждый месяц подводят итоги по бизнес-показателям и, по средней оценке от пользователей, и отчет помогает следить за этим показателем на протяжении месяца и знать какой показатель будет до подведения итогов конкурса.
Сейчас мы также работаем над задачей автоматического распознавания темы комментария. С помощью Machine Learning мы сможем понять субъект отзыва: где жаловались на фрукты, где на мясо, а где на что-то еще. Это поможет видеть картину в целом.
Сотрудники часто не знают возможностей BI-систем, но, как известно, аппетит приходит во время еды. Коллеги начинают пользоваться простым отчетом, который со временем обрастает новым
функционалом.

Доработка и шлифовка отчета может идти довольно долго. Но мы постепенно добавляем ценность в отчет и расширяем круг пользователей.
Цикл анализа данных
До того, как превратиться в полезное бизнес-решение или ценное знание, данные проходят 7 крупных этапов. Путь цикличен — начинается с цели и вопросов, которые у вас есть, а заканчивается оценкой и принятием решений.

На каждом этапе работы с данными важны инструменты. Инструменты — это все то, что помогает в транспортировке данных на каждый последующий шаг.
В каждой компании свой набор инструментов. От Excel и Google Sheets до корпоративных хранилищ данных. На физических серверах в дата-офисе компании до аренды места в облачных хранилищах. В базах данных, платных и бесплатных. Инструменты для очистки и преобразования данных. BI-инструменты. Макросы в Excel. Программирование и скрипты. Приложения для презентации и совместного обсуждения.

Excel может оставаться на тех этапах процесса, где его сильные стороны действительно помогают решать задачу эффективно. Например, при просмотре готовой таблицы с данными или при проведении первичного, быстрого анализа. Но глубокую и постоянную аналитику лучше переводить в специализированные инструменты.
Пять видов анализа данных
Анализ данных — огромная область знаний, коллекция методов и инструментов, которые преследуют единственную цель: превращение данных в решения, мудрость и выгоду. Работая с данными, мы задаем множество разных вопросов — от простого «что произошло вчера?» до «что мне со всем этим теперь делать?».

Череда вопросов от легких и понятных усложняется с каждым уровнем анализа данных. И чем сложнее вопросы и неоднозначнее ответы, тем больше выгода, которую мы можем получить в конце.
Вид 1.
Описательный анализ данных
Это самый базовый, наиболее общий и простой с точки зрения технологий и методов вид анализа данных.

Описательный анализ данных стремится найти ответ на вопрос «Что случилось в прошлом?». Для анализа берутся исторические данные, которые могут относиться как к недавнему периоду во времени, так и к более широкому диапазону дат.
Вид 2. Метод статистического вывода
Как и описательный вид анализа, метод статистического вывода пытается ответить на вопрос что случилось в прошлом. Но здесь используются не только имеющиеся у нас исторические данные, но и те данные, которых у нас нет.

Ключевая особенность заключается в том, что мы физически не можем опросить всех пользователей нашего приложения, или всех участников марафона, или всех жителей страны. Но можем посмотреть на статистику небольшой группы людей («выборки») и потом с определенными допущениями перенести выводы с выборки на всю потенциальную «генеральную совокупность» людей.
Вид 3. Исследовательский анализ
Этот вид анализа выходит за рамки описательного анализа, разыскивая ранее неизвестные или скрытые закономерности в данных.

Мы не просто хотим узнать что случилось, но и почему это произошло, какой фактор повлиял сильнее остальных?
Исследовательский анализ пытается найти ответ на вопрос «Что происходит на самом деле?»
Вид 4. Предсказательный анализ
Предсказательный анализ старается ответить на вопрос «Что вероятнее всего случится дальше?»

В этом виде анализа, мы используем исторические данные, чтобы делать прогнозы. Здесь в качестве инструментов для анализа выступает отслеживание трендов, использование линий регрессии, тестирование гипотез и само прогнозирование.
Вид 5. Предписательный анализ
Предписательный анализ пытается дать ответ на вопрос «Что мы должны делать?»

Предписательный вид анализа основан на всех предыдущих четырех видах. Это наименее структурированный и наиболее комплексный анализ. В нем активную роль играют уже не методы статистики и не алгоритмы анализа данных, а опыт и накопленные знания людей.
Чат — полноценная площадка марафона
Присоединяйтесь к внутреннему чату для обсуждения материалов марафона и прочих веселых активностей
Полезные ссылки
Если вам интересно узнать больше по дополнительным темам Марафона, переходите по ссылкам для дальнейшего изучения тем и расширения кругозора

2022