Enterprise Analytics / BI10 мин чтения
NDA

Имя клиента раскрыть не можем — подписали NDA и держим слово. Это федеральная розничная сеть, входящая в топ‑5 по выручке в своей товарной категории.

Enterprise Analytics / BI

Четыре системы учёта
— одна правда

Когда никто в компании не может ответить на вопрос «Какова выручка за прошлый квартал?» без трёх часов сведения таблиц — это не проблема людей. Это проблема архитектуры.

Аналитическая платформа: агрегация данных и визуализация
Визуал изменён в целях соблюдения NDA.
4 системыинтегрировано в одно хранилище
−74%время цикла пополнения
−22%неэффективных расходов
3 этапареализации
Точка входа

Что мы нашли на аудите

01

SAP + самописная ERP + 1С + Excel

Четыре системы, четыре источника «правды». Финансовый директор каждый понедельник получал три разных версии одного и того же отчёта. Какой верить — не знал никто.

02

Решения на основе устаревших данных

Категорийные менеджеры планировали пополнение запасов опираясь на данные, которые отставали от реальности на несколько недель. В высокий сезон это означало пустые полки при переполненном складе.

03

Аналитик как узкое место

Один аналитик на отдел — единственный человек, который умел сводить данные из всех систем. Его болезнь или отпуск останавливал регулярную отчётность.

Техническое решение

Один ClickHouse вместо четырёх разрозненных систем

Мы не стали переделывать операционные системы клиента — это нереалистично и не нужно. SAP, ERP и 1С пусть делают то, для чего предназначены. Наша задача — забрать из них данные, привести к единому формату и положить в хранилище, из которого удобно строить аналитику.

ClickHouse как ядро Data Warehouse: колончатое хранение, векторные операции, агрегации по миллиардам строк за доли секунды. Apache Airflow как оркестратор пайплайнов. dbt для трансформаций с версионированием и тестами качества.

Сверху — Apache Superset с ролевым доступом. CEO видит одно, региональный директор — только свои регионы, категорийный менеджер — только свои категории.

ETL-пайплайн: источники данных, обработка, хранилище
Визуал изменён в целях соблюдения NDA.
Как выглядел проект изнутри

Три этапа от аудита до масштабирования

Этап 1

Аудит и архитектура

  • Изучение всех четырёх систем и форматов данных
  • Проектирование Data Warehouse на ClickHouse
  • Разработка ETL-пайплайнов: Python + Apache Airflow
  • Первые дашборды для проверки качества данных
Этап 2

Интеграции и масштабирование

  • Подключение всех источников: SAP RFC, ERP via REST, 1С HTTP-сервисы
  • dbt для трансформаций и контроля качества данных
  • Ролевые дашборды: CEO, коммерческий директор, региональные директора
  • Автоматические отчёты в Telegram-бот по расписанию
Этап 3

Операционная зрелость

  • Дашборды для категорийных менеджеров с прогнозом потребностей
  • Алерты на аномалии: падение продаж, избыток стока, просрочка
  • Передача документации, обучение внутренней команды
  • Масштабирование на новые регионы
Потоки данных от источников к дашбордам и уведомлениям
Визуал изменён в целях соблюдения NDA.
Что изменилось
Цикл пополнения — несколько недель
→
Сокращение на 74%

Данные в реальном времени позволили категорийным менеджерам реагировать на изменения спроса немедленно, а не по итогам периода.

Маркетинговый бюджет «примерно по медиаплану»
→
−22% неэффективных расходов

Впервые увидели ROI по каждому каналу с точностью до категории товаров. Перераспределили бюджет туда, где он реально работает.

Подготовка отчёта — дни ручной работы
→
Автоматически каждое утро

Аналитик перестал заниматься сборкой данных и начал заниматься анализом — тем, ради чего его нанимали.

Стек
ClickHouseApache AirflowdbtPythonApache SupersetPostgreSQLRedisTelegram Bot API

Если у вас больше одного источника данных и аналитика занимает дни — это решаемо. Без NDA готовы рассказать подробнее.