История развития инструментов работы с данными в «Ростелекоме»

К моменту старта проекта централизованной аналитики в «Ростелекоме» работало несколько независимых систем отчетности, каждая из которых была основана на разных импортных программных и аппаратных решениях.

При разработке целевого решения мы изначально заложили принципы, которые обеспечивают минимальную зависимость от поставщиков программного обеспечения и оборудования. Это означает, что используются базовые серверные конфигурации, без привязки к конкретным программно-аппаратным комплексам.

С учетом имеющегося опыта и ситуации на рынке мы выбрали основными инструментами стек Hadoop и аналитическую платформу Greenplum.

На первых этапах мы пользовались внешней поддержкой вендоров, но с ростом ее стоимости и увеличением нашей внутренней экспертизы решили отказаться от внешних платежей, развивать собственную команду и продукты на основе открытого ПО. Это привело к созданию отдельной компании и бренда TData, где мы консолидировали весь наш накопленный опыт.

Дальнейшие события подтвердили, что ставка на гибкость, универсальность и развитие собственных компетенций была успешной. Мы спокойно пережили уход западных вендоров: построили аналитику на Hadoop, Greenplum и ClickHouse, провели несколько крупных обновлений платформы, мигрировали на кастомизированные решения TData и постоянно расширяли бизнес-функционал, а также объемы хранимых и обрабатываемых данных.

Импортозамещение в BI и других классах

Следует отметить, что в некоторых классах ПО вопросы замещения решались не так быстро, как в случае с аналитическими СУБД и крупными технологиями хранения данных. В направлениях BI, классических СУБД, инструментов доставки и интеграции внутри мы использовали много иностранных инструментов. Для их замещения мы решили использовать тот же подход, что и с хранилищем: разработать собственные инструменты с нуля, или на базе распространенных open source решений.

Наш опыт миграции показал, что важнее возможность адаптации решений к конкретному бизнес-кейсу, чем обширная функциональность на бумаге. Перед началом миграции каждого блока мы оценивали возможности и ограничения нашего стека, что позволяло дорабатывать его в тех областях, которые были для нас ключевыми.

Такой подход позволил нам сосредоточиться на замещении целевых инструментов, а не стремиться к полному воспроизведению функционала западного ПО. В результате, в том числе благодаря эффективной и вовлеченной работе с командой TData, такой подход позволил дать нужное бизнесу решение на отечественных продуктах по невысокой стоимости и в предсказуемые сроки.

Сейчас хранилище «Ростелекома» включает более 1400 источников данных, более 10ПБ хранения сырых данных, и более 700 ТБ в аналитическом слое, несколько тысяч отчетов, графиков, и интерактивных форм взаимодействия с аналитическими решениями.

Над развитием и поддержкой платформы, а также над созданием дата-продуктов трудится более 300 человек.

Будущее развития рынка аналитических инструментов

В новых условиях мы живем уже несколько лет. На рынке появилось много отечественных решений в разных классах ПО разной степени зрелости. Можно достаточно уверенно сказать, что строить решения и развивать бизнес на отечественных программных решениях вполне реально, несмотря на колоссальную разницу в инвестициях в отечественные и западные продукты.

Оглядываясь на собственный опыт и опыт коллег из других компаний, мы планируем при выборе решений ориентироваться на крупные проверенные системы, учитывать наш опыт, активнее взаимодействовать с Open Source и комьюнити инструментами, а также продолжать развивать собственные ИТ практики. Для этого в «Ростелекоме» развиваются Центры Компетенций по технологиям, создается защищенный репозиторий кода для снижения рисков ИБ при работе с открытым кодом и зависимостями.

Среди всего многообразия новых отечественных поставщиков я бы делал ставку на решения от крупных производителей и компаний, чтобы быть больше уверенным в том, что продукт будет стабильно развиваться и поддерживаться на протяжении жизненного цикла проекта.

При этом мы не исключаем сценария возврата западных решений на российский рынок. Более того, его уже довольно активно осваивают китайские приложения. Тем не менее, их использование связано с теми же рисками, что и в случае с западными решениями: практика показывает, что без инструментов защиты клиентов от внезапного прекращения сервиса работа с международными поставщиками всегда подвержена риску.

Новые архитектурные подходы

Сейчас активно на рынке набирают популярность новые масштабируемые архитектуры для унифицированной работы с данными и корпоративной аналитики: подход разделения слоев хранения, обработки и хранения метаданных, архитектуры LakeHouse.

Мы активно исследуем их применение в наших сценариях, но понимаем, что переход на LakeHouse или другие современные решения требует тщательного анализа потребностей бизнеса, инфраструктуры и интеграции существующих систем.

Я считаю, что вместо немедленной адаптации к новым трендам компаниям следует оценить потенциал имеющихся решений и их соответствие современным требованиям. Безопасность данных, соответствие нормативным требованиям и уровень поддержки со стороны вендоров играют ключевую роль при принятии решения о миграции.

Внедрение новых технологий должно быть оправданным с точки зрения общего бюджета и ожидаемого ROI. В этом вопросе мы голосуем за эволюционные изменения внутри своих систем, поддержку уже существующей архитектуры вместо следования трендам. Такой подход позволяет сохранить конкурентные преимущества и минимизировать риски и затраты на преобразования.