CNews: Почему Ozon решил развивать ИТ-инфраструктуру на собственных мощностях вместо того, чтобы купить сервис и у облачных провайдеров?

Антон Степаненко: В определенный момент мы пришли к осознанию того, что для развития бизнеса требуется собственная инфраструктура, которую мы полностью контролируем. Вариант облаков нам не подходил, так как они не отвечают нашим потребностям с точки зрения гибкости и индивидуальных настроек – у крупных заказчиков всегда есть специфические требования, которые сложно реализовать в рамках публичного сервиса. Внешние облака хорошо подходят для решения второстепенных задач в компании (например, организация телефонии для подрядчика, запуск опросников или лендингов), поскольку позволяют быстро развернуть необходимую инфраструктуру. Но для ключевого операционного бизнеса публичные облака не подходят.

СNews: В чем именно для вас заключаются недостатки публичных облаков с точки зрения гибкости?

Антон Степаненко: В облаках можно покупать две вещи. Во-первых, это вычислительные мощности – bare metal, который может быть обернут в виртуализацию, но в любом случае, это низкоуровневое решение, которое позволяет организовать инфраструктуру на свое усмотрение. Однако вопросы сети остаются вне контроля, что не подходит крупным заказчикам. Например, мы готовы установить собственное DWDM оборудование и не хотим доплачивать за это провайдеру (DWDM – Dense Wavelength Division Multiplexing – технология, позволяющая расширять оптическую сеть за счет объединения нескольких оптических устройств для передачи данных по одному оптическому волокну, прим. CNews). Кроме того, не все облачные провайдеры выполняют требования необходимых для крупных заказчиков стандартов, например, PCI DSS или нормативных актов, которые регулируют работу банковского софта или деятельность ОРД (операторы рекламных данных). Если вдруг такой сервис вам потребуется, то ждать реализации от провайдера всегда будет дольше, чем выполнить работу силами собственных инженеров.

Вторая категория услуг облачных провайдеров – это так называемые управляемые сервисы, например, Managed Kubernetes или Managed Postgres. Здесь свобода действий для заказчика ограничена еще больше: он вынужден пользоваться конфигурацией сервиса, созданного провайдером. Например, при реализации Kubernetes в компании Ozon мы заменили Ingress на собственную реализацию, чтобы самостоятельно балансировать трафик – с нашей точки зрения, этой более удобный и эффективный способ управления нагрузками. Или другой пример – мы специальным образом сконфигурировали на Kubernetes выделенные ядра под сетевые прерывания. В публичных облаках мы не сможем этого сделать, так как данные серверы предназначены для всех клиентов и оператор не позволит нам вмешиваться в настройки сервера на столь глубоком уровне.

СNews: Какие еще причины подтолкнули вас к выбору в пользу собственной инфраструктуры?

Антон Степаненко: Я бы отметил, что историческое решение по развитию собственной инфраструктуры было принято в 2018 году, когда в команду топ-менеджмента Ozon пришли новые специалисты.

Разумеется, с тех пор российские облака стали более зрелыми с точки зрения цены и качества, появился более широкий пул предложений. Но учитывая объем вложений в собственное оборудование, переезд в публичное облако выглядит нецелесообразным.

Причем ключевым фактором для нас будут не деньги, а человеческий капитал – с таким объемом инфраструктуры, как у нас, миграция потребует огромной экспертизы, трудозатрат и времени.

CNews: Нынешняя ИТ-стратегия была сформулирована в 2018 г., а какова была конфигурация инфраструктуры до этого?

Антон Степаненко: У нас было размещение по модели colocation в одном из дата-центров, и при не очень высоких темпах развития бизнеса на тот момент этого было достаточно.

CNews: Почему вы выбрали модель colocation – размещение своего оборудования на чужой площадке вместо того, чтобы построить собственный дата-центр?

Антон Степаненко: Мы производили оценку целесообразности строительства ЦОД, но пришли к выводу, что это несвоевременная для нас инвестиция. Несколько лет Ozon показывает двузначные темпы роста, у нас увеличивается количество активных покупателей и продавцов, и из-за этого нам требуется быстрое расширение собственной ИТ-инфраструктуры. Важным фактором для принятия решения в пользу сolocation было то, что на рынке уже присутствует несколько высококачественных коммерческих дата-центров и воспользоваться их услугами проще, чем строить с нуля собственную площадку.

CNews: Но получается, что Ozon самостоятельно закупает железо. Как вы решаете проблемы с поставками, которые появились после введения санкций?

Антон Степаненко: В начале 2022 г. мы купили партию оборудования в несколько тысяч серверов. Таким образом, мы сделали стратегический запас как раз накануне ухода иностранных вендоров, и пока нам хватает этого резерва.

CNews: Расскажите, из чего состоит ИТ-инфраструктура Ozon и какова общая емкость инсталляций оборудования компании.

Антон Степаненко: ИТ-инфраструктура состоит из различных систем и сервисов, которыми пользуются клиенты, партнеры и сотрудники. Среди них: мобильное приложение и сайт, инфраструктура Ozon Банка, WMS (система управления складом), логистическая система, ERP, CRM и т.д. В общей сложности это более 6 тыс. серверов, которые распределены по трем арендованным ЦОД.

СNews: Почему вы решили распределить нагрузку между несколькими площадками?

Антон Степаненко: Ключевым фактором для нас является отказоустойчивость – даже в случае отказа одной из площадок сервис должен продолжить работу. С этой целью все три ЦОД объединены сетью с высокой пропускной способностью в несколько сотен Гбит/с. Три раза мы проводили учения, в которых отрабатывалась ситуация потери связи с одной из площадок. Во всех случаях нам удавалось восстановить полную работоспособность сервиса за несколько минут.

CNews: Кто является вашими партнерами из числа ЦОД-провайдеров?

Антон Степаненко: У нас есть опыт работы с разными участниками рынка. Несколько раз мы попадали в ситуацию, когда нам требовалось расширение, а у ЦОД-провайдера заканчивались свободные стойки-места, и приходилось переезжать на новую площадку. Мы пережили несколько подобных миграций, пока около двух лет назад у нас не появилось два долгосрочных партнера, на площадках которых было развернуто оборудование Ozon. Однако бизнес растет очень быстрыми темпами – и пропорционально увеличивается нагрузка на все ИТ-системы компании: больше транзакций в системе биллинга, больше зарегистрированных клиентов в CRM и т.д. В связи с этим мы приступили к поиску дополнительного партнера, который сможет закрыть наши растущие потребности.

CNews: По каким критериям вы выбирали ЦОД-партнера?

Антон Степаненко: Нам было важно, чтобы дата-центр соответствовал стандартам Tier III/Tier IV хотя бы на уровне дизайна. Следующим требованием было наличие стоек на 10 кВт. Кроме того, необходимым условием был непосредственный доступ наших инженеров в машинный зал к оборудованию – нас не устраивает ситуация, когда оператор просит написать инструкции, по которым настройку железа будут делать специалисты ЦОД-провайдера. Наконец, мы оценивали имеющиеся на рынке предложения с точки зрения конкурентности цены и надежности провайдера – наличие у потенциального партнера других крупных клиентов, а также соблюдение сроков строительства площадок. В целом, нам была нужна крупная площадка высокого качества с запасом мощностей для расширения.

CNews: Далеко не все российские площадки имеют сертификат Tier III даже по дизайну, сертификаты по классу facility/operational sustainability встречаются еще реже, а подтвержденные документы на Tier IV есть только у дата-центра Технопарка в Мордовии. Не являются ли ваши требования в части Tier завышенными?

Антон Степаненко: Сертификат Tier III/Tier IV (по дизайну или готовой площадке) – необязательное требование, так как далеко не у всех дата-центров он есть, поэтому нам было достаточно заявления провайдера о соответствии. Однако при прочих равных факторах проведенная процедура аттестации специалистами Uptime Institute была бы плюсом. Оборот в Ozon в 2023 году превысит триллион рублей, поэтому даже минимальный простой для нас означает финансовые потери. Кроме того, большое значение имеют и репутационные риски – на рынке онлайн-коммерции в России высокая конкуренция, поэтому в случае сбоя сервиса клиенты просто уйдут на другие площадки. В связи с этим мы предъявляем максимальные требования к отказоустойчивости – если бы высшим стандартом был Tier V, то Ozon выбрал бы его.

CNews: Почему для Ozon важным было иметь возможность устанавливать высоконагруженные стойки?

Антон Степаненко: Цифра в 10 кВт – это пиковая нагрузка (например, во время распродажи) при условии, что стойка полностью заполнена оборудованием. Мы предпочитаем максимально плотно размещать оборудование и полностью заполняем имеющиеся юниты серверами, так как не хотим переплачивать за количество стойко-мест. К тому же на рынке наблюдается дефицит свободного оборудования, поэтому нам выгоднее покупать стойки с большим количеством подведенной мощности, чтобы иметь возможность расширяться за счет дополнительного оборудования в одной стойке. Именно поэтому мы выдвигали требование к дата-центру с учетом максимальной подведенной мощности.

CNews: Разве не оказывается дешевле купить 2 стойки по 5 кВт, чем приобретать высоконагруженные стойки на 10 кВт?

Антон Степаненко: Вопрос цены зависит от индивидуального предложения конкретного провайдера. ЦОД IXcellerate MOS5, в котором мы разместили оборудование весной 2022 г., был запущен в эксплуатацию всего годом ранее и был построен с учетом современных требований к энергопотреблению, что позволило нам разместить высоконагруженные стойки.

CNews: Сколько различных вариантов ЦОД вы рассмотрели?

Антон Степаненко: Изначально было более 50 предложений, однако в итоге проверку на соответствие нашим требованиям прошли только пять компаний. Мы заключали контракт весной 2022 г., как раз в тот момент, когда на рынке наблюдался дефицит мощностей из-за ажиотажного спроса на фоне санкций.

CNews: Почему в итоге вы выбрали именно IXcellerate?

Антон Степаненко: При поиске партнера мы учитывали множество факторов, включая цену, схему резервирования, надежность компании и многие другие. Предложение IXcellerate оказалось наиболее предпочтительным. Это известный на рынке поставщик с давней историей и портфелем крупных заказчиков. К тому же, на момент заключения контракта он располагал вакантными мощностями в необходимом для Ozon объеме.

CNews: Расскажите подробнее об условиях размещения Ozon в ЦОД IXcellerate MOS5.

Антон Степаненко: ЦОД IXcellerate гарантирует резервирование электричества на уровне стойки по схеме 2N, а резервирование холодоснабжения всей инсталляции – N+1. Мониторинг инфраструктуры осуществляется в режиме 24/7. Температурный режим поддерживается в диапазоне от +18 до +27 градусов. Взаимодействие по техническим вопросам осуществляется через портал поддержки, ответ на обращение мы получаем в среднем за 5-10 минут. Инженерам Ozon, которые внесены в списки, предоставляется беспрепятственный доступ к оборудованию. Монтаж и установка оборудования в стойки, а также коммутация осуществляются специалистами Ozon. На момент запуска первоначального сегмента в 2022 г. ушло около месяца, однако дополнительные емкости вводятся в строй регулярно по мере роста бизнеса.

CNews: Как бы вы оценили качество взаимодействия с представителями ЦОД IXcellerate?

Антон Степаненко: Как руководитель, я не участвую в решении текущих технических моментов. Поэтому качество сервиса дата-центра можно оценить по частоте возникновения вопросов, которые требует моего личного вмешательства. В случае с IXcellerate этого еще не было.

CNews: Каковы ваши планы по развитию партнерства с коммерческими дата-центрами?

Антон Степаненко: Как я уже упомянул, расширение – это непрерывный процесс, и мы постоянно подключаем новое железо. Мы всегда рассматриваем возможности по расширению, из-за роста бизнеса оно неизбежно. Существует несколько вариантов: от расширения на одной из имеющихся площадок до запуска четвертого ЦОД.

CNews: Каждый год в России вводятся тысячи новый коммерческих стойко-мест. При этом часто говорят о дефиците предложения. На ваш взгляд, в чем заключается проблема?

Антон Степаненко: Я бы сказал, что можно говорить о дефиците высоконагруженных стоек с высокой отказоустойчивостью Tier III +, так как при большом количестве предложений на рынке в целом выбор именно в этом сегменте достаточно ограничен. Найти достойного партнера, который соответствует критериям крупного бизнеса, сейчас крайне затруднительно. И это, очевидно, потенциал для роста рынка.

■ erid:Kra23rkXQРекламодатель: ООО «ИКСЕЛЕРЕЙТ»ИНН/ОГРН: 7715904744 / 1127746106773Сайт: www.ixcellerate.ru