Поделиться
Что у GPU Cloud под капотом: обзор технологий
На сегодняшний день аренда GPU является одним из самых востребованных сегментов бизнеса по аренде вычислительных мощностей. Преимуществом GPU над CPU является то, что графические процессоры имеют большее количество вычислительных модулей, по сравнению со стандартными процессорами. Тем самым GPU более предпочтительны при проведении расчетов с высоким количеством параллельных процессов. Для многих сфер деятельности использование графического процессора позволяет поднять эффективность вычислений в десятки раз.
Перейти в обзор GPU Cloud 2022
Основными направлениями для наиболее эффективного использования GPU являются технологии искусственного интеллекта и машинного обучения. Это удобно для компаний, которые занимаются нейросетями.
GPU ускорители в формате IaaS и Dedicated: анализ и сравнение
Инфраструктура как сервис (IaaS) — это аренда инфраструктуры в облаке, клиент использует только программный уровень. Поставщик же отвечает за физическую инфраструктуру и систему виртуализации. IaaS предоставляет необходимые вычислительные ресурсы клиенту, как правило, за несколько часов. При этом:
- есть возможность масштабировать ресурсы в зависимости от потребностей клиента;
- у клиента нет нужды вкладывать средства в оборудование, лицензии на используемое программное обеспечение;
- администрирование такой системы со стороны клиента заключается только в поддержке ОС и стандартного ПО.
Инфраструктура как сервис подходит для компаний, которые хотят максимально избавить себя от задач по самостоятельному обслуживанию сетевой инфраструктуры.
При использовании Dedicated сервера клиент берет в аренду аппаратную и программные части полностью. Арендуемое оборудование находится в ЦОД на площадке провайдера.
В дополнение клиент обладает возможностью арендовать другое сетевое оборудование, программное обеспечение, системы хранения данных.
Оба варианта предлагают клиенту разные виды решений с использованием GPU. При выборе IaaS или Dedicated клиенту следует ориентироваться на ряд различий в предлагаемых решениях.
Время подготовки инфраструктуры
IaaS обладает большей скоростью ввода инфраструктуры в эксплуатацию (инфраструктура готова к работе в течение нескольких часов, максимум — через одни сутки после того, как оформлен договор). Для Dedicated решения это время измеряется днями и даже неделями, если клиенту требуется нестандартная конфигурация сервера.
Различия в масштабировании
IaaS-модель обладает высокой скоростью масштабирования предоставляемых ресурсов — несколько минут или часов. Для Dedicated-модели выделение дополнительных мощностей обычно занимает несколько дней. Нужно учитывать, что для увеличения мощностей в модели Dedicated нужно остановить сервер, соответственно, выбрать наиболее подходящий момент, с наименьшей нагрузкой.
В IaaS наращивание мощностей зачастую происходит «на горячую», без остановки сервисов. Также это отражается, если компания имеет «сезонную» нагрузку, при большом притоке пользователей, использующих выделенный сервер, его мощности может быть недостаточно. В IaaS такой проблемы нет — мощность можно легко и быстро нарастить, обеспечивая пользователей бесперебойной работой сервисов.
Если клиент по какой-то причине заказал меньше ресурсов, чем ему требуется, для решения с Dedicated не получится быстро изменить конфигурацию. Для сравнения, выбирая IaaS, клиент имеет возможность провести нагрузочное тестирование до заключения договора, и понять, сколько ресурсов и какие именно устройства ему требуются.
Кастомизация
При выборе Dedicated услуги клиент получает практически неограниченные возможности по кастомизации оборудования — например, выбирать оборудование от определенного производителя. В модели IaaS клиент ограничен в вопросе кастомизации оборудования.
Контроль оборудования
В модели «инфраструктура как сервис» ресурсы арендодателя распределены между множеством клиентов, соответственно, в теории, возможно взаимное влияние клиентов друг на друга. Однако поставщики совершенствуют систему, и минимизируют подобные риски.
В Dedicated сервер такой проблемы нет, сервер является изолированным, и полностью предоставляется одному клиенту. К тому же при использовании модели Dedicated у клиента есть возможность физически контролировать оборудование путем установки датчиков, камер видеонаблюдения.
Обслуживание
Однако, используя выделенный сервер, клиент несет затраты на профессиональное обслуживание аппаратной части, в IaaS обслуживание со стороны клиента обеспечивается поддержкой операционной системы.
Есть и более мелкие нюансы. Например, на выделенном сервере клиенту необходимо самостоятельно настраивать процесс резервного копирования, а, используя IaaS, клиент получает это как услугу, не углубляясь в процесс.
Основные типы графических ускорителей
Tesla A100
Tesla A100 являются комплексом решений для data-центров, содержат в себе программно-аппаратное обеспечение, собственные библиотеки, приложения для ИИ. Являются самой производительной платформой для ИИ. Позволяют создавать масштабируемые решения и получать результаты вычислений в реальном времени.
Узнать, какие GPU предлагают провайдеры в аренду. Рейтинг
Такие графические ускорители с тензорными ядрами способны сократить процесс моделирования с двойной точностью более, чем в два раза. На момент написания статьи являются наиболее дефицитными ускорителями на рынке GPU Cloud.
Краткие характеристики:
- Объем видеопамяти — 24 ГБ.
- Тип видеопамяти — GDDR6, с пропускной способность в 1935 Гбит/с для решения с PCIe и 2039 Гбит/с для решения с SXM.
Tesla A10
Графические ускорители Tesla A10 применяются при работе с графикой, 3D моделировании и в программах САПР. Благодаря тензорным ядрам CUDA вдвое увеличилось количество операций с плавающей точкой.
Поддержка операции TF32 (Tensor Float 32) ускоряет обучение искусственного интеллекта и скорость обработки данных в 5 раз, сравнивая с предыдущим поколением. Такие ускорители обеспечивают поддержку технологий на основе искусственного интеллекта, и применяются в работе ученых, инженеров, специалистов по data science.
Краткие характеристики:
Tesla T4
Tesla T4 на данный момент являются одними из самых продвинутых графических ускорителей, при этом они сохраняют высокие позиции по энергоэффективности. Такие графические ускорители обеспечивают высокую производительность для графических/видео приложений на базе ИИ. По словам производителя, Tesla T4 обеспечивает производительность, в 40 раз превышающую производительность предыдущего поколения.
Такие ускорители находят применение в обучении нейронных сетей, кодирования видео, удаленном подключении к рабочим столам компьютеров.
Краткие характеристики:
- Объем видеопамяти — 16 ГБ.
- Тип видеопамяти — GDDR6, с пропускной способность в 320 Гбит/с.
RTX A5000
Графический ускоритель RTX A5000 является сбалансированным решением в параметрах производительности и надежности. Характеристики устройства являются идеальным в решениях для графических дизайнеров, инженеров. Ускорена работа с графикой. Отличительной особенностью является то, что у данной системы увеличена производительность при трассировке лучей до двух раз, по сравнению с аналогичными системами.
Краткие характеристики:
- Объем видеопамяти — 24 ГБ.
- Тип видеопамяти — GDDR6, с пропускной способность в 768 Гбит/с.
RTX 4000
Данный графический ускоритель еще не поступил в продажу. По характеристикам больше подходит для домашнего использования, но при этом имеет большое значение потребляемой энергии. В связи с этим можно предположить, что подобные GPU будут использоваться и в аренде облачных вычислений.
Предполагаемые краткие характеристики:
- Объем видеопамяти — 24 ГБ.
- Тип видеопамяти — GDDR6, с пропускной способность в 21 Гбит/с.
Tesla V100
По заверениям производителя, является самым технологическим решением с GPU для дата-центров. Рассматриваемые ускорители являются наиболее предпочтительными для обучения глубоких нейронных сетей.
Характеристики Tesla V100 позволяют создавать серверы для вычислений на сегодняшний день. Те модели, для обучения которых затрачивались недели на системах предыдущего поколения, V100 обрабатывает за несколько дней. Выпускается в двух решениях: для серверов с NVLink и для серверов с PCIe.
Краткие характеристики:
Короткая ссылка
