Сегмент решений GPGPU существует на рынке уже несколько лет и активно развивается. Среди ключевых вариантов использования можно отметить высокопроизводительные вычисления, создание цифрового контента, ИИ и машинное обучение, удаленные рабочие места с графическими ускорителями.

Среди серверных платформ компании ASUS решения для сегмента GPGPU представлены в двух сериях ESC, отличающихся форматом корпуса и числом поддерживаемых двухслотовых видеокарт — до четырех в серии ESC4000 и до восьми в ESC8000.

Сервер ESC4000 DHD G4

Недавно в серии ESC4000 появилась новая модель, которая заметно отличается по своим характеристикам, так что стоит рассказать о ней отдельно. ASUS ESC4000 DHD G4 выполнен в формате 1U, что позволяет существенно повысить плотность размещения вычислительных ресурсов в стойке. Сервер позволяет использовать один или два процессора серии Intel Xeon Scalable. Причем конструкция рассчитана и на модели с высоким потреблением, так что можно использовать как процессоры с большим числом вычислительных ядер, так и чипы с высокой частотой работы.

По оперативной памяти также нет ограничений – 16 слотов (по 8 на каждый сокет) поддерживают до 2 ТБ при использовании модулей по 128 ГБ.

ESC4000 DHD G4

Уникальное решение внутренней компоновки позволяет установить в сервер до четырех полноразмерных графических вычислителей с двухслотовой системой охлаждения. При этом для всех обеспечивается подключение к шине PCIe 3.0 x16. Правда надо отметить, что обеспечить всем картам видеовыходы не получится. Из-за плотного размещения компонент необходимо внимательно отнестись к выбору моделей, поскольку явно не каждая подойдет.

Дополнительно реализованы два слота для укороченных карт половинной высоты. Они также работают на шине PCIe 3.0 x16.

ESC4000 DHD G4

В системе охлаждения сервера установлено восемь высокоскоростных вентиляторов. Управление ими осуществляется автоматически с использованием фирменной технологии ASUS Thermal Radar 2.0. Плюс вентиляторы есть и в каждом блоке питания.

Сетевые возможности платформы предоставлены двухпортовым контроллером Intel X550 с поддержкой скорости 10 Гбит/с по медному кабелю. Дополнительно присутствует порт для удаленного управления.

Сервер оборудован четырьмя отсеками для накопителей формата 2,5” с поддержкой горячей замены и интерфейсов SATA или NVMe. В первом случае применяется встроенный в чипсет контроллер, а для второго потребуется использовать дополнительный специальный кабель для подключения к шине PCIe процессора. Кроме того, на материнской плате реализовано четыре разъема M.2 2280/22110 PCIe3.0 x4. Заметим, что если и этого будет мало – платформа поддерживает Intel Optane DC Persistent Memory.

Для подключения USB-устройств сервер имеет по два порта версии 3.2 Gen1 на передней и задней панелях. Питание по схеме 1+1 обеспечивают два блока по 2200 Вт. Как и у других моделей серии здесь есть встроенный контроллер IPMI Aspeed AST2500, функции удаленного доступа ASMB9-iKVM и поддержка программы ASUS Control Center.

Серия ESC4000

Кроме ESC4000 DHD G4, в серию входят еще три модели — G4, G4S и G4X с корпусами формата 2U для установки в стойку. Это позволяет достичь высокой плотности размещения вычислительных ресурсов GPU. Из особенностей конструкции компания отмечает простоту установки и обслуживания — многие операции не требуют применения инструментов. В частности, речь идет о замене вентиляторов в системе охлаждения. Еще одна удобная функция — наличие индикатора POST-кодов Q-Code прямо на передней панели сервера.

ESC4000 G4

Все они основаны на платформе для процессоров линейки Intel Xeon Scalable первого и второго поколений. На материнских платах можно увидеть два сокета FCLGA3647. В данной линейке процессоров представлены модели от 4-ядерных с базовой частотой 3,6 ГГц до 28-ядерных с частотой 2,5 ГГц. Эта гибкость поможет подобрать оптимальное решение для задач пользователя — в случае основной нагрузки на GPU можно использовать более доступные процессоры с меньшим числом ядер, а если планируется также использование вычислений на процессорных ядрах — можно установить более мощные модели. Отметим, что для G4 есть ограничение в 150 Вт, а для G4S и G4X – в 165 Вт.

У каждого сокета предусмотрено по 8 слотов для оперативной памяти стандарта DDR4. При использовании модулей по 128 ГБ максимальный объем памяти на сервер составляет 2 ТБ.

Работают процессоры совместно с чипсетом Intel Lewisburg PCH C621. Из него здесь используются контроллеры SATA и USB.

ESC4000 G4

Всего в сервере предусмотрена установка до одиннадцати плат расширения. При этом есть восемь полноразмерных слотов PCIe 3.0 для графических вычислителей, оформленных в виде двух блоков по четыре слота, так что двухслотовых карт можно установить четыре. В случае использования четырех карт они работают на шине x16, а если задействовать все восемь слотов, то режим будет x8. Заявлена поддержка графических контроллеров от компаний AMD и NVIDIA, а также Intel Xeon Phi.

Дополнительно есть слоты PCIe 3.0 x16 и x8 для коротких низкопрофильных карт расширения (например, сетевых или дисковых контроллеров) с доступом к задней панели и слот PCIe 3.0 x8 (кроме модели G4X) для RAID-контроллера с доступом на передней панели.

Основная система охлаждения насчитывает семь вентиляторов с автоматической регулировкой скорости вращения. Причем в отсеках для видеокарт их установлено по два. Так что проблем с графическими вычислителями специальных серий, не оборудованными собственными вентиляторами, не будет.

Для подключения к локальной сети установлены двухпортовые гигабитные контроллеры Intel I350. Дополнительно присутствует отдельный порт для сетевого управления сервером.

ESC4000 G4S

Встроенная подсистема хранения у моделей серии отличается:

• G4: восемь отсеков 3,5" с поддержкой горячей замены;
• G4X: восемь отсеков 2,5" с поддержкой горячей замены;
• G4S: два внутренних отсека 2,5" или 3,5".

ESC4000 G4X

В моделях G4 и G4X в качестве опции возможно использование двух отсеков для накопителей NVMe. Для них же предлагаются дополнительные платы расширения для работы с накопителями SAS 12G: восьмипортовая HBA ASUS PIKE II 3008 и восьмипортовый RAID-контроллер ASUS PIKE II 3108.

ESC4000 G4X

Кроме того, на материнской плате присутствует один порт M.2 2280 с поддержкой накопителей с интерфейсами SATA и PCIe.

Решения оборудованы контроллерами IPMI Aspeed AST2500, что позволяет реализовать технологии удаленного управления с доступом к консоли операционной системы через браузер — ASMB9-iKVM. При этом можно использовать подключение через выделенный сетевой порт или работать с одним сетевым кабелем и встроенным гигабитным контроллером. Дополнительно компания предлагает собственное программное обеспечение ASUS Control Center для централизованного контроля и управления сразу несколькими серверами.

ESC4000 G4X

На передней панели серверов разместили по два порта интерфейсов USB 2.0 и USB 3.0. На задней панели есть только два порта USB 3.0.

ESC4000 G4X

Питание обеспечивается двумя блоками с резервированием по схеме 1+1. Мощность каждого может составлять 1600 Вт (опционально - 2200 Вт).

Сервер ESC8000 G4

Данная модель отличается поддержкой установки восьми двухслотовых графических вычислителей, однако для этого был использован уже корпус формата 4U. Так что выбор модели будет определяться требованиями заказчика.

ESC8000 G4

Как и младшая серия, решение использует платформу с чипсетом Intel Lewisburg PCH C621 и одним или двумя процессорами Intel Xeon Scalable для сокета FCLGA3647, что позволяет получить более ста вычислительных потоков в одном сервере. Отметим также поддержку технологии Intel Omni-Path для высокоскоростного обмена данными между серверами в кластере. Эта шина обеспечивает скорость передачи данных в 100 Гбит/с с минимальными задержками благодаря прямому подключению к процессорам. Ее использование может существенно повысить эффективность при масштабировании решений HPC.

ESC8000 G4

Места в корпусе 4U больше, так что на материнской плате компания разместила по 12 слотов оперативной памяти DDR4 для каждого сокета. Так что максимальный ее объем составляет 3 ТБ.

Для установки графических вычислителей предусмотрено восемь полноразмерных слотов PCIe 3.0 x16. Причем в каждый можно поставить карту с двухслотовой системой охлаждения. Фирменная адаптивная технология конфигурации слотов расширения оптимальным образом настраивает распределение линий PCIe: при работе с одним процессором вы тоже сможете использовать сразу все восемь слотов, а при установке двух процессоров каждому будет выделено по четыре слота.

При этом графические вычислители объединены в два блока по четыре карты через высокоскоростные коммутаторы шины PCIe. Это повышает эффективность при обмене данными между ними, что положительно сказывается на производительности в задачах ИИ и машинного обучения.

Дополнительно присутствуют два слота PCIe 3.0 x16 для низкопрофильных карт половинной длины с выходом на заднюю панель (в конфигурации с одним процессором работает только один слот) и внутренний слот PCIe 3.0 x8 с выходом на переднюю панель для карт такого же формата (доступен только при наличии второго процессора).

ESC8000 G4

Конструкция корпуса позволяет использовать графические вычислители с активными или пассивными системами охлаждения. Всего в нем расположено десять крупных вентиляторов с автоматической регулировкой скорости вращения и поддержкой горячей замены. Кроме того, на процессорных радиаторах также установлены вентиляторы.

Сетевые контроллеры не отличаются от младшей модели — два гигабитных Intel I350 под витую пару. В каталоге компании также есть специальная версия модели - ESC8000 G4/10G, в которой установлен сетевой контроллер Intel X550 на два порта 10 Гбит/с под медный кабель. Это позволяет обеспечить высокую скорость соединения не занимая слот расширения.

Сервер имеет на передней панели восемь отсеков для накопителей формата 2,5''. При этом два из них могут работать с дисками NVMe. Штатный SATA контроллер находится в чипсете материнской платы. При необходимости можно добавить фирменные SAS 12G HBA- или RAID-контроллеры. Для системных накопителей предусмотрено два слота M.2 22110/2280/2260 с поддержкой интерфейсов SATA и PCIe.

Поскольку вся задняя панель занята графическими вычислителями, то порты USB (по два версий 2.0 и 3.0) установлены только на передней панели.

По возможностям удаленного управления отличий от младшей серии нет — встроенный графический контроллер Aspeed AST2500, доступ из браузера с ASMB9-iKVM, работа с выделенным сетевым подключением или одновременно с сетевым портом для операционной системы, поддержка ASUS Control Center.

По вариантам обеспечения питания также изменений нет — схема с резервированием 1+1 с 1600 Вт блоками питания.

Общие особенности

В список совместимых операционных систем для серверов ESC4000 G4 и ESC8000 G4 входят Microsoft Windows Server 2012 R2/2016/2019, RHEL 6/7, SLES 11/12, CentOS 6.7-7.3, Xenserver 7.6. В разделе поддержки сайта компании можно найти обновления BIOS и кода ASMB9-iKVM, а также набор стандартных драйверов для использованной платформы.

Учитывая разнообразие представленных на рынке решений и продуктов от множества производителей, валидация оборудования для определенных сервисов является залогом совместимости и эффективности. В сегменте GPGPU, в частности ИИ и машинного обучения, компания NVIDIA является, пожалуй, наиболее активным игроком. Так что наличие решений ASUS в списке рекомендованных для NVIDIA NGC и NVIDIA EGX Edge является еще одним их преимуществом.

Кроме того, компания ASUS с прошлого года входит в состав членов организации SPEC.org, одной из наиболее известных в области тестирования производительности и других характеристик ИТ-решений. При этом ее решения, в частности описанный сервер ESC8000, успели за это время достичь первых строк в рейтингах, опередив более крупных производителей серверного оборудования.

Кирилл Кочетков