Компания «Т-Платформы» является ведущим российским разработчиком вычислительной техники. Одним из наиболее крупных проектов компании стало создание в 2015 году суперкомпьютера JURECA (джурЕка), установленного в Германии, который в итоге занял 50-ое место в мировом рейтинге топ-500.

Для создания вычислительных кластеров разного масштаба, включая суперкомпьютер, JURECA компания «Т-Платформы» предлагает модульные серверные системы V-Class. Их преимуществами являются широкий спектр аппаратных конфигураций, централизация управления, энергоэффективность и надежная, проверенная временем, архитектура.

Одним из основных компонентов системы V-Class является шасси. Несущая конструкция включает в себя подсистемы питания, охлаждения и управления – как локального, так и удаленного.

Подсистема охлаждения располагается в передней части и состоит из трех модулей, каждый с поддержкой горячей замены. Если один модуль выходит из строя, то оставшиеся два вытягивают систему охлаждения и не дают внутренним компонентам перегреваться.

Модуль охлаждения основан на двухроторной системе вентиляторов, роторы которой вращаются в противоположные стороны. Такая конструкция применяется для увеличения статического давления, когда необходимо продувать такие плотные конструкции, как вычислительные лезвия V-Class. При выходе из строя одного из роторов скорость второго увеличивается, чтобы компенсировать уменьшения воздушного потока.

Низ фронтальной части шасси занят локальной панелью управления, где располагаются выделенные блоки индикаторов и органов управления вычислительных лезвий, а также общий блок индикаторов активности и статусов подсистем охлаждения и питания шасси, разъемы для подключения к сервисной сети Gigabit Ethernet, консольный порт RS-232 и основная кнопка включения питания.

Подсистема питания располагается в задней нижней части шасси и состоит из пяти блоков мощностью до 1600 Вт с поддержкой горячей замены. Конфигурации N+1 и N+2 предлагаются на выбор заказчика и определяют отказоустойчивость системы. В первом случае система продолжит работу при выходе из строя одного блока питания, в другом – двух блоков. В сравнительно простых конфигурациях V-Class, где не требуется высокая мощность, пустые отсеки для блоков питания закрываются специальными заглушками.

Кроме того, на задней панели шасси расположены второй интерфейс Gigabit Ethernet подключения к сервисной сети и порты RS-485.

Наиболее сложным и интересным компонентом шасси является контроллер управления системой. Он включает сервисный процессор, коммутатор Ethernet сервисной сети для связи всех вычислительных модулей и связи с внешним миром, а также дополнительные компоненты: локальное устройство хранения данных, оперативная память.

Контроллер удаленного управления является небольшим компьютером, который контролирует все жизненно важные параметры системы: управляет подсистемой охлаждения, занимается мониторингом и управлением подсистемы питания, отслеживает все жизненно важные показатели вычислительных лезвий.

Контроллер удаленного управления предоставляет пользовательский доступ как посредством веб-интерфейса, так и с помощью командной строки. Таким образом, администратор может настраивать и осуществлять мониторинг всех параметров системы. Данный контроллер функционирует под специализированной версией ОС на базе ядра Linux, разработкой компании «Т-Платформы».

Также контроллер удаленного управления имеет функции аварийной остановки оборудования при критическом изменении каких-либо внешних параметров, например, температуры внутри центра обработки данных, при резкой потере бюджета мощности, то есть выходе из строя более двух источников питания или при потере бюджета охлаждения – выходе из строя более одного модуля охлаждения.

Отсек для установки вычислительных лезвий находится сзади. Допустимы конфигурации, состоящие из различных вычислительных модулей, одинарной и двойной толщины.

В отсеке нет каких бы то ни было перегородок, поэтому различные типы вычислительных модулей можно устанавливать в любом порядке и любой комбинации. Важно отметить, что с каждым новым поколением вычислительных лезвий V-Class инженеры компании совершенствуют их эргономику оптимизируя конструкцию и уменьшая количество крепежных элементов, что положительно сказывается на скорости и удобстве работ по монтажу и обслуживанию.

Шасси V-Class вмещает до 10-ти вычислительных лезвий в тонком исполнении, или же 5 лезвий двойной толщины. Или же набор разных лезвий, установленных в произвольном порядке.

Современные вычислительные лезвия объединены в линейку V210.

Каждое вычислительное лезвие построено на современной серверной платформе Intel Grantley / Grantley Refresh. Материнская плата разработки компании «Т-Платформы» поддерживает установку двух процессоров LGA2011-3, 2 накопителя SATA формата 2,5” подключаемых напрямую и 8 накопителей SATA с кабельным подключением, 72 линии PCI Express третьего поколения в 4 слотах, 8 модулей оперативной памяти DDR4, а также специализированный интерфейс для сопряжения с шасси. Поддерживаются процессоры Intel Xeon E5 2600 серии v3, а также недавно анонсированной серии v4.

Внешние интерфейсы каждого вычислительного лезвия представлены двумя сетевыми интерфейсами Ethernet на 1 или 10 гигабит, двумя портами USB 3.0, аналоговым видеовыходом VGA и локальными средствами управления: кнопки включения/выключения, перезагрузки, включения идентификационного светодиода для быстрого поиска лезвия в стойке или шасси, а также набор диагностических светодиодов. Чуть выше внешних интерфейсов располагаются отсеки для карт расширения или накопители с поддержкой горячей замены.

Семейство тонких вычислительных лезвий представлено двумя моделями, V210S и V210SS. Основное отличие между ними заключается в том, что в V201S можно установить две карты расширения PCI-E, тогда как в V210SS место карт расширения занимают два накопителя HDD или SSD с поддержкой горячей замены.

Также существует специализированная версия модуля V210S, оснащенного модулем доверенной загрузки, со считывателем ключа. Применение модуля доверенной загрузки предотвращает несанкционированный доступ к системе и организует мониторинг целостности критически важной информации.

Лезвия двойной толщины V210F отличаются от тонких лезвий дополнительным этажом, где могут быть размещены специализированные ускорители вычислений, такие как сопроцессоры Xeon Phi. Поддерживаются сопроцессоры, оснащенные пассивной системой охлаждения серии 3000, 5000 и 7000. Наряду с ускорителями вычислений лезвия могут быть укомплектованы различными картами расширения PCI-E, например дополнительными сетевыми контроллерами Ethernet, адаптерами высокопроизводительных сетей OmniPath или Infiniband, контроллерами систем хранения данных с интерфейсами SAS или Fiber Channel и пр.

Стоит подчеркнуть модульность конструкции вычислительных лезвий. Каждое тонкое вычислительное лезвие может быть преобразовано в толстое путем установки верхнего этажа.

Семейство толстых вычислительных лезвий включает лезвия с расширенной дисковой подсистемой V210FS. Оно предоставляет 4 накопителя формата 2,5” с поддержкой горячей замены, плюс 4 фиксированных внутренних накопителя формата 3,5” или 2,5”. Могут использоваться как накопители с интерфейсом SATA третьего поколения, так и с интерфейсом SAS. В базовой конфигурации все накопители подключены к SATA-контроллеру материнской платы, тогда как конфигурацию можно расширить установкой SATA/SAS RAID-контроллера или HBA. Данное семейство лезвий хорошо подходит для построения облачных систем хранения данных.

Все материнские платы оснащены собственным контроллером удаленного управления, прошивка которого разрабатывается компанией «Т-Платформы». Программный стек удаленного управления а также базовый код UEFI-BIOS официально лицензируются у компании American Megatrends, Inc. В код вносятся все необходимые изменения, расширяющие функциональность, повышающие удобство эксплуатации и ускоряющие диагностику и сервисное обслуживание. Отдельное внимание уделяется вопросам совместимости с различным клиентским оборудованием и ПО, а также соответствия индустриальным стандартам и протоколам.

Контроллер удаленного управления предоставляет стандартную функциональность в рамках протокола IPMI 2.0, а также выделенный веб-интерфейс с полной информацией об аппаратной конфигурации сервера, установленных картах расширения и подключенных устройств хранения данных. Поддерживаются функции перенаправления графической консоли и монтирование удаленных накопителей.

Контроллер удаленного управления позволяет проводить коллективные операции, например, коллективное обновление прошивок, как BIOS, так и BMC, удаленная инвентаризация, считывание конфигурации BIOS и распространение этой конфигурации на множество узлов.

Поскольку основные компоненты V-Class по причине экономической целесообразности, производятся в Юго-Восточной Азии, важно отметить еще один момент. По желанию заказчика, особенно, если имеются повышенные требования к безопасности, «Т-Платформы» создает серверные лезвия на базе компонентов, произведенных в России.

Модульные серверные системы V-Class стоит рассматривать как в качестве строительных блоков для построения HPC-проектов различного масштаба так и в качестве платформы для консолидации серверов бизнес-приложений и облачных систем. Они востребованы, как организациями не ограничеными в пространстве и мощности, придающими большое значение централизация управления, так и небольшими датацентрами благодаря своей эффективности.

Сервера выгодно объединять в одном форм-факторе, так как совокупная эффективность подсистем охлаждения и питания значительно повышается, в сравнении с тем, если бы эти подсистемы выделялись отдельно на каждый сервер. Выигрыш может достигать 15% по сравнению с обычными серверами, что, в свою очередь, существенно снижает совокупную стоимость владения оборудования.