Это первый материал из цикла, посвященного суперкомпьютерам и работе на этом рынке российской компании "Т-Платформы". Материалы созданы на основании интервью с Александром Голубом, директором департамента разработки "Т-Платформ", и Сергеем Клейменовым, главным специалистом по интеграции и внедрению, который занимал пост технического руководителя (так называемый "technical lead") проекта по строительству суперкомьютера JURECA.

Оглавление

1. Российский производитель суперкомпьютеров – компания «Т-Платформы»
2. Как построить суперкомпьютер? Гонки технологий, сроки и скорость внедрения как решающий фактор
3. Как построить суперкомпьютер? Свои технологии или покупные, собственная разработка плат как ключ к успеху, интеграция против разъемов и сложности производства в России
4. «Т-Платформы» - крупнейшие проекты недавнего времени, другие направления деятельности
5. Суперкомпьютер «Т-Платформы» в немецком суперкомпьютерном центре Юлиха
6. Технические особенности суперкомпьютера JURECA производства «Т-Платформы»
7. Программная часть суперкомпьютера JURECA, управление ресурсами, обслуживание и основные результаты проекта для «Т-Платформы».

Основным направлением деятельности компании "Т-Платформы" является создание суперкомпьютеров как в России, так и за рубежом, хотя сейчас компания активно работает и на других направлениях, в первую очередь это создание и продажа серверов общего назначения, созданных на базе суперкомпьютерных технологий.

Одна из основных особенностей компании состоит в том, что в "Т-Платформах" самостоятельно разрабатывают дизайн шасси, платформ и даже материнских плат и плат расширения (что требует хорошего знания элементной базы и взаимодействия с производителями чипов), а также самостоятельно пишут все управляющее ПО, начиная от микропрограммы для контроллера управления серверной платой (BMC), BIOS-а, плат управления шасси и заканчивая программами для управления ресурсами суперкомпьютеров.

Что такое суперкомпьютеры и зачем они нужны?

Суперкомпьютер представляет собой систему с чрезвычайно высокой вычислительной производительностью, основная сфера применения этих систем - математическое моделирование физических, биологических и любых других процессов. Переход на использование суперкомпьютеров для задач моделирования - это выход на новый уровень по скорости и эффективности разработки, поэтому количество научных коллективов и частных компаний, использующих в своей работе суперкомпьютеры, постоянно растет.

Моделирование с помощью суперкомпьютеров применяется в самых разных проектах, как чисто научных (моделирование природных процессов, исследования космоса, моделирование ядерных взрывов, исследования в области биологии, включая моделирование работы органов человека, фармакологии, и во многих других областях), так и вполне прикладных - например, обкатка новой модели двигателя для автомобиля, моделирование процессов деформации, температурных режимов и пр. Также суперкомпьютеры значительно ускоряют решение задач численными методами.

Время - деньги, или почему ускорение зачастую важнее, чем удешевление

В современном мире время играет не меньшую, а иногда и большую роль, чем деньги. Иногда время вообще становится единственным решающим фактором: если продукт или технология не появились на рынке в нужный срок, то они уже никому не нужны, даже если по остальным направлениям все выглядит неплохо. Математическое моделирование и численные методы стали одним из способов радикально сократить затраты времени и денег на разработку новых технологий и продуктов.

Традиционная физическая модель для продува. Источник

Например, одним из самых сложных и дорогостоящих процессов при создании нового самолета является разработка оптимального планера. Раньше для этого приходилось вручную строить десятки моделей, а потом продувать их в аэродинамической трубе. Компьютерное моделирование позволяет сравнить разные варианты, найти оптимальный и "довести" его, не прибегая постройке моделей и натурным испытаниям. Еще больше выгод компьютерное моделирование предлагает в ситуациях, когда есть несколько вариантов решения и заранее непонятно, какой из них лучше.

Компьютерная модель самолета для анализа внешних воздействий. Источник

К компьютерной модели можно всегда вернуться, чтобы оценить, как она будет вести себя в других условиях эксплуатации. Например, посмотреть, как ракетный двигатель будет работать на другом виде топлива - без создания дорогой и сложной натурной модели.

Пример ПО для расчета аэродинамики. Источник

Наконец, компьютерное моделирование не просто ускоряет разработку отдельного проекта - оно позволяет накапливать новые знания, уточнять параметры взаимодействия моделей и окружающей среды, создавая задел на будущее. Будущие модели будут точнее и лучше, а реализация проектов - быстрее и дешевле.

Источник: Wikipedia

На сегодня компьютерное моделирование успешно применяется в самых разных отраслях экономики. Например, в геологии суперкомпьютер с помощью специализированного ПО для геологических расчетов позволяет с достаточно высокой точностью оценивать объемы месторождений, планирование добычи и пр. Другой вопрос, что математическое моделирование - это инструмент, а направление и эффективность его использования зависит от тех, кто этим инструментом пользуется. Например, есть общеизвестный пример: использование компьютерного моделирования позволило автопроизводителям более точно рассчитывать износ узлов и агрегатов автомобиля, точно устанавливая срок его службы и вынуждая потребителей покупать новую модель.

Кто использует моделирование с помощью суперкомпьютеров

Компьютерное моделирование широко применяется подавляющим большинством компаний, занимающихся разработкой новых технологий и продуктов, а количество специализированного ПО для моделирования на все случаи жизни достаточно велико. Правда, даже сегодня многие компании не осознают до конца преимуществ высокопроизводительных систем и не исследуют возможности их использования для своих задач. Много где моделирование до сих пор осуществляется на рабочих станциях, из-за чего выполнение проектов занимает довольно много времени.

ПО для моделирования ракет. Источник

Сегодня ресурсы суперкомпьютеров в значительной степени используются для решения научных задач, а главным заказчиком является научное сообщество. Суперкомпьютеры обслуживают научные расчеты в огромном количестве самых разных областей науки, таких как биотехнологии (например, это одно из популярных направлений для суперкомпьютеров в МГУ), фармацевтика, фармакология, аэродинамика и авионика, гидродинамика и кораблестроение, двигателестроение, ракетные двигатели и ракетные технологии, энергетика, добыча полезных ископаемых и огромное количество других направлений.

ПО для работы с генетической информацией ДНК. Источник

Сверхсовременный компьютер "Ломоносов-2", построенный компанией "Т-Платформы" для МГУ, постоянно занят, как и ранее построенный, но остающийся в строю "Ломоносов" - к ним стоит внушительная очередь на расчеты из научных проектов. Примерно та же картина и для других суперкомпьютеров - как у нас, так и в западных странах.

Впрочем, преимущества суперкомпьютера раскрываются в решении крупных прикладных и научных задач. Для распространенных прикладных задач существует специализированное ПО: пакеты ANSYS, Solidworks (эти компании имеют большое количество продуктов под решение разных задач), Abaqus, Deform 3D, Flow Vision, Open FOAM, Autodesk Simulation и многие другие. Разные продукты оптимизированы под решение разных типов задач, некоторые производители поддерживают широкую линейку продуктов, некоторые сосредотачиваются на определенных направлениях.

А вот при решении задач в рамках научных исследований ПО для расчетов часто приходится разрабатывать самостоятельно.

Пример расчета аэродинамики в ПО ANSYS. Источник

Также нужно понимать, что суперкомпьютер - очень дорогая игрушка, и следует трезво оценивать экономическую эффективность его использования. Строить свой собственный суперкомпьютер имеет смысл, если у компании постоянно есть задачи и проекты, требующие значительных вычислительных ресурсов. Например, Росгидромету для моделирования погодных условий постоянно требуются вычислительные ресурсы, и в этом случае вполне логично иметь собственное решение. Если же серьезные вычислительные ресурсы нужны время от времени, то более выгодно брать эти ресурсы в аренду.

Рынок суперкомпьютеров - уникальный рынок со своими технологиями, продуктами и решениями

Рынок суперкомпьютеров заметно отличается от рынка серверов общего назначения: здесь используются свои уникальные технологии, свои технические решения, свои серверные платформы и конфигурации, свои виды интерконнекта (связь между серверами) и т.д.

Средний размер системы на этом рынке относительно небольшой: проект в 1000 блейд-систем считается крупным. Но при этом каждый проект имеет свои уникальные особенности, потому что практически везде заказчик выдвигает особые требования: специфические конфигурации, особые виды интерконнекта, своя конструкция стоек, своя конфигурация СХД, особенности помещения и т.д. В результате, каждый проект требует отдельной работы архитекторов и инженеров кластерных решений, которые создают проект с учетом специфики заказчика.

Суперкомпьютер JURECA - один из самых мощных проектов "Т-Платформ".

Кроме того, проекты часто требуют решения различных инженерных задач. В первую очередь это создание инженерных систем для обеспечения работы суперкомпьютера, в первую очередь надежного энергоснабжения и охлаждения. Очень часто требуется адаптировать эти системы (а иногда и вычислительные системы) под особенности помещения.

В "Т-Платформах" есть специалисты, работающие с инженерными системами. Впрочем, они относятся к проектному отделу, а Александр Голуб руководит подразделением разработки. По его словам, он отвечает за создание "кирпичей, из которых строят суперкомпьютеры" - т.е. за разработку и запуск в производство вычислительных серверов и других аппаратных компонентов - плат расширения и пр.

Впрочем, уникальные особенности проекта редко составляют более 15% от общего объема работ. Выбор на рынке все же ограничен, поэтому с подавляющим большинством технологий, продуктов и решений, присутствующих на рынке, специалисты компании уже знакомы, так как сталкивались раньше. Хотя изредка, когда речь идет о совсем экзотических или ультрасовременных технологиях, приходится брать их отдельно и устраивать дополнительное тестирование на своих мощностях, чтобы понять, что это и как оно работает.

На сегодня компанией "Т-Платформы" накоплен огромный объем знаний и опыта, которые позволяют ей оставаться одним из лидеров рынка суперкомпьютеров.