Поиск по публикациям и новостям

В пятой статье мы расскажем о важнейшем для компании проекте - суперкомпьютере JURECA, построенном для немецкого научного центра Юлиха. Здесь речь пойдет об условиях конкурса, особенностях решения и других организационных вопросах, связанных с созданием суперкомпьютера.

Это пятый материал из цикла, посвященного суперкомпьютерам и работе на этом рынке российской компании «Т-Платформы». Материалы созданы на основании интервью с Александром Голубом, директором департамента разработки «Т-Платформы», и Сергеем Клейменовым, главным специалистом по интеграции и внедрению, который занимал пост технического руководителя (так называемый «technical lead») проекта по строительству суперкомпьютера JURECA.

Оглавление

  1. Российский производитель суперкомпьютеров – компания «Т-Платформы»
  2. Как построить суперкомпьютер? Гонки технологий, сроки и скорость внедрения как решающий фактор
  3. Как построить суперкомпьютер? Свои технологии или покупные, собственная разработка плат как ключ к успеху, интеграция против разъемов и сложности производства в России
  4. «Т-Платформы» - крупнейшие проекты недавнего времени, другие направления деятельности
  5. Суперкомпьютер «Т-Платформы» в немецком суперкомпьютерном центре Юлиха
  6. Технические особенности суперкомпьютера JURECA производства «Т-Платформы»
  7. Программная часть суперкомпьютера JURECA, управление ресурсами, обслуживание и основные результаты проекта для «Т-Платформы».

 

Исследовательский центр Юлиха

Исследовательский центр Юлиха получил свое название по названию города Юлих в Германии, рядом с которым он расположен. Это крупный научный центр, занимающийся исследованиями в разных областях, в том числе по биологии (работа мозга), энергетике, экологии и др. Одним из подразделений является и специализированный суперкомпьютерный центр.

Задачи центра, требующие участия суперкомпьютера

Суперкомпьютеры центра используются для научных исследований в таких областях как квантовая физика, атомная физика и другие направления теоретической физики. Есть проекты в области астрофизики, биологии, есть проект по изучению и моделированию человеческого мозга, и др.

Большинство проектов связаны с научными исследованиями. Прикладных задач не так много, хотя они тоже встречаются. Один из интересных примеров прикладной задачи – создание алгоритмов для предсказания поведения толпы. Толчком к исследованиям послужила ошибка при строительстве стадиона в Дюссельдорфе: при экстренной эвакуации пропускной способности коридоров и узлов не хватало, начиналась давка. С помощью суперкомпьютера была создана и обкатана модель, которая отслеживает поведение людей в реальном времени и прогнозирует (до 7 минут в будущем), где может образоваться давка. После чего охрана может так перенаправить людские потоки, чтобы избежать опасности. Сейчас несколько групп исследователей работают над развитием и уточнением модели поведения толпы.

Новый суперкомпьютер для научного центра Юлиха

Суперкомпьютер JUROPA, который использовался в центре Юлиха до JURECA был построен в 2009 году на базе процессоров Intel Xeon X5570 (Nehalem-EP) quad-core с частотой 2,39 ГГц и полностью устарел как морально, так и физически. Суперкомпьютер с топовой производительностью в 308 терафлопс (по данным ТОП500 на июнь 2009, JURECA превосходит его по скорости в пять с половиной раз) устарел и морально – скорость вычислений не удовлетворяет современным требованиям, - и физически – участились отказы, а замену найти уже невозможно.

В объявленном конкурсе участвовали крупнейшие компании рынка. Финальный список участников конфиденциален, но заявки на конкурс подавали такие компании как Hewlett-Packard, Bull, Eurotec, Megware, Cray, Clustervision и другие.

Суперкомпьютерному центру Юлиха требовалась надежная и стабильно работающая рабочая система. Поэтому, хотя JURECA построен на современных технологиях, в его основу все же положены рабочие и обкатанные решения. А от ультрасовременных, но находящихся в стадии «бета-версий» технологий пришлось отказаться. Поэтому JURECA не стал самым мощным суперкомпьютером в Европе, хотя на сегодня он входит в пятерку самых производительных суперкомпьютеров Германии.

Долгое сотрудничество

Строительство JURECA стало крупнейшим, но не первым совместным проектом «Т-Платформы» и центра Юлиха. До этого стороны совместно работали над проектом по изучению целостности данных, динамических алгоритмов роутинга в шине Infiniband и других.

Один из успешных совместных проектов был посвящен так называемому «чек-пойнтингу» - созданию контрольных точек при вычислениях. Даже самый надежный кластер на застрахован от сбоя, при котором все результаты вычислений будут утеряны. Особенно неприятно, если сбой произошел в конце длинного цикла – получается, что все время (которое немало стоит) потеряно впустую. Чтобы этого не происходило, система в определенные моменты (когда цепочка вычислений и обмен данными между узлами завершены) делает бэкап содержимого памяти, кэшей и пр. Это дает возможность быстро восстановить состояние системы в случае сбоя и продолжить работу не с начала, а с момента последнего бэкапа. 

Наконец, «Т-Платформы» построили для центра Юлиха тестовую систему – фактически, суперкомпьютер в миниатюре из пары стоек. На ней немецкие заказчики смогли оценить особенности системы, оптимизировать ПО и т.д.

Факторы успеха

Впрочем, опыт сотрудничества – это лишь один из компонентов успеха. Решающий выбор в пользу предложения Т-Платформы был сделан за счет нескольких факторов.

Во-первых, за счет модульной структуры серверов последнего поколения «Т-Платформы» могли очень гибко менять конфигурацию, подстраивая ее под требования и предпочтения немецких заказчиков. Например, только «Т-Платформы» смогли обеспечить использование последнего поколения технологии Infiniband EDR, которое на момент конкурса еще даже не вышло на рынок. Подробнее о ней мы поговорим чуть ниже.

Во-вторых, использование самых современных технологий. Например, тестовую систему собрали на последнем поколении Intel Xeon, которое тогда только-только официально вышло на рынок и у конкурентов еще не присутствовало. А для JURECA «Т-Платформы» смогли предложить систему с немного более высоким уровнем производительности, чем конкуренты, при той же цене. Впрочем, разница была невелика, и в отсутствие других факторов не стала бы решающей.

Наконец, важную роль сыграла готовность компании «Т-Платформы» к дальнейшему сотрудничеству. Суперкомпьютеры в центре Юлиха меняются раз в пять-шесть лет, но в процессе работы что-то постоянно модернизируется, оптимизируется и т.д. Постоянно развивается ПО, а для этого необходимо, чтобы поставщик системы дорабатывал свою часть – стек управляющего промежуточного ПО (Middleware), которое занимается управлением ресурсами.

Согласен с правилами
Комментировать

Сейчас на главной

14 апр. 2025 г., 02:39:29
Ирина НИКУЛИНА: «EKF Impulse – это комплексный подход к проектированию, развертыванию и эксплуатации зарядной инфраструктуры»

Ирина Никулина, руководитель направления Электрозаправочные станции компании «Электрорешения» (представитель бренда EKF в России) отвечает на вопросы аналитического отдела iXBT.pro.

1 апр. 2025 г., 09:47:22
Линейно-интерактивный ИБП Ippon Pacific 1000: стабильная энергия для малого бизнеса

ИБП Ippon Pacific 1000 — устройство, которое отлично вписывается в сценарии использования, характерные для совсем небольшого офиса или рабочих мест предпринимателей-фрилансеров. Устройство эффективно защищает подключенное оборудование от перепадов напряжения и кратковременных отключений электропитания. Диапазон доступных настроек достаточен для разных сфер применения, ИБП будет одинаково уместно смотреться и на рабочем месте фрилансера, и в составе серверной стойки.

29 мар. 2025 г., 22:14:16
«Полигон»: оборудование для ИТ-инфраструктуры

Мероприятие научно-производственного предприятия «Полигон», ведущего российского производителя сетевого оборудования. В рамках встречи Иван Лялин, коммерческий директор ООО «ТВК Инзер» (ГК АО НПП «Полигон»), рассказал о структуре компании, разработках, особенностях производства, а также работе с партнёрами.

10 мар. 2025 г., 20:36:49
Проверьте вашу мотивацию движения к цели

Продолжаем разговор о технологии достижения результата.

6 мар. 2025 г., 11:46:57
IT-эксперт о потерянных $1,46 млрд Bybit: как технически стало возможным крупнейшее в истории крипто-ограбление

Криптовалютный рынок продолжает привлекать внимание как инвесторов, так и злоумышленников. Недавно произошел громкий инцидент в сфере безопасности, который поставил под угрозу репутацию одной из крупнейших криптобирж в мире — Bybit. По оценкам экспертов, хакеры смогли украсть рекордные $1,46 млрд. Это событие стало самой масштабной цифровой кражей в истории.

27 февр. 2025 г., 15:08:11
Российский рынок корпоративного ПО: перспективы роста и ключевые тренды

Российский рынок корпоративного программного обеспечения демонстрирует уверенный рост, который, согласно исследованию консалтинговой компании Strategy Partners, в среднем составит 24% ежегодно до 2030 года. В результате его объем превысит 700 млрд рублей, а общая емкость ИТ-рынка может достигнуть 7 трлн рублей. Ключевыми факторами роста остаются цифровая трансформация бизнеса, импортозамещение и активная государственная поддержка отрасли

20 февр. 2025 г., 21:40:23
Новости линейки IP-телефонов Flat-Phone

Мероприятие «Флат-ПРО», российского разработчика программно-аппаратных решений в области связи. Встреча посвящена итогам первого года продаж IP-телефонов компании, продуктовой линейке устройств «Флат-ПРО», а также планам и перспективам её развития в 2025 году.

17 февр. 2025 г., 17:44:19
PT NAD и PT Sandbox - защита от целевых атак

Мероприятие серии «ПРОдемо:Лаборатория программных решений» — специального проекта команды OCS Soft. В рамках встречи Дмитрий Щербатюк, пресейл-эксперт по информационной безопасности OCS, рассказал о системе поведенческого анализа сетевого трафика для обнаружения скрытых кибератак PT NAD и экспертной песочнице для защиты от сложного вредоносного ПО и угроз нулевого дня PT Sandbox.

13 февр. 2025 г., 12:06:48
Формула изменений: проверьте себя на готовность к изменениям

Продолжаем разговор о технологии достижения результата. В первой статье мы говорили об алгоритме постановки цели, который соответствует данным нейрофизиологии. Надеюсь, вам удалось качественно сформулировать свою актуальную цель.

6 февр. 2025 г., 19:36:17
Максим БРЫКСИН: "Эстетика, технологичность, последние тренды – как все это совместить в крупной бытовой технике»?

Актуальная задача для производителя, предлагающего свои продукты для пользователя и его дома, – предоставить максимально комфортные решения, которые не только упростят жизнь, но и подарят наслаждение от его использования. Какие новые решения могут быть реализованы у вас дома и помогут по-новому организовать ваше время и пространство рассказал Максим Брыксин, менеджер по продукту компании Midea.

30 янв. 2025 г., 14:43:18
Синергия железа и ПО: что появилось в результате партнерства двух крупных игроков российского рынка ИТ

С цифровизацией бизнеса и госуправления каждый год растут объемы обработки данных и потребности в ресурсах для их хранения. Российские вендоры благодаря наработанному опыту и профессиональным командам разрабатывают и производят передовые отечественные решения.

27 янв. 2025 г., 01:12:37
Как правильно сформулировать вашу актуальную цель, чтобы мозг понимал вас

Тема постановки цели и достижения результата очень популярна сейчас. И это не только модное веяние времени. Деятельность человека целенаправленна. Так звучит одна из аксиом науки праксеологии – теории о человеческой деятельности. Существует масса рекомендаций о постановке целей. Как понять, к каким советам нужно прислушаться?