Суперкомпьютеры в России

СИСТЕМА ХРАНЕНИЯ ДАННЫХ

В состав суперкомпьютера  «Ломоносов» включена трехуровневая система хранения данных: система хранения данных на основе высокоскоростных дисковых хранилищ T- Platforms SAN 7998 суммарным объемом 500 ТБайт под управлением параллельной файловой системы Lustre, скоростное дисковое хранилище повышенной надежности объемом 300 Тбайт, а также роботизированную ленточную библиотеку объемом 1Пбайт.

СПЕЦИАЛИЗИРОВАННОЕ ПРОГРАММНОЕ

ОБЕСПЕЧЕНИЕ

 

Задачу ускорения реальных приложений в суперкомпьютере

«Ломоносов» решают не только аппаратные технологии,

но и новое системное  ПО. Для централизованного

администрирования столь  мощных систем и эффективного

использования их мощности холдинг  «Т-Платформы»

разработал семейство  специальных программных решений

ClustrX. Все решения ClustrX разработаны на базе единого

программного кода. В них  реализован весь функционал,

необходимый системным администраторам и пользователям

вычислительных комплексов. Применение решений

ClustrX позволяет быстро сконфигурировать вычислительный

комплекс и централизовано управлять им. ClustrX ОС устраняет

критические ограничения  масштабируемости, присущие

современным операционным системам, обеспечивая более

эффективное использование  ресурсов крупных инсталляций.

Пакет ClustrX содержит все необходимые компоненты для

управления суперкомпьютером и организации удобного

доступа пользователей к  системе. ClustrX обеспечивает

ежесекундный мониторинг до 150 метрик на каждом

вычислительном узле, использует технологии агрессивного

энергосбережения и автоматического  реагирования на

критические ситуации.

 

ОТКАЗОУСТОЙЧИВОСТЬ

 

Добиться требуемого уровня отказоустойчивости позволило

резервирование всех критических  подсистем и компонентов

суперкомпьютерного комплекса  – от вентиляторов и блоков

питания в вычислительных узлах до систем электропитания и

охлаждения. Высокую надежность blade-систем обеспечивает

отсутствие кабельных  соединений и жестких дисков внутри

шасси, а также целый  ряд конструктивных решений, таких  как

специально разработанные  разъемы для модулей памяти.

ИНЖЕНЕРНАЯ

 

«Ломоносов» надёжно защищён  от возможных

сбоев в энергосистеме. В  случае аварии на

внешних линиях энергоснабжения источники

бесперебойного питания  обеспечат полноценную

работу компьютера на время, гарантирующее

корректное завершение всех программ

и сохранение данных. КПД  источников

бесперебойного питания  составляет около 97%, в

то время как в системах подобного масштаба эта

характеристика обычно составляет не более 92%.

Из-за высокой вычислительной плотности от

одного шкафа с оборудованием  необходимо

отводить до 65кВт тепла  – больше, чем во

многих других вычислительных центрах мира.

Для этого инженерам компании «Т-Платформы»

пришлось разработать  особую систему

теплоотвода. Суперкомпьютер охлаждается

и за счет сложной инфраструктуры, которая

занимает в общей сложности  около 500

квадратных метров внутри и снаружи здания.

Для охлаждения системы используется режим

“free-cooling”: при низких температурах уличного

воздуха водоохлаждающие агрегаты частично

или полностью отключают  работу компрессоров,

что позволяет значительно  экономить

электроэнергию – в  российских условиях система

охлаждения около полугода почти не потребляет

электричество.

Серьёзное внимание разработчики уделили

системе противопожарной  безопасности.

Здесь тоже не обошлось без  инноваций –

автоматическая система  пожаротушения

суперкомпьютера использует специальный газ.

В случае возгорания, он равномерно заполняет

помещение и ликвидирует пожар, не повреждая

при этом дорогое оборудование. При этом, газ

не токсичен и абсолютно безвреден для людей и

животных.

ПРИМЕНЕНИЕ

 

Развитие вычислительной техники и методов математического

моделирования предоставляет  уникальную возможность для

перевода промышленного  производства и научных исследований

на качественно новый  уровень. Для промышленности это  означает

повышение конкурентоспособности  продукции на мировом рынке, а

для науки — завоевание российскими учеными лидирующих позиций.

Таким образом, применение высокопроизводительных вычислений в

интересах отечественной  науки и промышленности является одним из

важных шагов на пути к  инновационной экономике.

 

Нефтегазовая промышленность, машиностроение, строительство,

фармацевтика, фундаментальные  задачи физики, химии,

нанотехнологий и генетики, прогноз погоды и глобального изменения

климата — вот лишь малая  часть областей, активному развитию

который может способствовать применение суперкомпьютеров.

Суперкомпьютерные комплексы  МГУ используются для реализации

фундаментальных и прикладных проектов, в которых ученые

Московского университета сотрудничают с множеством научных

коллективов по всей стране и за рубежом.

 

Исследования климата

 

Важной проблемой современной  науки является оценка будущих

изменений климата и их последствий для окружающей среды.

Наиболее перспективным  средством получения таких оценок являются

математические модели климатической  системы, которые включают

описание широкого круга  физических, химических и биологических

процессов, происходящих в  атмосфере, гидросфере, криосфере и

биосфере. По пространственному  масштабу климатические модели

разбивают на три класса: глобальные, региональные и локальные.

В международном проекте  изучения глобальных моделей Россия

представлена проектом ИВЦ РАН. С моделью этого проекта

проведены многочисленные расчеты  изменений климата в 21 веке

– например, роста среднегодовой  температуры в том или ином

регионе - при различных сценариях выбросов парниковых газов

в атмосферу. Региональные климатические  модели важны для

планирования социально-экономического развития регионов. В

Научно-исследовательском  вычислительном центре МГУ развивается

региональная атмосферная  модель, которая позволяет рассчитывать

динамику атмосферы вплоть до масштабов отдельных мощных кучевых

облаков. С помощью локальных  моделей климата изучают ветровые

потоки, которые играют существенную роль в жизни современного

города. Сильный порывистый ветер, образующийся между высотными

зданиями, приводит к многочисленным неприятным последствиям,

которых можно избежать, если спрогнозировать ветровые потоки на

этапе застройки нового района. Такой прогноз можно осуществить на

основе вихреразрешающей модели, развиваемой в ИВМ РАН и НИВЦ

МГУ.

Медицина

 

Одной из самых важных задач  современной медицины,

решающихся с помощью  суперкомпьютеров, ведущие

биологи и врачи считают  разработку лекарственных

препаратов. Начальный этап работ упрощается за счет

применения методов компьютерного  молекулярного

моделирования, что позволяет  предсказывать новые

органические молекулы, которые  будут наиболее

эффективно и избирательно связываться с активными

центрами исследуемых  белков. В частности, совместная

работа МГУ и Гематологического  научного центра РАМН

была посвящена разработке нового патентночистого

синтетического ингибитора тромбина – причины смертельно

опасного тромбоза. Моделирование  позволило существенно

сократить затраты на разработку лекарства: из 6000

перспективных соединений выбрали  только самые

лучшие, и вместо синтеза  и измерений активности из всех

6000 соединений при использовании  обычного метода

экспериментального перебора синтезировали всего 20,

чтобы найти новый ингибитор. Таким образом, применение

суперкомпьютеров для  разработки новых лекарств ускоряет

стадию разработки в среднем  до двух лет вместо восьми,

удешевляет разработку в 10-100 раз, создает основу для

регулярной конвейерной  разработки новых лекарств и

помогает снизить их стоимость.

 

Нанотехнологии

 

При разработке нанотехнологий компьютерное

моделирование способно сыграть  ведущую роль. Далеко

не все процессы, происходящие на атомарном уровне,

возможно изучить через физический эксперимент: все чаще

и чаще для интерпретации  данных экспериментов и более

глубокого понимания причин процессов, происходящих

в наносфере, ученые используют моделирование. В

результате ученые получают возможность конструирования

искусственных соединений с  заданными свойствами и

функциями. Например, с помощью  методов молекулярной

динамики ученые МГУ изучают  новый перспективный

класс соединений, обладающих полупроводниковыми

свойствами и в тоже время способных к самоорганизации

в так называемые «нанофибриллы», или «нанопровода».

Атомистическое моделирование  позволяет понять структуру,

свойства и принципы самоорганизации  этих нанофибрилл.

Благодаря уникальной способности  этих соединений к

самоорганизации, создание гибридных биосинтетических

структур может вывести  процесс создания наноэлектронных

устройств на принципиально  новый уровень.

ОСНОВНЫЕ

СУПЕРКОМПЬЮТЕРА

 

Пиковая производительность

 

Число вычислительных узлов x86/GPU

 

Число процессоров x86

 

Число процессорных ядер x86/GPU

 

Число типов вычислительных узлов

 

Основной тип вычислительных узлов

 

Процессор основного типа

вычислительных узлов

 

Оперативная память

 

Занимаемая площадь (вычислитель)

 

1.7 Пфлопс

 

5 104 / 1 065

 

12 346

 

52 168 / 954 840

 

8

 

TB2-XN

 

Intel® Xeon X5570 / X5670

 

83 ТБ

 

252 м²

 

Энергопотребление вычислителя

 

Интерконнект

 

Система хранения данных

 

Операционная система

 

2,6 МВт

 

QDR InfiniBand

 

Трехуровневая с параллельной

файловой системой хранения

данных

 

ClustrX T-Platforms Edition

На момент завершения строительства  в марте 2008 года суперкомпьютер «МГУ Чебышев» стал самым мощным вычислительным комплексом в России, странах СНГ  и Восточной Европы. Пиковая производительность суперкомпьютера, построенного на базе 1250 четырехъядерных процессоров Intel® Xeon® E5472, составила 60 Тфлопс. Реальная производительность системы на тесте Linpack - 47,17 Тфлопс (78,6% от пиковой), что стало лучшим показателем эффективности среди всех систем первой сотни списка Тор500 самых мощных компьютеров мира на базе четырехъядерных процессоров Intel Xeon (www.top500.org). «МГУ Чебышев» на момент завершения строительства занял 36 место мирового рейтинга Тор500. Вычислительный комплекс «МГУ Чебышев» используется Научно-исследовательским вычислительным центром Московского государственного университета им. М.В. Ломоносова (НИВЦ МГУ) для прогнозирования изменений в распределении вечной мерзлоты на территории России. Это позволит предсказать развитие возможных последствий глобального потепления. Кроме того, огромных вычислительных ресурсов требуют задачи в области молекулярной биологии. Благодаря высокопроизводительным вычислениям специалистам НИВЦ МГУ менее чем за полтора года удалось найти несколько новых соединений для создания лекарства от смертельно опасных тромбозов и пройти путь от их синтеза и лабораторных исследований до предклинических испытаний.

В 2009 году компания «Т-Платформы» по заказу Московского Государственного Университета путей сообщения (МИИТ) построила суперкомпьютер «МИИТ  Т-4700», ставший самым мощным в  России вычислительным комплексом на базе процессоров AMD Opteron™ 2356 (Barcelona). Наряду с автоматизацией управления университетов, эта система позволила выполнять сверхсложные инженерные расчеты. Пиковая производительность суперкомпьютера «МИИТ T-4700» - 4,7 Тфлопс, а рабочая, показанная на тесте Linpack - 3,89 Тфлопс (82% от пиковой). На момент завершения строительства этот суперкомпьютер занял 21 место в рейтинге самых мощных компьютеров России и СНГTop50. Исследователи и разработчики МИИТа используют суперкомпьютер для решения таких задач, как расчет устойчивости опор моста, определение динамики и прочности ходовых частей поездов, моделирование транспортных потоков, проектирования зданий, тоннелей и других сооружений.