Суперкомпьютеры и их применение

 

Площади помещений:

 

• Вычислитель: 252 кв. м
• СБЭ (система бесперебойного электропитания): 246 кв.м.
• ГРЩ (главный распределительный щит): 85 кв. м.
• Климатическая система: 216 кв. м.

 

Энергопотребление:

 

• Пиковая мощность вычислителя (1,7 Tflops): 2,6 МВт
• Средняя мощность инфраструктуры: 740 КВт.
• Пиковая мощность инфраструктуры при внешней температуре 35 цельсия: 1,2 МВт
• Средняя суммарная мощность комплекса: 2,57 МВт
• Пиковая суммарная мощность комплекса (при 35 цельсия): 3,05 МВт.

 

 

Вычислительные узлы и сети

 

 

Группы вычислительных узлов:

Тип	Процессоры	Количество  ядер	Оперативная память, ГБ	Суммарное количество  процессоров	Суммарное количество  ядер	Количество  узлов
T-Blade2(УВ1)	2 x Intel® Xeon 5570 Nehalem	2 x 4	12	8 320	33 280	4 160
T-Blade1(УВ2)	2 x Intel® Xeon 5570 Nehalem	2 x 4	24	520	2 080	260
T-Blade2(УВ1)	2 x Intel® Xeon 5670 Westmere	2 x 6	24	1 280	7 680	640
T-Blade1(УВ2)	2 x Intel® Xeon 5670 Westmere	2 x 6	48	80	480	40
Узлы на базе  IBM® Cell (УВ3)	PowerXCell 8i	8	16	60	480	30

 

Все узлы в связаны  тремя независимыми сетями:

• Системная сеть - QDR InfiniBand, 40 Гбит/сек (схема)
• Сервисная сеть - Ethernet, 10 Гбит/сек, 1 Гбит/сек и 100 Мбит/сек (схема)
• Управляющая сеть - Ethernet, 10 Гбит/сек и 1 Гбит/сек (схема)
• Сеть барьерной синхронизации и сеть глобальных прерываний, Т-Платформы

 

 

Программное обеспечение

 

 

• Средства архивации данных: bacula 3 (Т-Платформы), StorNext (Quantum), NetBackup (Symantec)
• Передача файлов: SCP, SFTP
• Управление заданиями и ресурсами: SLURM 2.0
• Среды исполнения: OpenMPI 1.4, MVAPICH 1.1, IntelMPI 4
• Языки программирования: C/C++, Fortran 77/90/95
• Наборы компиляторов: Intel 12, GNU 4.4, Pathscale, PGI
• Средства отладки и анализа производительности: Intel® ITAC 12, grpof 4, Intel® vTune 4, Intel® Thread Checker, Acumem ThreadSpotter, IDB, Allinea DDT
• Системы контроля версий: SVN, GIT
• Языки сценариев: Perl, Python

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Суперкомпьютер "МВС-100K"

Назначение Общая структура "МВС-100K" Вычислительный модуль

Сетевые решения Программное обеспечение Работа с системой

Назначение

Суперкомпьютер (СК) "МВС-100K" предназначен для решения сложных научно-технических  задач.

Пиковая производительность СК составляет 227,94 TFlops.

Программные и аппаратные средства СК "МВС-100K" позволяют решать одну задачу с использованием всего вычислительного  ресурса, а также разделять решающее поле на части требуемого размера  и предоставлять их нескольким пользователям.

Общая структура "МВС-100K"

В состав технических  средств СК "МВС-100K" входят:

• решающее поле из 1275 вычислительных модулей (10572 процессорных ядер, 152 GPU);
• управляющая станция и узел доступа на базе двух процессоров Intel Xeon;
• коммуникационная сеть Infiniband DDR, построенная с использованием коммутаторов Voltaire и Cisco;
• транспортная сеть Gigabit Ethernet/10 Gigabit Ethernet;
• управляющая сеть Gigabit Ethernet;
• системная консоль;

Вычислительный модуль

Вычислительные модули СК "МВС-100K" построены на основе серверов HP Proliant. Всего используются модули четырёх разных типов:

• 990 узлов: два четырёхядерных микропроцессора Intel Xeon E5450, работающих на частоте 3 ГГц, объём оперативной памяти 8 ГБайт;
• 192 узла: два четырёхядерных микропроцессора Intel Xeon X5365, работающих на частоте 3 ГГц, объём оперативной памяти 8 ГБайт;
• 74 узла: два шестиядерных микропроцессора Intel Xeon X5670, работающих на частоте 2,93 ГГц, объём оперативной памяти 12 ГБайт;
• 19 узла: два шестиядерных микропроцессора Intel Xeon X5675, работающих на частоте 3 ГГц, восемь графических ускорителей Nvidia Tesla M2090, объём оперативной памяти 192 ГБайт;

Кроме того, все вычислительные узлы оборудованы:

• жёстким диском объёмом не менее 36 ГБайт;
• интерфейсной платой HP Mezzanine Infiniband DDR;
• двумя интегрированными контроллерами Gigabit Ethernet.

Сетевые решения

Вычислительные модули связаны  между собой высокоскоростной коммуникационной сетью Infiniband DDR, транспортной и управляющей  сетями Gigabit Ethernet.

Коммуникационная сеть Infiniband DDR предназначена для высокоскоростного обмена между ВМ в ходе вычислений. Сеть реализована двумя уровнями коммутаторов. Скорость двунаправленных обменов данными между двумя ВМ с использованием библиотек MPI находится на уровне 1400 Мбайт/сек. Латентность между двумя соседними узлами составляет 3.2 мкс, самыми дальними 4.5 мкс.

Транспортная  сеть Gigabit Ethernet предназначена для  соединения решающего поля с управляющей  станцией, параллельной файловой системой и файл-сервером.

Управляющая сеть, построенная с использованием технологии Gigabit Ethernet, предназначена для запуска программ на счёт вычислительными модулями, а также для передачи служебной информации о ходе вычислительного процесса и состоянии подсистем.

Программное обеспечение

Программное обеспечение "МВС-100K" поддерживает все этапы разработки параллельных программ, а также обеспечивает выполнение процессов обработки  данных на решающем поле. При выборе программного обеспечения использовался  принцип преемственности с системой "МВС-6000IМ" для облегчения переноса программ на новый кластер.

На "МВС-100K" установлено следующее  программное обеспечение:

• операционная система вычислительных модулей - ОС CentOS 5.6;
• программные средства коммуникационных сетей Infiniband, Ethernet;
• среда параллельного программирования - пакет MVAPICH;
• инструментальные программные средства разработки системного и прикладного программного обеспечения, включающие оптимизирующие компиляторы с языков Си, C++ (icc) и Фортран-77, 90 (ifc) фирмы Intel;
• математические библиотеки MKL фирмы Intel;
• система коллективного использования ресурсов СК - система управления прохождением пользовательских задач (СУППЗ), разработанная ИПМ РАН;
• программные средства удаленного доступа (ssh);

На кластере также установлены  средства профилирования параллельных программ, инструменты параллельного администрирования, управления и тестирования кластера, позволяющие осуществлять проверку состояния и диагностику узлов кластера, создание и модификацию пользовательских бюджетов на узлах кластера, параллельные операции над файлами и выполнение операций на всех узлах кластера.

Работа с системой

Взаимодействие удаленных пользователей  с СК осуществляется по протоколу ssh по адресу mvs100k.jscc.ru.

Компиляция  заданий осуществляется на узле доступа (mvs100k.jscc.ru). Выполнение заданий производится на остальных узлах кластера. Для планирования выполнения заданий используется подсистема коллективного доступа СУППЗ.

Для работы с системой можно временно использовать аналогичную документацию для "МВС-15000BM".