Элементная  база — микросхемы сверхвысокой степени  интеграции.

    Можно ли как-то точно определить, что есть суперкомпьютер, а что есть высокопроизводительная установка? Ученые и специалисты спорят о критериях до сих пор. Но в одном нет сомнения: если в каждый момент времени взять 500 самых мощных машин мира, то все специалисты согласятся, что их можно смело называть суперкомпьютерами. Так что, вполне можно придерживаться такого определения. 
 
C 1993 года в мире ведется рейтинг пятисот самых мощных компьютеров — TOP-500 http://www.top500.org. Рейтинг обновляется 2 раза в год — в июне и ноябре. На сайте TOP-500 есть база данных всех выпусков рейтинга с 1993 года, есть очень удобные средства поиска http://www.top500.org/sublist/ в этой базе данных. Легко, например, узнать, сколько суперкомпьютеров было в такой-то стране за весь период существования рейтинга или в тот или иной год. Легко узнать, сколько суперкомпьютеров попало в этот список (за все годы существования рейтинга, или в определенный год) от некоторого производителя: IBM, HP, и т.д. Можно узнать, сколько было отечественных разработок. Поскольку наши производители еще не такие именитые, как IBM, в графе «Производитель» их помечают словами «собственная разработка» — «self-made». 

    Чем суперкомпьютеры отличаются по устройству от простых (персональных) компьютеров? Каковы их архитектурные особенности? Сегодня все суперкомпьютеры — это мультипроцессорные системы, т.е. это системы, в которых не один и не два процессора (как в большинстве персоналок), а очень много — сотни, тысячи, до десятка тысяч. Архитектура у суперкомпьютеров бывает разная: векторная, конвейерная и др. Но на сегодняшний день самая популярная архитектура суперкомпьютеров (72% в списке TOP-500) — кластеры. Кластерная архитектура подразумевает создание суперкомпьютера по следующей схеме: 
 
-Берутся так называемые вычислительные узлы — самые обычные компьютеры, как и у простых пользователей. Вот только процессоров в узле обычно несколько: от 2-х до 8-ми. Если не вдаваться в детали, то можно сказать, что используются комплектующие, широко доступные на рынке: обычные (SMP-мультипроцессорные) материнские платы, обычные процессоры (от Intel, от AMD или от IBM и т.п.), память, диски. 
-Как правило, все эти комплектующие собираются в специальном корпусе, в компактном исполнении, в компактном форм-факторе. Обычно это выглядит так, как будто привычную персоналку "раскатали в тонкий (порядка 3 см) блин". 
-Затем берется большое количество таких узлов — сотни и даже тысячи. Узлы устанавливаются в специальные шкафы и соединяются между особой сверхбыстрой сетью, которая используется для организации параллельного счета. Иногда для этого используют широкодоступные сетевые технологии, например, Gigabit Ethernet. Однако когда речь идет о серьезном подходе к суперкомпьютеру, то используют особые сетевые решения, специальную сеть для оптимальной организации параллельного счета: InfiniBand, SCI, Myrinet и др. 
 
Кроме этой «сети для счета», обычно узлы связывают еще одной сетью — для передачи данных и программ. Здесь уже используют, как правило, обычные сетевые технологии (сегодня это, как правило, Gigabit Ethernet). 
Более того, часто в суперкомпьютере бывает и третья, одельная управляющая сеть, которая регулирует такие вопросы как включение-выключение электропитания, Reset отдельных узлов, вышедших из повиновения и т.д. 
 
Конструктивно все это выглядит довольно внушительно. Даже если мы рассматриваем суперкомпьютеры с 100 до 500-го места списка TOP-500, то это от 2-х до 10-ти шкафов, в которые компактно упакованы вычислительные узлы. Первая сотня в списке TOP-500 — это десятки шкафов оборудования. А машины из первой десятки списка TOP-500 занимает огромное помещение, заставленное сотней шкафов. Иногда для таких машин даже строят специальное здание, как это было для известного японского суперкомпьютера Earth Simulato. Сегодня он занимает седьмое место в Top500, а ранее долгое время (с ноября 2001 по июнь 2004 года, шесть выпусков рейтинга Top500!) он был самым мощным суперкомпьютером в мире. 
 
 
Рис.1 Японский суперкомпьютер Earth Simulator (3-ий этаж компьютера) 
 
В этом здании на первом этаже располагается электростанция, поскольку Earth Simulator потребляет шесть мегаватт электроэнергии. Второй этаж занимают только коммуникации — кабельные сети. Третий этаж заставлен полностью шкафами с оборудованием. Размеры каждого этажа 65х50 метров, высота — 7 метров. 
А, скажем, наш самый мощный суперкомпьютер отечественной разработки «СКИФ К-1000», который представляет собой 8 шкафов (которые занимают около 5 кв.м), 288 вычислительных узлов, 576 процессоров, для своего размещения требует помещения в 20 кв. метров. Кроме узлов в шкафах тянутся 2,5 километра кабеля с примерно 2000 разъемов, которые надо было, ничего не напутав, правильно подсоединить. Потребляет эта установка 89 киловатт. 
Несколько слов о том, что такое производительность суперкомпьютера. Измеряется она в количестве вычислительных арифметических операций, выполняемых суперкомпьютером за одну секунду. Современные суперкомпьютеры способны выполнять миллиарды (GFlops) и триллионы операций в секунду (TFflops). 

Суперкомпьютер  «Ломоносов»

Технические характеристики суперкомпьютера "Ломоносов"

    Суперкомпьютер  «Ломоносов» - первый гибридный суперкомпьютер такого масштаба в России и Восточной Европе. В нем используется 3 вида вычислительных узлов и процессоры с различной архитектурой. Перед установкой в МГУ им. М.В. Ломоносова система прошла тщательное тестирование на производстве компании «Т-Платформы». В качестве основных узлов, обеспечивающих свыше 90% производительности системы, используется инновационная blade-платформа, получившая название T-Blade2. По вычислительной плотности на квадратный метр занимаемой площади – 30Тфлопс/м2 – эта система превосходит все мировые аналоги. T-Blade2 на базе процессоров Intel® Xeon X5570 обеспечивает производительность 18TFlops в стандартной стойке высотой 42U. В суперкомпьютере также задействованы blade-системы T-Blade 1.1 с увеличенным объемом оперативной памяти и локальной дисковой памятью для выполнения специфических задач, особенно требовательных к этим параметрам системы. Третий тип узлов – платформы на базе многоядерного процессора PowerXCell 8i, использующиеся в качестве мощных ускорителей для ряда задач. Все три типа вычислительных узлов были разработаны компанией «Т-Платформы».

    Платформа T-Blade2 была сконструирована инженерами «Т-Платформы» «с нуля» - все платы  и механические компоненты являются собственными разработками компании. T-Blade2 выходит за рамки традиционных возможностей blade-систем. Новая платформа позволяет создавать суперкомпьютеры высшего диапазона производительности, не уступающие специализированным нестандартным вычислителям с массивно-параллельной архитектурой (MPP).

    Суперкомпьютеры на базе T-Blade2 обеспечивают высокую эффективность реальных приложений за счет принципиально новых технологий, таких как выделенные сети барьерной синхронизации и глобальных прерываний. Они позволяют за минимальное время синхронизировать вычислительные процессы на отдельных узлах и ускорить обмен данными между процессорами.

    В качестве системной сети, связывающей  узлы суперкомпьютера «Ломоносов», используется интерконнект QDR Infiniband с  пропускной способностью до 40Гб/сек. Для  максимально бесконфликтной передачи данных в интегрированных коммутаторах InflniBand предусмотрено избыточное количество внешних портов: их суммарная пропускная способность составляет 1,6Тбит/сек.

    Система хранения данных

    Суперкомпьютер  использует трехуровневую систему  хранения данных суммарным объемом до 1 350ТБ с параллельной файловой системой Lustre. Система хранения данных обеспечивает одновременный доступ к данным для всех вычислительных узлов суперкомпьютера с агрегированной скоростью чтения данных - 20Гб/сек и агрегированной скоростью записи - 16Гб/сек.

    Специализированное  программное обеспечение

    Суперкомпьютер  работает под управлением пакета Clustrx - разработки компании T-Massive Computing, входящей в состав холдинга «Т-Платформы». Clustrx ОС устраняет критические ограничения  масштабируемости, присущие современным операционным системам, обеспечивая более эффективное использование ресурсов крупных инсталляций размером до 25000 узлов. Пакет Clustrx содержит все необходимые компоненты для управления суперкомпьютером и организации удобного доступа пользователей к системе. Clustrx обеспечивает ежесекундный мониторинг до 300 метрик на каждом вычислительном узле, использует технологии агрессивного энергосбережения и автоматического реагирования на критические ситуации.

    Отказоустойчивость

    Добиться требуемого уровня отказоустойчивости позволило резервирование всех критических подсистем и компонентов суперкомпьютерного комплекса – от вентиляторов и блоков питания в вычислительных узлах до систем электропитания и охлаждения. Высокую надежность blade-систем обеспечивает отсутствие кабельных соединений и жестких дисков внутри шасси, а также целый ряд конструктивных решений, таких как специально разработанные разъемы для модулей памяти.

    Применение

    Система будет использоваться для решения  ресурсоемких вычислительных задач в рамках фундаментальных научных исследований, а также для проведения научной работы в области разработки алгоритмов и программного обеспечения для мощных вычислительных систем.

Большие ЭВМ (Main Frame)

    Мэйнфрейм — большая универсальная ЭВМ — высокопроизводительный компьютер со значительным объёмом оперативной и внешней памяти, предназначенный для организации централизованных хранилищ данных большой ёмкости и выполнения интенсивных вычислительных работ.

    Большие компьютеры применяют для обслуживания крупных областей народного хозяйства. Они характеризуются 64-разрядными параллельно работающими процессорами (количество которых достигает до 100), интегральным быстродействием до десятков миллиардов операций в секунду, многопользовательским режимом работы. Доминирующее положение в выпуске компьютеров такого класса занимает фирма IBM (США). Наиболее известными моделями суперЭВМ являются: IBM 360, IBM 370, IBM ES/9000, Cray 3, Cray 4, VAX-100, Hitachi, Fujitsu VP2000.

Технические характеристики мейнфреймов 
 

• Вертикальное масштабирование образуется путем наращивания количества процессоров в одной системе.
• Горизонтальное масштабирование реализуется путем объединения мощных компьютеров в один логический компьютер. Можно объединить, практически, любое количество компьютеров. Они могут быть, географически, удаленны друг от друга.
• Высокая надежность хранения данных. В мейнфреймах обеспечивается путем использования RAID-массивов. С возможностью горячей замены. Производиться круглосуточное резервирование данных.
• Горячая замена, практически, любых компонентов. Дисков, оперативной памяти и даже процессоров.
• Мейнфрейм имеют высокий контроль над ошибками. Моментальное тестирование данных в памяти при их использовании. Дублирование каналов связи с периферийным оборудованием.
• Криптографическая защита данных на аппаратном уровне.
• Централизованное хранение данных. Дает высокую надежность и актуальность.

    В архитектурном плане мейнфреймы представляют собой многопроцессорные системы, содержащие один или несколько центральных и периферийных процессоров с общей памятью, связанных между собой высокоскоростными магистралями передачи данных. При этом основная вычислительная нагрузка ложится на центральные процессоры, а периферийные процессоры (в терминологии IBM - селекторные, блок-мультиплексные, мультиплексные каналы и процессоры телеобработки) обеспечивают работу с широкой номенклатурой периферийных устройств.

• Среднее время наработки на отказ. Время наработки на отказ современных мейнфреймов оценивается в 12–15 лет. Надёжность мейнфреймов — это результат их почти 60-летнего совершенствования. Группа разработки VM/ESA затратила двадцать лет на удаление ошибок из операционной системы, и в результате была создана система, которую можно использовать в самых ответственных случаях.
• Повышенная устойчивость систем. Мейнфреймы могут изолировать и исправлять большинство аппаратных и программных ошибок за счёт использования следующих принципов:
• Дублирование: два резервных процессора, запасные микросхемы памяти, альтернативные пути доступа к периферийным устройствам.
• Горячая замена всех элементов вплоть до каналов, плат памяти и центральных процессоров.
• Целостность данных. В мейнфреймах используется память с коррекцией ошибок. Ошибки не приводят к разрушению данных в памяти, или данных, ожидающих вывода на внешние устройства. Дисковые подсистемы построенные на основе RAID-массивов с горячей заменой и встроенных средств резервного копирования защищают от потерь данных.
• Рабочая нагрузка. Рабочая нагрузка мейнфреймов может составлять 80–95 % от их пиковой производительности. Для UNIX–серверов, обычно, рабочая нагрузка не может превышать 20–30 % от пиковой загрузки. Операционная система мейнфрейма будет тянуть всё сразу, причём все приложения будут тесно сотрудничать и использовать общие куски ПО.
• Пропускная способность. Подсистемы ввода-вывода мейнфреймов разработаны так, чтобы работать в среде с высочайшей рабочей нагрузкой на ввод-вывод данных.
• Масштабирование. Масштабирование мейнфреймов может быть как вертикальным, так и горизонтальным. Вертикальное масштабирование обеспечивается линейкой процессоров с производительностью от 5 до 200 MIPS и наращиванием до 12 центральных процессоров в одном компьютере. Горизонтальное масштабирование реализуется объединением ЭВМ в Sysplex (System Complex) — многомашинный кластер, выглядящий с точки зрения пользователя единым компьютером. Всего в Sysplex можно объединить до 32 машин. Географически распределённый Sysplex называют GDPS. В случае использования ОС VM для совместной работы можно объединить любое количество компьютеров. Программное масштабирование — на одном мейнфрейме может быть сконфигурировано фактически бесконечное число различных серверов. Причем все серверы могут быть изолированы друг от друга так, как будто они выполняются на отдельных выделенных компьютерах и в тоже же время совместно использовать аппаратные и программные ресурсы и данные.
• Доступ к данным. Поскольку данные хранятся на одном сервере, прикладные программы не нуждаются в сборе исходной информации из множества источников, не требуется дополнительное дисковое пространство для их временного хранения, не возникают сомнения в их актуальности. Требуется небольшое количество физических серверов и значительно более простое программное обеспечение. Всё это, в совокупности, ведёт к повышению скорости и эффективности обработки.
• Защита. Встроенные в аппаратуру возможности защиты, такие как криптографические устройства, и Logical Partition, и средства защиты операционных систем, дополненные программными продуктами RACF или VM:SECURE, обеспечивают совершенную защиту.
• Пользовательский интерфейс. Пользовательский интерфейс у мейнфреймов всегда оставался наиболее слабым местом. Сейчас же стало возможно для прикладных программ мейнфреймов в кратчайшие сроки и при минимальных затратах обеспечить современный веб-интерфейс.
• Сохранение инвестиций — использование данных и существующих прикладных программ не влечёт дополнительных расходов по приобретению нового программного обеспечения для другой платформы, переучиванию персонала, переноса данных и тд.