Кластерные решения IBM

Кластерные  решения IBM 

     Стратегия корпорации IBM в области кластерных систем высокой готовности строится на достаточно простом, но вместе с  тем бесспорном посыле: задача заказчика  всегда на первом месте, все остальное  — на втором. Имея одну из самых мощных в отрасли исследовательских  команд и хорошо развитое консалтинговое подразделение, способное решать многогранные внедренческие задачи практически  любого уровня сложности, да к тому же занимаясь разработкой сложных  информационно-вычислительных систем повышенной отказоустойчивости уже  не одно десятилетие, IBM вполне может  ставить во главу угла именно задачи, благо разнообразных технических  средств для разрешения конкретных проблем заказчика у компании более чем достаточно, и их окончательный  выбор осуществляется исходя из результатов  предпроектного обследования информационной системы. 

     Отсюда  вполне очевидно, что реальной физической базой кластерных систем высокой  готовности от IBM может выступать  практически любой сервер компании — простые и недорогие стандартные  машины из серии eServer xSeries на базе 32-разрядной  архитектуры х86 (в том числе  с использованием 64-разрядных расширений EM64T и AMD64) и 64-разрядной архитектуры Itanium, производительные серверы eServer iSeries и eServer pSeries на базе архитектуры POWER5 и  мощные мэйнфреймы eServer zSeries. Никаких  специально выделенных моделей не предусмотрено, накладывается лишь одно условие  — достаточность конкретной аппаратной реализации для решения задач  обработки данных. Исходя из него, специалисты IBM и формируют перечень предпочтительных моделей для тех или иных задач. Естественно, подобные типовые конфигурации со временем претерпевают определенные изменения — устаревшие и снятые с производства модели исключаются из перечня совместимости, на их место приходят новые. 

     Стоит отметить, что, держа в своих руках  все нити жизненного цикла аппаратных платформ, IBM неуклонно проводит политику переноса инновационных технических  и технологических решений с  систем высшего уровня zSeries (где они  в первую очередь появляются) на системы среднего — iSeries и pSeries, а  затем и низшего уровня — xSeries, обеспечивая заказчикам единую архитектуру  законченных решений и вместе с тем избавляя их от избыточных вложений в поддержание и развитие ИТ-инфраструктуры. 

     В области межузловых взаимодействий корпорация предлагает индивидуальную технологию для каждой серверной  линейки, в большинстве случаев  неразрывным образом связанную  с кластеризующим ПО промежуточного уровня, в результате чего образуется сквозное интегрированное решение. Так, в мэйнфреймах zSeries используется технология Parallel Sysplex, обеспечивающая организацию отказоустойчивых кластерных систем с возможностью непосредственного  чтения и записи данных в память всех подключенных серверов. При этом пользовательские приложения могут  исполняться параллельно. Для объединения  серверов серии iSeries используется одна из трех технологий: замкнутого межузлового  кольца — HSL OptiConnect, виртуального интерконнекта  между разделами LPAR — Virtual OptiConnect и  высокоскоростного оптического  соединения по схеме точка-точка  — SPD OptiConnect. В решениях на базе серверов pSeries применяется технология IBM High Availability Cluster Multi-Processing for AIX 5L (HACMP) или ее разновидность  для катастрофоустойчивых кластеров  — HACMP/XD (Extended Distance). И наконец, в в  случае серверов xSeries интерконнект организуется с использованием стандарта InfiniBand. 

     Что касается взаимодействия с СХД, картина  аналогична ситуации с выбором кластерных узлов. Использование того или иного  оборудования определяется исходя из содержания пользовательской задачи и  уровня ее масштабируемости. Возможен широкий спектр решений — от простейшего  подключения напрямую до "тяжелых" SAN-систем. 

     В качестве базовых ОС в каждой серверной  серии используются как свои системы, так и ОС сторонних производителей — z/OS и варианты Linux для zSeries; i5/OS, Linux и AIX 5L для iSeries; AIX 5L и Linux для pSeries; Microsoft Windows Server, Novell Netware и Linux для xSeries, — оптимизированные для построения кластеров высокой  готовности.  

     Необходимо  особо отметить, что IBM как многопрофильная  технологическая компания, выпускающая  все без исключения виды аппаратных ресурсов, применяемых для построения кластерных систем высокой готовности, ориентируется на собственные изделия, лишь изредка предлагая список совместимого оборудования от сторонних поставщиков. 

     Система кластеризации Parallel Sysplex для z/OS позволяет  объединять в рамках одного решения  до 32 узлов, обеспечивая при этом разделение ресурсов и параллельное исполнение задач. Используемые в ней  технические решения гарантируют  практически линейный рост производительности при добавлении в кластер новых  серверов. Кроме того, ее расширение Geographically Dispersed Parallel Sysplex (GDPS) с помощью  технологии HyperSwap позволяет строить  территориально разнесенные, катастрофоустойчивые системы. 

     В качестве промежуточного кластеризующего  ПО на системах iSeries предлагается использовать продукты, поставляемые технологическими партнерами IBM. Основное рекомендуемое  решение — MIMIX High Availability Cluster от фирмы Lakeview Technology. Модульность и широкие возможности мониторинга и автоматизации процессов репликации данных и системных объектов, переключения нагрузки между производственной и резервными системами позволяют создавать решения, оптимальные с точки зрения требований бизнес-пользователей. В отдельных случаях применяются также программные решения других производителей — Data Mirror, Vision Solutions, iTera, Maximum Availability и т. д. 

     Система кластеризации High Availability Cluster Multi-Processing версии 5.2, используемая на серверах pSeries с установленной AIX 5L, позволяет организовать на базе ПО Oracle Application Server 10g как системы  с разделением ресурсов (для чего используется технология Oracle Real Application Cluster), так и системы активного  дублирования без разделения ресурсов — Cold Failover Cluster, использующие один из узлов  в режиме горячего резерва на случай сбоя в основном узле. 

     В проектах создания кластерных систем высокой готовности на базе серверов стандартной архитектуры из семейства xSeries IBM полагается на бизнес-партнеров  и их программные разработки —  в системе Windows предлагается использовать сервисы Microsoft Cluster Services, для Netware применяются Novell Cluster Services, а для Linux используется пакет LifeKeeper компании SteelEye и собственный  продукт IBM — Tivoli System Automation, работающий в среде разных версий Linux не только на xSeries, но и на всех аппаратных платформах IBM. Этот продукт позволяет объединять механизмы высокой доступности, уже имеющиеся в программных  комплексах более высокого уровня, а также организовывать кластерные системы активного дублирования для тех продуктов, в которых  такой поддержки нет. 

     За  администрирование и конфигурирование кластеров высокой готовности в  каждом отдельном случае отвечают специализированные компоненты кластеризующего ПО, работающие совместно с фирменными средствами менеджмента, поставляемыми IBM для каждой из линеек серверов. 

     Организация высокой готовности конкретных пользовательских приложений в рамках кластерных систем выполняется компанией-интегратором (в том числе и IBM Global Services) в  ходе проекта внедрения, для чего может потребоваться доработка  приложений или кластеризующего  ПО, чтобы максимально полно учесть специфику решаемых задач. IBM, тесно  сотрудничая со своими технологическими партнерами и поставщиками приложений в области разработки спецификаций кластерных решений, интерфейсов к  механизмам операционной среды и  прочих аспектов, активно участвует  в процессе адаптации к реальным нуждам заказчика, используя весь свой опыт в области построения корпоративных  систем обработки данных. Отражением этого процесса служат программы  сертификации приложений, такие, как ClusterProven для iSeries, когда разработчик кластерного  промежуточного ПО помогает производителю  приложения доработать его и протестировать на соответствие кластерным спецификациям  операционной среды. 
 

IBM  Cluster 1350

В начале 2000 года IBM создала Linux-кластер из установленных  в стойке серверов IBMxSeries, интегрировав их с соответствующими сетями, системами  управления (аппаратное и программное  обеспечение) и необходимыми услугами. После выпуска в 2001 году кластера 1300, IBM представила недавно кластер 1350 на процессорах Intel Xeon.

     Стандартным вычислительным узлом для кластера 1350 является IBMxSeries 335. Это позволяет  одному или двум процессорам Intel Pentium 4 (Xeon) с быстрой динамической памятью  и диском размещаться в стандартном  корпусе размером «1U». Символ 1U обозначает 1,75 дюймов высоты в стандартном 19-и  дюймовом корпусе. Х335 имеет встроенный сервисный процессор и два  слота для соединения с другими  компонентами системами.   

     Головные  узлы, узлы управления и узлы запоминающих устройств обеспечивают особые функции  для управления кластером (как обеспечение  загрузки, управление устройствами, внешний  ввод/вывод и т.д). Сервер 2U IBM xSeries 345, основанный на процессорах Xeon, в  кластере1350 используется, как узел управления и хранения данных и может  быть также использован как вычислительный узел. Коммутаторы используются для  межпроцессорного соединения в параллельном программировании и для различных  функций управления.  

     Для параллельного программирования в  качестве межпроцессорного соединения обычно используется коммутатор Myrinet фирмы Myricom. Пропускная способность канала составляет приблизительно 200 Мбайт/с  в каждом направлении со временем задержки 6-8 мкс.  

     Терминальные  серверы обеспечивают удалённый  доступ к консолям ОС узлов через  последовательную сеть. Дополнительные функциональные возможности добавляются  посредством клавиатуры, мыши, монитора.  

Пример  конфигурации кластера 1350

     Коммерческий  программный пакет может включать в себя WebSphere, DB2, MySQL и т.д. HPC пакет  может включать MPICH, PVM, Maui Scheduler, математические библиотеки, трансляторы, профилировщики и т.д.   

     Оперативная система Linux инсталлирована на каждом узле кластера. Кластер 1350 запускается  под Red Hat Linux. В дальнейшем планируется  ставить ОС SuSE (4Q02).  

     Большинство сложившихся систем управления, называемых xCAT, были разработаны IBM для сборки кластеров  на основе требований заказчика. xCAT поддерживает все требуемые функции, включая  функции удаленного контроля. Отметим, что xCAT использует сервисный процессор xSeries и что xCAT не является открытым программным  продуктом. Продукт поставляется свободно с кластерным пакетом IBM, включая  исходные тексты.  

     Управление  системами кластера для Linux (CSM) —  это лицензионный программный продукт IBM. Он обеспечивает функции управления системами, сходными по форме с программами  поддержки параллельных систем (Parallel System Support Programs — PSSP) для AIX-систем уровня поддержки на RS/6000 SP. CSM — это стандартный  программный продукт для кластера 1350.  

     CSM для Linux включает технологию, извлечённую  из PSSP, и сейчас доступную на AIX для управления кластерами, собранными  из серверов xSeries и запускаемых  под Linux, серверами IBM pSeries, управляемых  AIX, или комбинацией обеих операционных  систем.  

     Другие  программные продукты, как взятые из открытого доступа, так и лицензионные, могут быть выбраны и адаптированы к нуждам заказчика и инсталлированы в виде части полной системы всего  кластерного решения. Образцы этого  ПО включают Portable Batch Scheduler (PBS) и Maui Scheduler, взятые из открытого доступа. Другие образцы включают MPICH для параллельного  программирования, математические библиотеки, инструментарий для параллельной отладки  и повышения производительности и много других приложений от независимых  продавцов. 

IBM Cluster 1600

     Системы IBM ® Cluster 1600 строятся из SMP-серверов с  процессорами IBM POWER5 и POWER4, работающих под управлением ОС AIX 5L или Linux. Cluster 1600 – это хорошо масштабируемое кластерное решение для крупномасштабного компьютерного моделирования и анализа, работы с большими базами данных и интеллектуальными бизнес-приложениями, для организации экономически эффективных центров обработки данных, консолидации серверов и рабочих нагрузок. Системы Cluster 1600 могут быть развернуты на базе сети Ethernet или коммутатора IBM High-Performance Switch. Для управления обычно используется программное обеспечение Cluster Systems Management (CSM) - комплексный набор инструментов, специально предназначенный для упрощения начального развертывания и текущего управления кластерными системами.  

Основные  возможности 

• Кластерные решения с высокой степенью масштабируемости на базе ОС AIX 5L или Linux для крупномасштабного компьютерного моделирования, работы с большими базами данных, для организации экономически эффективных центров обработки данных, консолидации серверов и рабочих нагрузок.
• ПО Cluster Systems Management (CSM) для всеобъемлющего гибкого развертывания и текущего управления кластерной системой.
• Варианты сетевых соединений в кластере: стандартные каналы Ethernet (AIX 5L или Linux), коммутатор pSeries High Performance Switch (AIX 5L и CSM), SP Switch2 (AIX 5L и PSSP); InfiniBand (AIX 5L или SLES 9); или Myrinet (Linux)
• Операционные системы: AIX 5L Version 5.2 или 5.3, SuSE Enterprise Linux 8 или 9
• Полный набор программных средств для создания, настройки и выполнения параллельных приложений: Библиотека подпрограмм для научно-технических расчетов Engineering & Scientific Subroutine Library (ESSL), среды Parallel ESSL, Parallel Environment, XL Fortran, VisualAge C++
• Высокопроизводительная масштабируемая кластерная файловая система высокой готовности General Parallel File System (GPFS)
• ПО планирования задач для оптимизации использования ресурсов и пропускной способности: LoadLeveler
• ПО для обеспечения высокой готовности и непрерывного доступа к данным и приложениям: : High Availability Cluster Multiprocessing (HACMP)