Современные состояние и перспективы развития обработке данных

Введение

    Стандартная процедура обработки данных обычно строится по следующей схеме: клиент посылает запрос к серверу приложений, сервер приложений обращается к одному или нескольким серверам обработки  данных, получает необходимые данные, производит их обработку и возвращает результат этой обработки пользователю.

    При стандартной архитектуре системы  хранения данных типа выделенная память все пересылки идут в рамках одной  локальной либо глобальной сети. При  этом по этой сети идут как сами запросы, так и все необходимые для обработки этого запроса данные.

    Поэтому для того, чтобы сеть обладала необходимой  пропускной способностью, она должна обеспечивать необходимую полосу пропускания  для больших объемов данных практически  по всей сети. Это не всегда возможно и всегда достаточно дорого в реализации.  
Выход был найден в создании новой архитектуры систем хранения данных. 
 
 
 
 
 
 
 
 
 
 
 
 
 

Основные  типы архитектур систем хранения данных

    В настоящее время существует три  типа архитектур систем хранения данных. Рассмотрим их подробно.

Архитектура типа выделенная память

Для архитектуры  типа выделенная память (рис.1) требуются  аппаратные средства и ОС. Причем, процесс  архивирования требует обычно дополнительного  специального программного и аппаратного  обеспечения.  
  Архитектура этого типа применяется сейчас практически везде: в IBM System/390, Sun UNIX, а также на серверах под ОС Windows NT и Novell NetWare. В каждой из них используются собственные системы выделенной памяти, часто представляющие собой комбинацию твердотельной памяти, дисковых накопителей и стримеров для резервирования. Простейшим примером является файловый сервер.  
При применении такой архитектуры существует несколько проблем, которые были упомянуты выше. 

    Первой  из них является перегруженность  серверов при доступе к данным (даже не при их обработке). Перегруженность серверов особенно чувствительно воздействует на производительность работы всей системы при возрастании потребности пользователей в широкополосном доступе к данным, не ограниченным масштабом рабочих групп или приложений.

    Вторая  проблема заключается в том, что  в настоящее время на мировом  рынке присутствует множество систем управления устройствами хранения данных, базирующихся на разных технологиях (но построенных в соответствии с  архитектурой типа выделенная память). Такое многообразие не способствует унификации и приводит к необходимости отдельного развития каждой такой системы (в соответствии с растущими потребностями пользователей).

    В третьих, вследствие необходимости  передачи транзитных данных между серверами в сетях их работа становится неэффективной. Например, пользователь может исполнять на сервере под ОС Windows NT какое-либо приложение, требующее данных, находящихся под UNIX сервером. Сначала эти данные должны быть переданы в целостном виде на сервер под ОС Windows NT, и только после их обработки они пересылаются пользователю. Выполнение процедуры дополнительной обработки данных значительно снижает эффективность работы сервера и производительность работы компьютерных сетей.

Архитектура типа SAN

Общие сведения 

    Для повышения производительности систем хранения данных (и компьютерных сетей, в целом) была разработана SAN архитектура (Storage Area Network сеть хранения данных) (рис. 2). По сути, SAN-память является результатом эволюционного развития серверных дисковых подсистем в настоящие сети.

    Основная  идея заключается в разделении сети при передаче данных между системами  хранения и серверами приложений от сети, обслуживающей пользователя. При применении SAN архитектуры устанавливается  прямое соединение между гетерогенными устройствами хранения данных и серверами, и, вследствие этого, реализуется высокоскоростное перемещение данных между пулом устройств хранения данных и пользователями. SAN архитектура обеспечивает выделение сети хранения данных, разъединяя связь между сервером приложений и устройствами хранения данных.

      При использовании SAN-памяти множество  серверов соединяется с множеством  устройств хранения данных через  вторичную сеть, работающую параллельно  с существующей ЛВС. Общим местом  двух сетей являются серверы. Т. е., применение SAN архитектуры позволяет разделять системы хранения данных между множеством приложений и различными пользователями.

        При этом сеть системы хранения данных обычно строится по технологии Fiber Channel, хотя в принципе, ничто не мешает применять и другие технологии. Известны реализации этих сетей на основе технологий Ethernet с большими размерами пакетов, что резко увеличивает скорость передачи данных. 

 
         Конечной целью использования SAN архитектуры является уменьшение сложности администрирования системами хранения данных как в одной сети, так и в случае присоединения гетерогенной сети компьютеров. Кроме того, максимально уменьшается вмешательство человека в работу систем хранения данных (без ущерба их производительности или доступности). 

 
        Вследствие того, что у систем хранения данных появилась собственная высокоскоростная магистраль передачи информации, пользователям больше не нужно конкурировать с сервером ввода/вывода за полосу пропускания сети. Работа в сетях, построенных с использованием SAN архитектуры, стала более эффективной, так как работе приложений больше не мешают различные рутинные операции (например, резервирование).

            SAN-память значительно уменьшает перегрузку локальных сетей и, в то же время, увеличивает совокупную пропускную способность, т. е. передача данных внутри системы хранения не мешает пользователю.

SAN-память  обладает хорошей масштабируемостью.  В значительной степени это  объясняется тем, что SAN-решения  реализуются на выделенной сети, базирующейся на технологии Fibre Channel. Это обстоятельство позволяет добавлять системы хранения данных по требованию, без воздействия на реальные приложения, обслуживаемые ими.  
            SAN-память предназначена для решения потребностей хранения данных скорее предприятий, чем индивидуальных рабочих групп в них. По мнению ряда аналитиков из European Storage Systems, SAN-память является идеальным решением для консолидации систем хранения данных внутри предприятия. Предприятия могут установить SAN-память и затем произвести миграцию данных на нее с существующих серверов и хостов.

           Следует отметить, что SAN-память не является универсальной панацеей. Несмотря на сохранение стоимости вложений, инсталляция SAN-памяти и миграция данных на нее требует значительных начальных инвестиций. По этой причине многие предприятия сначала адаптируют общие средства управления, как промежуточный шаг, для уменьшения стоимости администрирования. 

 
           При этом системы хранения данных (отличные от SAN-памяти) сохраняются, однако с помощью общих средств администрирования они управляются как единое целое (на CEBIT2000 это направление представляли компании Tivoli Systems и Computer Associates).  
           Для небольших предприятий SAN-память может быть не совсем подходящим решением в длительной перспективе. Основной проблемой в данном случае является то, что SAN-память базируется на технологии Fibre Channel (естественно, отличающейся от технологии Ethernet, распространенной в ЛВС небольших предприятий). Поэтому для компаний малого размера, устанавливающих у себя SAN-память, требуется дополнительное умение управления сетью. Оно необходимо также и при миграции на SAN-память для уменьшения стоимости администрирования. 

Стандартизация 

 Стандарты являются ключевым вопросом для успеха или неудачи SAN-решений. В настоящее время их разработкой занимается SNIA (Storage Networking Industry Association). При разработке стандартов ассоциация сотрудничает с разработчиками систем хранения данных и сетевых продуктов, системными интеграторами, производителями приложений и сервис-провайдерами. В члены ассоциации входят такие известные разработчики систем хранения данных, серверов, ПО для систем хранения данных и средств резервирования, как компании Quantum, StorageTek, IBM, Intel, Seagate, Legato, EMC, Compaq и Veritas. Члены ассоциации делают все возможное для расширения рынка SAN-памяти.  
           Кроме того, производители систем хранения данных стараются решить проблему стандартизации при помощи консорциума SANITI (SAN Integrated Technology Initiative). Эта организация занимается разработкой общих стандартов управления для SAN и LAN. Главной целью SANITI является разработка основ построения такой системы хранения данных, внутри которой все устройства могут обнаруживаться автоматически.

               Обнаружение устройств должно производиться единой системой управления в момент их первоначальной коммутации, независимо от того, к чему они присоединены: к SAN, LAN или WAN-сетям. Одной из перспективных целей SANITI является также определение способов объединения SAN, LAN и WAN-решений в рамках общей сетевой технологии, построенной на базе DWDM мультиплексирования. 
 

Развитие SAN-решений

    В последние месяцы (особенно, после CEBIT2000) многие известные производители выпустили на рынок свои варианты SAN-решений.  
В частности, компания Compaq недавно разработала ENSA архитектуру Enterprise Network Storage Architecture.

      В этом решении объединяются  аппаратные средства от Compaq с  продуктами других производителей. ENSA-архитектура распространяется на системы хранения данных, серверы, всю сетевую инфраструктуру, устройства связи (мосты, коммутаторы и концентраторы), ПО управления системами хранения данных и всю сетевую среду.

Весьма  существенным является также обеспечение прозрачности соединений между всеми SAN-элементами. В настоящее время Compaq занимается тестированием систем хранения данных и ПО управления ими производства третьих фирм (включая Brocade, Computer Associates, Gadzoox Networks, Legato Systems, Microsoft, Oracle, Seagate Software и Veritas) для создания открытого стандартизованного SAN-решения.  
           Предложив ENSA-архитектуру, Compaq фокусируется на концепции так называемой виртуальной памяти. При применении этой концепции реализуется опрос огромного количества устройств хранения данных предприятия для использования их серверами приложений. При таком управлении ресурсы систем хранения данных могут размещаться с одного общего пула, масштабируясь до петабайт, если это необходимо. Кроме того, данные могут быть мгновенно реплицированы для резервирования, тестирования, доступа к дополнительным приложениям или для инициированных пользователем резервирования и восстановления. При этом, доступ к памяти осуществляется быстрее, чем при централизованном администрировании.

    При применении ENSA-решений возможны динамическое размещение данных, их автоматическое переразвертывание, интеллектуальная репликация и защита. Кроме того, можно настраивать производительность системы хранения данных. Compaq заявила, что предложит ENSA-решения на всех ценовых уровнях и постарается снизить требования к искусству управления такими системами до минимального уровня.

    Весьма  показательной для формирования некоторого представления о перспективах развития SAN-памяти была всемирная выставка компьютерных технологий CEBIT2000. 

    Производитель Fibre Channel коммутаторов компания Brocade продемонстрировала на CEBIT  
2000 полный диапазон коммутаторов SilkWorm Fibre Channel SAN, включая недавно выпущенный управляемый концентратор SilkWorm 2010.

     Представила свои решения на CEBIT2000 и компания Gadzoox. Был продемострирован ряд SAN коммутаторов, в том числе, один из первых в отрасли модульных SAN коммутаторов Capellix 3000. В данном продукте поддерживается до 3-х вставляемых модулей, и в нем реализованы масштабирование от 6 до 34 портов с пропускной способностью  
28 Гб/c.

     Кроме того, был представлен стекируемый 8-портовый SAN коммутатор Capellix 2200 со слотом расширения. Также Gadzoox продемонстрировала средства управления Ventana SAN Manager и семейство средств SAN управления Ventana SANtools, с помощью которых возможно осуществлять мониторинг, контроль и определять политику управления SAN сетей и систем хранения данных. Данное ПО основано на загружаемой агентской архитектуре, соответствует необходимым стандартам и легко модернизируется.

Пример реализации SAN-решений

    В настоящее время SAN-память широко распространена на крупных предприятиях и организациях. Например, компания Brocade Communications Systems недавно установила в одном из крупнейших коммерческих банков Германии Commerzbank полностью избыточную гетерогенную SAN-среду, базирующуюся на коммутаторах BROCADE SilkWorm Fibre Channel.

      Система построена на базе  двух 10-коммутаторных SAN-решений.  В Commerzbank установлены двадцать 16-портовых  коммутаторов SilkWorm 2800 Fibre Channel, обеспечивающих  сетевую работу более 320 устройств  Fibre Channel через два избыточных SAN-решения, включающих 4 сервера Sun Enterprise E10000. В состав системы также входят массивы памяти Sun StorEdge A5200 и EMC Symmetrix. Кроме того, используются карты Jaycor HBA и системное ПО VERITAS Volume Manager.

    В системе поддерживается более 10 ТБ памяти.  
Commerzbank применяет SAN-технологию и для решения задач резервирования. Сайт резервирования построен на базе 4 коммутаторов BROCADE SilkWorm 2800 и находится в 35 км от основного центра (удаленное резервирование). Реализована boot-farm модель для того, чтобы любая система резервирования могла функционировать как первичный сервер.