Концепція grid-систем, її розвиток. Сучасний стан grid-систем. Віртуальні організації

Київський національний університет імені Тараса Шевченка  
факультет кібернетики  
кафедра математична інформатика 

 

 

Аналітичний звіт  
на тему:  
«КОНЦЕПЦІЯ GRID-СИСТЕМ, ЇЇ РОЗВИТОК. СУЧАСНИЙ СТАН GRID-СИСТЕМ. ВІРТУАЛЬНІ ОРГАНІЗАЦІЇ.»

 

 

 

 

студентки 1 курсу магістратури   Шишмарьової Ксенії Дмитрівни

 

 

 

 

 

 

 

 

 

Київ - 2013 

ЗМІСТ

Вступ 3

2. Історія  виникнення та розвитку GRID - систем 4

3. Віртуальні  організації 6

4. Концепція  GRID-систем 9

5. Архітектура  GRID 11

6. Застосування GRID на практиці 14

7. Приклади  зв’язку GRID з іншими технологіями 15

8. Перспективи  GRID 18

Висновок 19

Література 20

 

 

Вступ

GRID - комп'ютинг виник як нова важлива область, що відрізняється від традиційного розподіленого комп'ютингу своєї націленістю на інноваційні додатки, як правило, пов'язані з необхідністю поділу великомасштабних ресурсів, і, в деяких випадках, на забезпечення можливості високопродуктивної обробки даних. У даній роботі окреслюється межі цієї області.

По-перше,розглядається "GRID - проблема", яка визначається як завдання забезпечення гнучкого, безпечного та узгодженого поділу ресурсів у  так званих віртуальних організаціях - динамічних об'єднаннях окремих користувачів, інститутів і ресурсів. При такій  постановці питання ми стикаємося з  проблемами однозначної аутентифікації, авторизації, виявлення ресурсів і організації доступу до них, а також низкою інших складних завдань. Це і є клас проблем, на вирішення яких націлені GRID - технології. Далі представляємо GRID - архітектуру, в якій протоколи, служби, інтерфейси прикладного програмування та інструментарій для розробки програмного забезпечення розподілені по категоріями відповідно до їх ролі в забезпеченні поділу ресурсів.

Нарешті, ми розглядаємо, як GRID-технології співвідносяться з  іншими сучасними технологіями, включаючи  такі як корпоративна інтеграція, провайдер  прикладних послуг, провайдер послуг зберігання.

 

2. Історія виникнення та розвитку GRID - систем

Термін "GRID" став використовуватися  з середини 90-х років для позначення якоїсь інфраструктури розподіленого  комп'ютингу, пропонованої для обслуговування передових наукових та інженерних проектів. З тих пір були досягнуті значні успіхи в побудові такої інфраструктури (наприклад, [4, 5, 10, 13]), і тлумачення терміна "GRID", принаймні, в популярному сприйнятті істотно розширилося, і

стало охоплювати всі - від  передових мережевих рішень до розробок в області штучного інтелекту. Виникає  сумнів, чи дійсно цей термін має  якесь реальний зміст і сенс. Чи справді має місце відмінна від  інших "GRID-проблема", і тому потрібні нові "GRID-технології"? Якщо це так, то в чому

сутність цих технологій, і яка сфера їх застосування? Незважаючи на те, що численні групи виявляють  інтерес до GRID-концепціям і, значною  ступеня, мають спільне бачення GRID-архітектури, ми поки не досягли консенсусу в  відповідях на поставлені вище питання.

Мета моєї роботи показати, що ідея GRID дійсно мотивується реальною і конкретною проблемою, і що виникає  цілком певна GRID-технологічна база, яка  орієнтована на найбільш значущі  аспекти цієї проблеми. У ході викладу  я представлю детальну архітектуру  і план розвитку сучасних і майбутніх GRID-технологій.

Реальною проблемою, що підкреслює значимість GRID-концепції, є узгоджений розподіл ресурсів і вирішення завдань  в динамічних, багатопрофільних віртуальних  організаціях. Поділ, який мається на увазі, це головним чином не обмін  файлами, а скоріше прямий доступ до комп'ютерів, програмного забезпечення, даних та інших ресурсів. Виникає  така потреба у промисловості, науці  і техніці стратегії спільного  вирішення завдань і підтримки  у наданні ресурсів. Це розділення обов'язково жорстко контролюється  провайдерами ресурсів і споживачами, ясно і чітко визначається що розділяється, кому дозволено поділ та умови, на яких поділ виконується. Об'єднання  окремих фахівців і / або інститутів, такими правилами поділу утворює  те, що ми називаємо віртуальної  організацією (virtual organization) - ВО.

Наведемо наступні приклади ВО:

• провайдери прикладних послуг, провайдери послуг зберігання, провайдери квантів обчислень, консультанти, запрошені  виробником автомобілів для розробки сценарію розвитку подій при проектуванні нового виробництва;

• учасники промислового консорціуму, що фінансують створення нового літака;

• команди кризового менеджменту, а також бази даних та системи  моделювання, які використовуються цими командами при виборі способу  дії у зв'язку з непередбаченою ситуацією;

• учасники багаторічних, великих  міжнародних об'єднань в галузі фізики високих енергій.

Кожен з цих прикладів  ілюструє спільне використання великої  групи обчислювальних ресурсів і  даних, підхід до організації обчислень  і вирішення проблем.

Як показують ці приклади, ВО надзвичайно різноманітні за своєю  метою, масштабом, розміром, тривалістю існування, структурно, громадському і

соціологічному статусі. Проте, уважне вивчення визначальних технологічних  вимог приводить нас до виявлення  якогось широкого набору загальних  характеристик для всіх ВО. Зокрема, ми можемо відзначити, що для розділення необхідно забезпечити:

• надзвичайно гнучкі відносини  в широкому діапазоні можливих мережевих  рішень: від схеми "клієнт - сервер" до схеми "тимчасова мережа";

• складний і високорівневий контроль за тим, як використовуються колективні ресурси, включаючи кошти дрібноструктурного контролю доступу, делегування і застосування локальної і глобальної політики;

• можливості поділу різноманітних  ресурсів: від програм, файлів і даних  до комп'ютерів, датчиків і мереж;

• різноманітні за критеріями продуктивності та вартості користувальницькі  режими (від однокористувацького до багатокористувацького), передбачають вирішення проблем забезпечення якості обслуговування, планування, спільної завантаженності і обліку використання ресурсів.

Сучасні технології розподіленого  комп'ютингу не розглядають перераховані питання і вимоги. Наприклад, сучасні інтернет – технології адресовані до проблем комунікації та інформаційного обміну між комп'ютерами, але при обчисленні не забезпечують інтегрованих підходів до погодженого використання ресурсів, що знаходяться на різних сайтах. Системи бізнес - партнерства, так звані В2В [12], націлені на поділ інформації (часто через апарат централізованих послуг). Подібним же чином діють технології віртуальних корпорацій, хоча тут поділ з часом може бути розширено до додатків і фізичних пристроїв (наприклад, [3]). Технології розподіленого корпоративного комп'ютингу такі, як CORBA і Enterprise Java, забезпечують поділ ресурсів усередині однієї організації. Технологія DCE підтримує безпечне поділ ресурсів між сайтами, але більшість ВО вважають цю технологію занадто важкою і не гнучкою. Провайдери служб зберігання (Storage Service Providers - SSP) і Провайдери служб додатків (Application Service Providers - ASP) надають організаціям-клієнтам доступ до зовнішніх ресурсів пам'яті і обчислювальних потужностей, але тільки обмеженими способами: наприклад, ресурси SSP зазвичай пов'язані зі споживачем через приватну віртуальну мережу (Virtual Private Network - VPN).

З'являються компанії інтернет-комп'ютингу які проводять у міжнародному масштабі [8] пошук комп'ютерів, що простоюють, але до теперішнього часу підтримують тільки жорстко централізований доступ до таких ресурсів.

Отже, сучасні технології або не охоплюють всі типи ресурсів, або не забезпечують необхідні для  створення ВО гнучкість і керованість  зв'язками, що виникають при поділі ресурсів.

Ось така картина перед  появою GRID-технологій. Дослідження  і розробки, виконані всередині GRID-спільноти  за останні п'ять років, призвели до створенню протоколів, служб і  інструментів, які повною мірою відповідають проблемам, з якими ми стикаємося при організації масштабованих  ВО. Ці технології передбачають:

• рішення з безпеки, які  підтримують управління повноваженнями (Цифровими мандатами) і політиками планування при проведенні розрахунків  на просторово розподілених ресурсах декількох організацій;

• протоколи управління ресурсами та службами, які підтримують  безпечний віддалений доступ до обчислювальних потужностей і ресурсів даних, а  також коаллокацію (спільний розподіл - спільний розподіл) безлічі ресурсів;

• протоколи інформаційних  запитів і служби, що надають інформацію про конфігурації і статус ресурсів, організацій і служб;

• служби управління даними, які здійснюють розміщення та транспортування  наборів даних між системами  зберігання і додатками.

Будучи сфокусовані на динамічному, міжкорпоративному поділі ресурсів, GRID-технології доповнюють, а аж ніяк не конкурують з існуючими технологіями розподіленого комп'ютингу. Наприклад, корпоративні системи розподіленого комп'ютингу можуть використовувати GRID-технології для поділу ресурсів, що знаходяться поза межами організації, в області застосування систем ASP / SSP GRID-технології можуть бути використані при створенні динамічних ринків ресурсів зберігання і обчислювальних потужностей і тим самим для подолання обмежень, властивих сучасним статичним конфігураціям.

 

3. Віртуальні організації

Розглянемо наступні чотири сценарії:

1. Компанія, якій необхідно  отримати обгрунтоване рішення з питання розміщення нового виробництва, запитує у якогось провайдера ASP складну програму фінансового прогнозування, забезпечуючи їй при цьому доступ до відповідним приватним історичними відомостями, що зберігаються в корпоративній базі даних, розміщеної на системах зберігання, керованих таким собі провайдером SSP. Протягом періоду вироблення рішення, сценарії "що-якщо" програються спільно і інтерактивно, навіть якщо керівні відділення компанії, що беруть участь у підготовці рішення, знаходяться в різних місцях. Провайдер ASP сам погоджує з Провайдером квантів часу для обчислень (Cycle provider – CP) контракти на додаткові прогони, пов'язані з непередбаченими ситуаціями, вимагаючи, щоб ці кванти задовольняли відповідним вимогам безпеки та продуктивності.

2. Промисловий консорціум, утворений для виконання аналізу  здійсненності надзвукового літака  нового покоління, проводить цикл  високоточного багатоаспектного  моделювання всього літака. При  цьому моделюванні об'єднуються  в єдине ціле приватні компоненти  програмного забезпечення, розроблені  різними учасниками, причому кожен  з цих компонентів працює на  комп'ютерах його власника і  має доступ до відповідних  баз даних проекту і іншими  даними, наданими консорціуму його  учасниками.

3. Команда кризового менеджменту  реагує на надзвичайну ситуацію, виникла в результаті викиду  шкідливих хімічних речовин, використовуючи  моделі локальної погоди та  грунту, оцінює поширеність забруднення, визначає вплив, який чиниться на місцеве населення, а також і на такі географічні об'єкти, як річки і водосховища, створює (можливо, заснований на моделях хімічних реакцій) короткостроковий план пом'якшення ситуації, планує і координує процеси евакуації, госпіталізації і пр., керує персоналом, ліквідовують наслідки аварії.

4. Тисячі фізиків з  сотень лабораторій та університетів  усього світу об'єдналися з  метою проектування і створення  великого детектора в Європейському  центрі фізики високих енергій  (European high energy physics laboratory – CERN), проведення на ньому експериментів і аналізу отримуваних даних. При обробці даних експериментів учасники цієї програми об'єднують в загальний фонд комп'ютерні, накопичувальні і мережеві ресурси для створення, так званої середовища "Data Grid", здатної забезпечити аналіз петабайтних обсягів даних [7, 9, 11].

Ці чотири приклади різняться  в багатьох відносинах: по числу  і професіями учасників, видами діяльності, тривалості і масштабу взаємодії  і по розділяються ними ресурсів. Але  вони також мають багато спільного, що ми і покажемо нижче (Див. рис. 1).

У кожному прикладі - непередбачуване  число учасників, в тій чи іншій  мірі раніше пов'язаних один з одним (а, можливо, і зовсім не пов'язаних), хочуть розділяти ресурси для  виконання деякої задачі. Більше того, в даному випадку поділ увазі  щось більше, ніж простий обмін  документами (як в "віртуальних корпораціях "[6]): воно може бути пов'язане з  прямим доступом до віддалених комп'ютерам, даними, програмному забезпеченню, датчикам та інших ресурсів.

Наприклад, члени консорціуму  можуть забезпечити доступ до спеціального програмного забезпеченню, даними та / або до пулу їх обчислювальних ресурсів. Поділ ресурсів обумовлено: кожен  власник ресурсів встановлює доступність  ресурсів, задає обмеження, що визначають коли, де і що може бути зроблено. Наприклад, учасник ВО від P (див. рис. 1) міг би дозволити партнерам запускати  їх служби моделювання тільки для "простих" завдань. Споживачі ресурсів, у свою чергу, могли б вказувати обмеження  на властивості ресурсів, до роботи з якими вони підготовлені.

Наприклад, учасник ВО від Q міг би погоджуватися тільки на об'єднані обчислювальні ресурси, сертифіковані  як "безпечні". Здійснення таких  обмежень вимагає наявності спеціальних  механізмів для завдання політик  управління, аутентифікації (встановлення ідентичності - authentication) споживача або ресурсу, і авторизації (надання права - authorization) виконання операції відповідно до встановлених відносинами поділу.