Особливості моделювання в агропромисловому комплексі

На відміну від комбінаційних  групувань, кластерний аналіз призводить до поділу на групи з урахуванням  усіх групувальних ознак одночасно. Застосування кластерного дозволяє виявити фактори та елементи, які впливають на ступінь розвитку виробничого потенціалу. Важливою перевагою кластерного аналізу є те, що він дозволяє робити розбивку об'єктів не по одному параметру, а по цілому набору ознак. Крім того, кластерний аналіз на відміну від більшості математико-статистичних методів не накладає ніяких обмежень на вид розглянутих об'єктів, і дозволяє розглядати множину вихідних даних практично довільної природи.

Кластерний аналіз дозволяє розглядати досить великий об’єм  інформації і значно скорочувати, стискати великі масиви економічної інформації, робити їх компактними та наочними.

Важливе значення кластерний аналіз має при аналізі сукупностей  часових рядів, що характеризують економічний  розвиток. Тут можна виділяти періоди, коли значення відповідних показників були досить близькими, а також визначати групи часових рядів, динаміка яких найбільш схожа.

Кластерний аналіз має  певні недоліки та обмеження: Зокрема, склад і кількість кластерів  залежить від обраних критеріїв  розбивки. При приведенні вихідного  масиву даних до більш компактного виду можуть виникати певні перекручування, а також можуть бути втрачені індивідуальні риси окремих об'єктів за рахунок заміни їх характеристиками узагальнених значень параметрів кластера.

У кластерному аналізі  вважається, що:

а) обрані характеристики допускають у принципі бажану розбивку на кластери;

б) одиниці виміру (масштаб) обрані правильно.

Вибір масштабу відіграє значну роль. Як правило, дані нормалізують вирахуванням середнього і розподілом на стандартне відхилення, так що дисперсія виявляється рівній одиниці.

Задача кластерного  аналізу полягає у тому, щоб  на підставі даних множини Х, розбити  множину об'єктів G на m (m – ціле) кластерів (підмножин) G₁, G₂, …, G_m, так, щоб кожний об'єкт G_j належав одній і тільки одній підмножині розбивки і щоб об'єкти, що належать одному кластеру, були подібними, у той час, як об'єкти, що належать різним кластерам були різнорідними.

Рішенням задачі кластерного  аналізу є розбивки, що задовольняють  деякому критерію оптимальності. Цей  критерій може представляти собою деякий функціонал, що виражає рівні бажаності різних розбивок і угруповань, що називають цільовою функцією. Наприклад, як цільова функція може бути взята внутрішньогрупова сума квадратів відхилення:

де x_j –виміри j-го об'єкта.

Для рішення завдачі  кластерного аналізу необхідно  визначити поняття подібності і  різнорідності.

Очевидно, що об'єкти і-ий і j-ий попадали б в один кластер, коли відстань (віддаленість) між точками Х_і і Х_j була б досить малою і попадали б у різні кластери, коли ця відстань була б досить великою. Таким чином, попадання в один або різні кластери об'єктів визначається поняттям відстані між Х_і і Х_j з Е_р, де Е_р – р-мірний евклідовий простір. Додатня функція d(Х_і, Х_j) називається функцією відстані (метрикою), якщо:

а) d(Х_i , Х_j) ³ 0, для всіх Х_і і Х_j з Е_р

б) d(Х_i, Х_j) = 0, тоді й тільки тоді, коли Х_і = Х_j

в) d(Х_i, Х_j) = d(Х_j, Х_і)

г) d(Х_i, Х_j) ( d(Х_i, Х_k) + d(Х_k, Х_j), де Х_j; Х_i і Х_k – будь-які три вектори з Е_р.

Значення d(Х_i, Х_j) для Х_i і Х_j називається відстанню між Х_i і Х_j і еквівалентно відстані між G_i і G_j відповідно до вибраних характеристикам (F₁, F₂, F₃, ..., F_р).

Найбільше часто вживаються наступні функції відстаней:

1. Евклідова відстань     

2. l1 – норма    

3. Сюпремум – норма     

k = 1, 2, ..., р

3. lp – норма     

Кластерний  аналіз (КА) – це багатомірна статистична процедура, яка впорядковує вихідні дані (об'єкти) у порівняно однорідні групи . Загальним для всіх досліджень, що використовують КА, є п'ять основних кроків :

– відбір вибірки  для кластеризації ;

– визначення множини  ознак, по яких будуть оцінюватися об'єкти у вибірці;

– обчислення значень  тієї або іншої міри подібності між  об'єктами ;

– застосування методу КА для створення груп вихідних даних ;

– перевірка  вірогідності результатів кластерного  рішення .

Кожний з перерахованих  кроків відіграє істотну роль при  використанні кластерного аналізу  в прикладному аналізі даних . При цьому 1, 2 і 5 кроки цілком залежать від розв'язуваного завдання і повинні визначатися дослідником . Кроки 3 і 4 виконуються програмою кластерного аналізу .

Наразі існує  досить багато методів кластерного  аналізу. Розроблені кластерні методи можна поділити на дві основні групи: ієрархічні методи та неієрархічні методи.

Неієрархічні методи виявляють більш високу стійкість до шумів і викидів, некоректному вибору метрики, включенню незначущих змінних у набір, кий бере участь у кластеризації. Недоліки таких методів полягають в тому, що необхідно заздалегідь визначити кількість кластерів, кількість ітерацій або правило зупинки, а також деякі інші параметри кластеризації.

Ієрархічні методи, на відміну від неієрархічних, будують повне дерево вкладених кластерів. Складнощі ієрархічних методів кластеризації:

– обмеження обсягу набору даних;

– вибір міри близькості;

– негнучкість отриманих класифікацій.

Перевага цієї групи  методів у порівнянні з неієрархічними методами – наочність і можливість одержати детальне представлення структури даних.

При використанні ієрархічних  методів існує можливість досить легко ідентифікувати викиди в наборі даних і, у результаті, підвищити  якість даних. Ця процедура лежить в  основі двокрокового алгоритму кластеризації.

За даними проведеного  аналізу приблизно у 2/3 випадків для КА використовують ієрархічні методи. Алгоритми ієрархічної класифікації використовуються для класифікації множин відносно невеликого об’єму, але вони дозволяють у ряді випадків одержати більше повний аналіз структури досліджуваної множини об'єктів. Істотною перевагою алгоритмів ієрархічної класифікації є можливість наочної інтерпретації проведеного аналізу у вигляді дендрограми.

Перевога кластерного  аналізу полягає в тому, що він  дозволяє робити угруповання об'єктів  не по одному параметру, а по цілому набору ознак. Крім того, кластерний аналіз на відміну від більшості математико-статистичних методів дозволяє розглядати множину вхідних даних практично довільної природи. Також кластерний аналіз дозволяє розглядати досить великий обсяг інформації і різко скорочувати великі масиви економічної інформації, робити їх компактними та наочними [17].

Результати кластерного  аналізу можуть бути представлені:

1) матрицею близькості (подібності);

2) таблицею кроків  агломерації;

3) таблицею приналежності до кластера;

4) деревоподібною діаграмою  (дендрограмою).

Дуже важливим питанням при поводженні кластерного аналізу  є проблема вибору оптимального числа  кластерів. Досить часто критерієм  об'єднання (числа кластерів) стає зміна  відповідної функції [15]. Оптимальним вважається число кластерів рівне різниці кількості спостережень і кількості кроків, після яких коефіцієнт збільшується стрибкоподібно.

Дослідження проведене для АПК районів Вінницького регіону. Для цього було застосовано ієрархічний кластерний аналіз, що дозволяє класифікувати багатовимірні спостереження.

Необхідність використання кластерного аналізу пов'язана  в даному випадку із тим, що показники  ефективності виробничого потенціалу АПК регіону формуються на базі показників ефективності виробничого потенціалу АПК районів даного регіону. Виникає необхідність формування груп АПК районів із однаковими рівнями ефективності використання виробничого потенціалу АПК з ряду наступних причин:

а) відсутність повних статистичних даних по всім змінним;

б) різке ускладнення обчислювальних процедур при введенні в модель великого числа змінних;

в) оптимальне використання методів регресійного аналізу вимагає  перевищення числа спостережуваних  значень над числом змінних не менш, ніж в 6-8 разів;

г) прагнення до використання в моделі статистично незалежних змінних та ін.

Для виконання розрахунків, було обрано табличний процесор Microsoft Excel, що входить до складу Microsoft Office. Завдяки широкому набору функцій табличного процесору та наявності вбудованої мови програмування Visual Basic for Application, цей програмний інструментарій дозволяє дуже швидко розробляти прості і ефективні засоби автоматизації економічних розрахунків довільного рівня складності а також швидко адоптувати їх до змін зовнішніх вимог або наборів вихідних даних.

Табличний процесор Excel вичерпно документовано, а розповсюджене використання комплексу програмного забезпечення від Microsoft в установах і підприємствах у всьому світі (відзначимо тільки, що 9 з 10 комп’ютерів на Землі працюють під управлінням операційних систем від Microsoft) зумовлює наявність в спеціальній літературі з автоматизації розрахунків, а також в мережі Інтернет великої кількості прикладів вирішення типових задач.

Завдяки цим перевагам табличний процесор MS Excel широко використовується в Україні, а навички з користування ним при проведенні економічних обрахунків викладаються у затверджених Міністерством Освіти та Науки України профільних освітніх програмах для економічних спеціальностей.

Для виконання обрахунків було створено окремий документ Excel, у склад якого був включений, написаний мовою програмування Visual Basic for Application макрос. Вихідними даним для розрахунку є таблиця, розташована на першому листі документу. Кожне спостереження відображено окремим рядком в таблиці вихідних даних, відповідно, кожний показник – окремою колонкою:

– перша колонка відведена для назв спостережень. перший рядок відведений для назв показників;

– другий рядок містить прапорці нормування показника, які вказують програмі проводити чи не проводити унормування по кожному з показників;

– третій рядок таблиці вихідних даних дозволяє фахівцю вказати коефіцієнт ваги кожного з показників при обчисленні відстані між спостереженнями.

Після заповнення вихідних даних слід натиснути розташовану на першому листі документу кнопку “GO”, що запускає виконання макросу. Перед виконанням програма виведе вікно запиту обраної фахівцем кількості кроків агломерації.

У разі якщо розрахунок виконується  на даному наборі даних вперше, треба  залишити незміненим значення 0, тоді макрос виконає повний цикл агломерації з кількістю кроків на один меншою за кількість спостережень, результати виконання будуть представлені у вигляді графіку змін відстаней між поєднуваними на кожному кроці агломерації кластерами та у подальшому дозволять фахівцю у наглядній формі визначити оптимальну кількість кроків агломерації.

Послідовність обчислень:

1. На листі 2 будується матриця нормованих значень показників з елементами

 

       (3.2)

де j = 1, 2, 3, 4 – номер показника, і = 1, 2, ... , n – номер спостереження;

 

       (3.3)

    (3.4)

2. Будується масив Евклідових відстаней між кожними двома спостереженнями. Масив впорядковується по зростанню. В якості відстані між двома спостереженнями z_i і z_v використана "зважена" евклідова відстань, яка визначається за формулою:

 

    (3.5)

де w_l – “вага” показника; .

3. Використовуючи масив відстаней реалізується агломеративна ієрархічна процедура кластерного аналізу. Принцип роботи ієрархічної агломеративної процедури полягає в послідовному об'єднанні груп елементів спочатку найближчих, а потім все більш віддалених один від одного. Відстані між групами визначаються за принципом "найближчого сусіда" – тобто за відстань між кластерами приймаємо відстань між найближчими елементами цих кластерів.
4. На листі 3 будується гістограма відстаней між поєднуваними на усіх кроках агломерації кластерами. Зазвичай оптимальна кількість кроків агломерації представлена на гістограмі у вигляді стрибкоподібної зміни відстані між поєднуваними кластерами. Стрибкоподібне збільшення відстані поєднання на деякому кроці алгоритму свідчить про утворення на попередньому кроці природних для даного набору вихідних даних груп – кластерів із близьких спостережень (додаток 1).
5. На листі 4 виводиться результат – склад кластерів (додаток 2).

В якості групувальних ознак  використані показники, які відображають ефективність виробничого потенціалу районних АПК (додаток 3) та результативний показник діяльності АПК району: прибуток від реалізації продукції сільського господарства в розрахунку на 100 га сільськогосподарських угідь.

Як правило, критерієм  об’єднання стає зміна відповідної  функції, яка використовується для  розподілу об’єктів на кластери. У нашому випадку це квадрат евклідової відстані, визначений з використанням стандартизованих значень (3.5). Процесу угруповання повинно відповідати послідовне мінімальне зростання значення критерію.