Моніторинг та оцінка виконання програм розвитку сільської місцевості

В  С  Т  У  П

Неформальні оцінки щодо різних питань щоденного життя здійснюються кожним з нас постійно. Оцінка може бути попередньою (наприклад чи варто займатись тією чи іншою справою) або підсумкова, тобто така, яка передбачає оцінювання того, що уже відбулось. Завжди існує вибір і щоб його зробити через Відповідне рішення та дію перед цим потрібно оцінити ситуацію. Це загальний закон нашого життя та діяльності. І ми постійно цим займаємось, свідомо чи не свідомо, в письмовій чи в усній формі.

Таким же шляхом, тобто з використанням оцінки перед прийняттям певного рішення працюють спеціалісти дорадчої служби. В даному випадку використовується термін "оцінка" замість здавалося б доречного в даному випадку терміну "аналіз". Це пояснюється тим, що між даними двома поняттями існує невелика різниця, на яку звичайно не звертають уваги, але в нашому випадку вона має певне значення. Оцінка є більш загальним поняттям, порівняно з аналізові і процес аналізу є складовою процесу оцінки. Так аналіз базується переважно на цифрових показниках, результати його проведення підсумовують фактичні процеси і зовсім не обов'язково приймаються до уваги для прийняття певних рішень на майбутнє. Також аналіз часто є формальним процесом, складовою частиною адміністративної та управлінської діяльності.

На відміну  від аналізу, оцінка базується переважно на інформації нецифрового формату, саме така інформація характеризує результати процесу неформальної освіти та діяльність дорадчої служби в цілому. Так, наприклад, оцінка факту проведення курсів через кількість занять або слухачів аж ніяк не дозволяє оцінити ефективність даної роботи. Наприклад, 25 слухачів прослухали певний курс, - це не результат роботи. Результатом роботи є зміна поглядів слухачів та практичне адаптування ними нових ідей та методів. І тому в процесі оцінки кількісні показники мають вторинне значення, оскільки пріоритетом роботи дорадчої служби є якісні зміни в суспільстві, як відображають різні аспекти покращення життя людей. Тому головне значення в даному випадку мають якісні показники, кількісні відіграють підпорядковану роль.

Крім того, обов'язковою метою проведення оцінки є прийняття рішень та внесення коректив стосовно майбутньої діяльності. Оцінка, як і аналіз, може бути формальним процесом, але такий підхід не є завжди обов'язковим і її потрібно розуміти як процес самооцінки дорадчою службою своєї діяльності. Це не виключає, звичайно, можливого надання іншим організаціям, при потребі, інформації щодо проведеної оцінки. Тобто оцінка є цілковито добровільним процесом, складовою частиною наукового підходу дорадчої служби до вдосконалення організації своєї внутрішньої роботи.

Оцінка програм  дорадчої служби проводиться, як зазначалось, в неформальній формі, наприклад спеціалісти можуть узагальнювати коментарії, висловлені клієнтами випадково і в неформальній атмосфері щодо процесу організації та користі результатів навчання, або спеціалісти при проведенні зборів просять клієнтів висловити їх побажання та поради стосовно покращення роботи дорадчої служби. Крім наведених неформальних підходів до збору інформації для оцінки І в зв'язку з тим, що адміністратори дорадчої служби вимагають регулярного проведення оцінки, оцінка також проводиться через чітко визначену і науково обґрунтовану процедуру з відповідним оформленням її результатів у вигляді звітів та рекомендацій.

Формальне проведення оцінки також є важливим з тієї точки зору, що громадськість уважно слідкує за освітніми програмами дорадчої служби, фінансує їх через виділення коштів з центрального та місцевих бюджетів, тому цілком закономірним є бажання громадськості та органів влади ознайомитись з отриманими результатами діяльності служби у вигляді письмового звіту.

 

 

1.Методологічні основи оцінки

Визначення оцінки. Для оцінки існує таке просте визначення: оцінка - це систематичний та послідовний процес визначення цінності певної особи, продукту або програми. Оцінка корисності програм дорадчої служби є постійним процесом що критично важливих для усіх трьох головних компонентів кожної програми, якими є планування, оформлення та виконання, оцінка. Проміжні оцінки процесу виконання програми часто означають через термін "моніторинг". Оцінка, що здійснюється як етап процесу програмування, повинна давати відповідь на питання "Яку проблему сільської громади програма вирішить?" Моніторинг, що проводиться на проміжному етапі виконання програми повинен дати відповідь на питання “Які заплановані процеси та дії виконуються, що відбувається?". По завершенню виконання програми, під час оформлення оцінки в документальному ії огляді дуже доречним є питання "Чи варто нам спробувати виконувати таку ж програму в майбутньому (або продовжити виконання існуючої)?"

Попередні питання. В процесі процедури проведення оцінки приймається багато різних рішень. Приступаючи до оцінки, перш за все потрібно визначитись стосовно того, що саме буде оцінюватись, тобто визначитись з об'єктом оцінки. Це не таке просте питання, як здається на перший погляд. Дуже важливим першим кроком проведення оцінки є детальний та точний опис того, що буде оцінюватись, і якщо це уже зроблено, тобто детальний опис об'єкту оцінки уже існує, то після цього потрібно дати відповіді на наступні питання.

• Чому це має оцінюватись ?
• Кому потрібно про це знати ?
• Які ресурси часу, людей та коштів потрібні та наявні для проведення оцінки?

• Який метод оцінки найкраще використати в даному випадку ?
• Коли, як, кому і в якому форматі повинні бути подані звіти ?

 

Компоненти оцінки. Існує багато шляхів проведення оцінки, але усі вони містять два елементи: перший - отримання та накопичення фактів, показників і доказів, другий - порівняння отриманих фактів з певними критеріями (рис. 1)

                                                                                                      

      

     Першим компонентом процесу оцінки є збір фактичної інформації стосовно програми, продукту або певної людини. Факти можуть бути в цифровому вигляді або в описовому, їх сукупність є базою даних. Порівняльний аналіз фактів дозволяє зробити висновки щодо їх значення та важливості. Важливо підходити до даного процесу системно, у відповідності до сукупності визначених критеріїв порівняння. Якщо в процесі планування програми завдання були визначені грамотно та чітко, то вони і слугують критеріями для оцінки фактичних даних. Тобто через фактичну інформацію можна зробити висновок, виконані чи ні поставлені завдання. [1.ст.140]

2.Етапи проведення оцінки

Існує п'ять основних етапів або кроків в процесі проведення оцінки. Перші два етапи є плануванням процесу оцінки, останній етап - здійснення оцінки, що є наслідком проведених в процесі оцінки робіт.

Першим етапом в проведенні оцінки є вибір об'єкту оцінки, тобто чітко визначається що саме буде оцінюватись. Об'єктом оцінки є не сама програма, а її змістовне наповнення. Даний етап крім детального опису об'єкту оцінки передбачається також і визначення мети процесу оцінки, встановлюється що буде головним в роботі, -- доведення (підтвердження) чогось чи його вдосконалення. Тобто визначається домінуючий тип певної оцінки-підсумковий чи проміжний. Наступним, другим етапом оцінки є планування стратегії. На даному етапі визначається процедура оцінки,тобто як саме вона буде проведена. Часто зміст оцінки полягає в тому,щоб можна було визначитись з тим,и є зміст в продовженні виконання програми, тобто чи поставлені програмою завдання зберігають своє значення на майбутнє. Після формування плану оцінки переходять до виконання останніх трьох етапів її проведення:

1. Збір фактичних даних;
2. Аналіз бази даних;
3. Звітування результатів.

Тут слід зробити наступне застереження. Іноді трапляється так,що на час проведення оцінки складаються наступні обставини:

• Поставлені перед програмою завдання виявляються невідповідними умовам, що склались;
• Непередбачені раніше завдання стають важливими;
• Ситуація змінилась.

Тому,з метою недопущення помилкових і поспішних кроків, перед початком оцінки корисно перш за все зробити загальний огляд програми і лише після цього приступати до вироблення відповідних критеріїв виміру значення та особливостей програми.

Необхідно також мати на увазі, що залучення представників зацікавлених груп та організацій до усіх видів робіт по проведенню оцінки, де це тільки можливо, є дуже важливим та корисним.

Оцінки, що ґрунтуються на завданнях програми. В процесі планування та проведення оцінки, що базується на завданнях навчальної програми, працівники дорадчої служби використовують ті ж принципи, що використовуються в системі формальної освіти. Більшість засновників дорадчої служби, та науковців, що розглядають систему неформальної освіти через дорадчу службу як науку погоджуються в тому, що оцінка програми повинна базуватись на попередньо визначених завданнях цієї програми.

Значення завдань оцінки. Головним значенням завдань є вироблення процедури проведення робіт в процесі оцінки, другим за важливістю аспектом є використання завдань програми як критеріїв оцінки. Завдання програми також допомагають організувати продуктивне спілкування в процесі обговорення очікуваних результатів оцінки, крім того вони забезпечують схему для оформлення звітів.

Ієрархія Фактичних даних. Фактичні дані можуть мати різну форму та значення. Спільним для них є лише те, що усі вони характеризують результати виконання програми. Тому важливо організувати процес їх збору, опрацювання та використання з використанням системного підходу. Для цього розробляють спеціальні форми документації. [1.ст. 143]

3.Підстави для проведення оцінок.

Підстави для проведення оцінки можна поділити на дві основні групи:

1. Щось довести, підтвердити, виправдати (звітність);
2. Щось вдосконалити.

Очевидно, що більшість оцінок мають подвійне завдання, водночас проведення кожної конкретної оцінки за пріоритетами оцінки можна віднести до першої або до другої групи. Так, наприклад, в процесі проведення оцінок, що мають завданням лише написання звіту, знаходиться інформація, що є корисною для покращення процесу програмування процесу роботи на майбутнє.

Ті оцінки, що головною метою мають забезпечення звітності процесу роботи називають підсумковими. Оцінки, що в головному орієнтовані на покращення організації роботи в майбутньому називають проміжними. Проміжні оцінки забезпечують результат (проведення оцінки), що корисний для вдосконалення програм освітньої діяльності дорадчої служби, тоді як підсумкові оцінки забезпечують такий результат, який важливий з точки зору прийняття рішення щодо продовження або припинення певної програми на майбутнє.

Підстави для проведення підсумкових оцінок:

- збір фактичних даних для написання звітів;

• документування факту досягнення поставлених планових завдань;
• підтвердження (виправдання) понесених витрат;
• оцінити внесок програми та віддачу від неї;
• документування факту використання клієнтами нових методів господарювання;
• підвищення рівня знань партнерів та/або громадськості про програму;
• стимулювання розвитку суспільних відносин дорадчої служби;
• навести докази досягнень програми для таких категорій населення як: виборці, приватні спонсори, представники органів влади, молодь, сім'ї, волонтери та персонал дорадчої служби;
• переконатись, що виправдались найкращі очікування клієнтів;
• визначити економічний ефект від програми для її учасників, для громад та для суспільства в цілому.

Підстави для проведення моніторингу (проміжних оцінок):

- з'ясувати, що працює або що не працює при 
роботі з конкретною аудиторією та в конкретних умовах;

- допомогти підвищити спеціалістам-викладачам дорадчої служби рівень професійної майстерності;

- підвищити рівень ефективності роботи;

- задовольнити особисті побажання. 
Спільні підстави для проведення підсумкових  та проміжних оцінок:

• створити основу для прийняття рішень стосовно початку програм, внесення змін до них та їх припинення;
• обґрунтувати необхідність кадрових змін;
• визначити пріоритети;
• обґрунтувати напрямки виконання програм;
• сформувати погляди;
• розмістити та перерозподілити ресурси. [1.ст.140]