Метод анализов документов и его возможности

Метод анализов документов и его возможности

Анализ (греч. «analysis» – разложение) – метод научного исследования (познания) явлений и процессов, в основе которого лежит изучение составных частей, элементов изучаемой системы.

Анализ  документов – это метод сбора первичных данных, при котором документы используются в качестве главного источника информации; это также совокупность методических приёмов и процедур, применяемых для извлечения информации из документальных источников при изучении процессов и явлений в целях решения определённых задач.

Анализ  текста – это процесс получения на естественном языке высококачественной информации из этого текста.

Такой анализ осуществляет практически каждый человек не задумываясь, что он делает именно это. Например, любой читатель книги анализирует содержание, читая её по частям. Одной из наиболее популярных форм анализа текстов является подготовка аналитических справок.  

Термин  «документация» означает процесс формального закрепления данных, полученных из письменных, устных, графических или археологических источников. В связи с чем, для исследователя документ является источником получения информации об интересующем его объекте. Этот источник информации может быть представлен в форме текстового материала, в формате visual media (включая аудио-ленты, фотографии, фильмы, и видеозаписи), а начиная с недавнего времени и в формате электронных данных. Сейчас оценщики используют e-mail переписку, мультимедиа и форумы как новые формы документации, которую нужно тщательно исследовать для достижения целей оценивания.

Целью анализа документации является сбор фактов. Например исследователь может изучить брошюру программы, чтобы определить её основные цели и задачи, собрать дополнительные сведения. Но не все документальные факты подлежат анализу и оценке. Как правило исследователь анализирует документацию для того, чтобы найти те или иные факты в подтверждение гипотезы, которую он уже заранее для себя сформулировал.

(3) Преимущества анализа документации

• Документация содержит полный объем данных

В отличие от коротких выборочных исследований, которые  проводятся оценщиками с целью получения  информации о реализации программы  и позволяют получить крайне ограниченный объем информации, документация по программе ведется с начала её создания до получения конкретных результатов  и их анализа. Поэтому документы  содержат полный объем информации, позволяют оценить общую картину  реализации программы, а также построить прогнозные оценки и выявить основные тренды развития. Некоторые виды информации могут быть эффективно собраны именно посредством анализа документа. Очень часто оценщик должен знать заявленные цели программы, и документы - это источник такой информации. Вместо огромных затрат времени на общение с персоналом программы, подобная информация может быть получена из основных документов.

• Документы содержат более надежную информацию

Информация, получаемая посредством анализа документации зачастую является более достоверной и надежной, чем какая-либо другая. Результаты интервьюирования зависят от репортера, его умения задать «правильные» вопросы для получения релевантной информации – велик субъективный фактор. Интервьюирование основывается на памяти репортера, в то время как анализ документа не подчинен этому недостатку. Полученные со слов опрашиваемых данные могут содержать в себе фактические ошибки в силу неосведомленности респондентов или по причине неаккуратности репортера. Официальная документация как правило тщательно проверяется и свободна от пристрастий и необъективности репортера.

• Анализ документации экономит ресурсы и время

При проведении опросов и интервью необходимо заранее  договариваться о встрече и тратить  на сбор необходимой информации значительное количество времени, после чего полученную информацию необходимо зафиксировать  и выполнить отчет. Ничего из этого  не нужно осуществлять при анализе  документации, так как она может  быть проведена в любое время  и не требует кооперации большого числа людей. Документы часто  находятся в общем пользовании  и доступны в любое время при  минимальных затратах.

• Некоторая информация может быть получена только из документов

Анализ документа  может выявить информацию, которая  не могла бы быть получена через опросы. Например, один исследователь, демонстрируя Ирландское доминирование в Бостонских общественных школах, идентифицировал Ирландские фамилии в списке служащих, определив таким образом, их долю в общем числе служащих. Подчас персонал не склонен отвечать на вопросы, в связи с чем документы остаются единственным источником информации. Крайне сложно получить ретроспективную информацию о программе, особенно если её реализация уже завершилась. Люди, инициировавшие проведение программы, а также активно в ней участвовавшие могут не помнить всех деталей или оказаться недоступными на момент проведения оценки.

(4) Недостатки анализа документации

• Обман со стороны автора документа

Часто документы  пишут таким образом, чтобы программа  выглядела лучше, чем она есть на самом деле. Подобное «приукрашивание» самой программы, хода её реализации и результатов вводит в заблуждение  исследователей и может привести к неправильным интерпретациям и  выводам оценщиков.

• Документ может содержать ошибки

Документ — это письменный отчет и также может содержать некоторые фактические ошибки. Очевидна связь содержания документа с памятью человека, ответственного за его составление. Отчеты могут отражать ошибки клерков, типографские ошибки, погрешность измерения, или содержать прямой обман. Отчеты агентств могут быть неточными или устаревшими.

• Документы не всегда достаточно детализированы

Несмотря на то, что исследователю может быть доступен весь объем документации, зачастую она не будет содержать  большую часть необходимой информации и/или достаточно детализироваться. В Коннектикуте, например, государственные  эксперты, осуществлявшие оценку программы  социальной помощи студентам, получили огромное количество материалов, но так  и не смогли выяснить, на основании  какого критерия из 30000 студентов были выбраны лишь 6000. Если исследователь  заинтересован внутренними процессами и процедурами принятия решения, необходимые данные скорее всего будут недоступны.

• Документы зачастую не содержат определений и остаются неясными

Определения и  категории, используемые в документе, могут не удовлетворять исследователя  и оставаться неясными, что затрудняет понимание сути программы и сбор необходимых фактов для достижения цели. Например, Hendrickson и Barber (1980) описывают оценку программы, когда в документации программы не содержалось ни одного развернутого определения используемых категорий данных, а заново нанятый персонал не имел опыта в сборе и документировании информации.

• Документация подвержена влиянию субъективного фактора

Любой документ отражает в себе то, что думал  и знал на момент составления документа  его автор. Документальные факты  никогда не бывают «чистыми», так  как не могут существовать в такой  форме и всегда являются отражением мысли составившего документ человека. Это значит, что при первом рассмотрении документа, необходимо обращать внимание не на факты, в нем содержащиеся, а на человека, который составил этот документ. В идеале, в первую очередь необходимо изучить автора, а уж затем его документ, с тем чтобы понимать цель его составления и видеть возможные ошибки — намеренные или случайные.

• Документ может содержать нерепрезентативные примеры

Основным критерием  сбора любой информации является репрезентативность выборки. Это делается для того, чтобы полученные данные не содержали в себе концентрации каких-либо сугубо конкретных признаков, а представляли общую картину в целом. Однако документ, как и любой другой источник информации, не защищен от подобной ошибки. Если примеры, приведенные в документе, не являются репрезентативными, то есть характерными для данного явления в целом, исследователь получает неадекватную картину происходящего, результатом чего могут стать смещенные оценки программы и неправильная интерпретация результатов. Единственным способом проверки данных на репрезентативность является сравнение зафиксированной в документе информации с информацией, полученной из других источников другими методами.

Виды  анализа документации

• Отслеживание (англ. Tracking) – это процесс изучения документации с целью сбора информации, которая подтвердит или опровергнет гипотезу исследователя. Когда исследователь начинает изучать программу, результаты её реализации, его интересует, что именно привело к такому стечению обстоятельств, почему произошло именно так, а не иначе. Исследователь строит гипотезу, своё предположение относительно того, что послужило причиной этому, а затем шаг за шагом начинает проверять её путем анализа документов. Для оценки текущих результатов оценщик «возвращается» назад, воссоздавая ту цепочку событий и явлений, зафиксированных в документах, результатом которых стали имеющиеся итоги.
• Анализ содержания документа (англ. Content Analysis) - это метод анализа документации, который заключается в применении научных методов анализа документа с точки зрения его содержания. Основной формой анализа содержания документа является определение четкости и разборчивости текста самого документа, выявление степени его удобочитаемости (англ. readability). Подобный анализ включает в себя определение среднего числа слов в предложении, число общеопнятных слов, число сложных и длинных предложений и число абстрактных идей. Анализ документов с точки зрения их содержания также дает существенное представление о сути программы, которую необходимо оценить.
• Агрегирование имеющихся данных (англ. Case-Study Aggregation Analysis) - это метод анализа документации, который заключается в сборе всех имеющихся исследований, программ и документов на интересующую тему для агрегирования всего массива информации. Данный метод анализа документации позволяет понять, какая информация уже собрана и проанализирована, и какую информацию необходимо собрать. Агрегирование имеющихся данных позволяет собрать весь массив добытых сведений у одного исследователя или оценщика, что позволяет ему более адекватно понять суть той или иной программы.

Определение надежности документа

Существует четыре основных правила для определения  степени надежности документа:

• Неполное наблюдение или плохая память являются причинами неадекватности утверждений. В результате. чем большее количество времени прошло с момента реализации программы до составления документа, тем менее надежен этот источник информации;
• Все документы составляются с определенной целью. Некоторые представляют собой отчеты о проделанной работе, другие составляются как обращение или пропаганда других людей. Чем серьезнее было намерение автора составить простой отчет по фактической реализации программы, тем надежнее документ;
• Чем больше конфиденциальность информации, тем надежнее документ, так как конфиденциальная информация предназначена для внутреннеого пользования "посвященным" кругом людей, которым нет необходимости обманывать самих себя;
• Утверждения опытного образованного исследователя более правильны, нежели заявления простых наблюдателей. То есть чем больше опыт человека, составлявшего документ, тем надежнее информация содержащаяся в нем.

В течение последних  десятилетий большое  распространение  получил метод  изучения документов, известный под  названием контент-анализ (или анализ содержания). Суть этоrо метода состоит в выделении тех или иных сравнительно постоянных элементов текста или изображения, затем систематической фиксации данных элементов (единиц изучаемого содержания) с последующей квантификацией, т. е. количественным выражением качественных признаков. Итак, в итоге выявляется частота использования данных элементов в тексте, что в сочетании с качественным анализом позволяет делать соответствующие выводы об их значимости для автора сообщения, определять его цели, направленность на ту или иную аудиторию и т.д..

Очевидно, что  необходимой предпосылкой количественного  анализа документов является анализ качественный. Исследователь выделяет те или иные единицы анализа в соответствии с целями исследования. При этом необходимо различать единицы счета – те элементы текста, которые подлежат подсчету (т.е. количественные), и смысловые единицы или категории анализа (т.е. качественные). Так, если объектом анализа является тот или иной текст, то единицей счета может быть слово, предложение, параграф, тема и т.п. Выбор соответствующих категорий анализа также обусловлен замыслом исследователя. При анализе текста это могут быть, например, категории «за», «против», «нейтрально», «выгодно – невыгодно», «хорошо – плохо», различные ценности и т.п. Единица анализа может совпадать или не совпадать с единицей счета. Очень важно определить категории анализа как можно более точно, так как в случае, если в анализе документов занято несколько человек, это минимизирует возможные искажения, обусловленные их субъективизмом.