Помимо  всего вышесказанного, эксперименты могут также различаться по логической структуре доказательства гипотезы. В этом случае они делятся на параллельные (симультанные) и последовательные (сукцессивные) эксперименты.

      В параллельном эксперименте доказательство опирается на сравнение состояний  двух объектов, экспериментального и  контрольного (в социальных исследованиях это, как правило, экспериментальная и контрольная группа людей) в одно и то же время. При этом экспериментальной является группа, на которую оказал воздействие экспериментальный фактор, контрольной - где этого воздействия не было.

      В последовательном эксперименте контрольная группа отсутствует. Одна и та же группа является контрольной до введения экспериментального фактора и в качестве экспериментальной после того, как этот фактор оказал (или мог бы оказать) предполагаемое воздействие.

Наблюдение и эксперимент.

         Есть ли существенное различие между этими двумя фазами исследования? Вслед за Клодом Бернаром мы скажем, нет, уточняя, однако, при этом, что же их все-таки различает.

         Уже в XIII веке Роджер Бэкон отличал пассивное, обычное  наблюдение от активного, научного наблюдения. При всяком наблюдении, как и во всяком эксперименте, исследователь констатирует какой-то факт. Последний, всегда является, в какой-то степени, ответом на вопрос. Мы находим лишь то, что ищем. Эта прописная истина, однако, многими забывается. В консультациях и лабораториях ломятся шкафы от протоколов наблюдений, ни на что не пригодных ни в настоящем, ни в будущем только потому, что они были собраны без ясно поставленных вопросов. Исходя из этого, понятно, что различие между наблюдением и экспериментом зависит от природы вопроса. В наблюдении вопрос остается, так сказать, открытым. Исследователь не знает ответа или имеет о нем весьма смутное представление. Напротив, в эксперименте вопрос становится гипотезой, то есть предполагает существование какой-то зависимости между фактами, и эксперимент ставит своей целью проверить ее.

         Но существуют также  так называемые «эксперименты для  разведки», когда экспериментатор не имеет ответа па свой вопрос и ставит перед собой цель наблюдать действия испытуемого в ответ на ситуации, созданные экспериментатором. В этом случае отличия, которые можно установить между наблюдением и экспериментом, являются лишь различием в степени между двумя этими процедурами. В наблюдении ситуации определяются менее строго, чем в эксперименте, но, как мы вскоре увидим, с этой точки зрения, существуют разные переходные ступени между естественным наблюдением и спровоцированным наблюдением.

         Третье отличие, также  в степени, между наблюдением  и экспериментом зависит не от контроля ситуаций, а от точности, с которой можно регистрировать действия испытуемого. Наблюдение часто вынуждено довольствоваться менее строгой процедурой. чем эксперимент, и наши методологические соображения о наблюдении будут посвящены главным образом тому, как обеспечить точность наблюдения, не прибегая к стандартизованным ситуациям эксперимента, где число предвиденных ответов ограничено.

         Однако  совершенно очевидно, что все, что  мы говорим о наблюдении, применимо и к эксперименту, особенно если он характеризуется какой-то степенью сложности.

ВИДЫ  ВАЛИДНОСТИ

      Эксперименты  являются средством проверки каузальных  гипотез. По традиции предполагается, что существуют три необходимых  условия для утверждения с  определенной долей уверенности  о том, что отношение между двумя переменными является каузальным и что направление причинности от А к В. Первое условие относится к временной последовательности и формулируется следующим образом: причина должна предшествовать по времени эффекту. Обычно это условие соблюсти нетрудно, если исследователь знает, когда испытуемые подвергались экспериментальному воздействию. В квазиэкспериментах исследователь может сочетать такого рода влияние со своим знанием результатов испытуемых до и после экспериментального воздействия и может связать воздействие с некоторыми показателями изменения зависимой переменной. Исследователь, проводящий истинный эксперимент, знает, что соответствующая рандомизация обеспечивает, в вероятностном плане, предварительную (до введения экспериментального воздействия) эквивалентность различных экспериментальных групп. Поэтому если после экспериментального воздействия обнаружатся различия, связанные с воздействием, то он полагает, что такие различия, по всей вероятности, вызваны экспериментальным воздействием.

      Второе  необходимое условие для обоснованного  вывода о причинной зависимости В от А состоит в том, что воздействие или воздействия должны быть статистически связаны с эффектом, так как, если возможная причина и эффект не связаны друг с другом, одно не может быть причиной другого. Для проверки существования такой ковариации используются статистические  показатели; разработаны критерии для принятия решения о существовании «действительной» ковариации в результатах. Таким образом, статистические показатели действуют как фильтры. К, сожалению, они подвержены ошибкам даже в тех случаях, когда используются должным образом;  с их помощью не всегда удается выявить как действительно существующую, так и ложную композицию ковариации. Поскольку использование статистических показателей ведет к весьма, важным решениям, разумно было бы показать те причины, которые порождают неверные выводы о ковариации. Обозначим их как угрозы для валидности статистического вывода.

      Третье  необходимое условие каузального вывода устоит в том, что не должно быть правдоподобного альтернативного, объяснения появления В помимо А. Это условие труднее всего соблюсти в связи с другими  обстоятельствами. Первое — относящееся в основном к квазиэкспериментам — связано с валидностью альтернативных интерпретаций, которые предполагают, что кажущаяся каузальная связь А и В фактически может быть обусловлена действием третьей переменной, которая и вызывает изменения В. К примеру, можно Установить на фабрике новую машину и отмечать, связано ли это с ростом производительности труда. Если это так, то можно приписать это увеличение нововведению. Однако всегда существует вероятность того, что это увеличение никак не связано с новой машиной и может быть обусловлено сезонным ростом производительности, который происходит в такое время каждый год. И это только один из примеров такой третьей переменной, и в дальнейшем мы представим систематизированный перечень таких дополнительных переменных, обозначая их как угрозы для внутренней валидности.  

Существование угроз  для внутренней валидности наводит на мысль, что предполагаемая каузальная связь может быть лишь видимой. Это отличается от второго значения «альтернативной интерпретации», когда А, которым манипулируют, и В, которое измеряется, и в самом деле каузально связаны, но существуют сомнения, действительно ли эмпирические операции осуществляются с объектами, представленными конструктами А и В которые исследователь пытался применить для обозначения А и В. Большинство теоретических контроверсий в психологии именно такого рода — например, контроверсии о том, можно ли объяснить связь  между увеличением оплаты и более высокой  производительностью  тем, что высокая зарплата формирует чувство неравенства или разрушает ожидания или «Я-концепцию» и т. д. В таких исследованиях речь  идет не о внутренней валидности, то есть не о том, являются ли изменения в оплате причиной изменений в производительности. Скорее, это вопрос о том, как оплата должна быть выражена в терминах соответствующей теории, доступных обобщению. Другой пример: для некоторых исследователей проблема интерпретации известных хоуторнских экспериментов Ротлисбергера и Диксона  заключается в обозначении того, что заставило женщин увеличить производительность труда, а не в определении того, действительно ли экспериментальное вмешательство привело к этому увеличению. Был  ли каузальной переменной сам факт изменения независимо от его характера, или обратная связь, несущая информацию о поведении обследуемого и содержавшаяся в новых изменениях, или же это следствие возрастания групповой сплоченности, или следствие нового восприятия интересов руководства, или еще что-нибудь? Мы рассматриваем опасности для «конструктной валидности», которые следует понимать как угрозы для правильного обозначения причины и эффекта с помощью  абстрактных терминов, взятых из обыденного языка или из формальной теории. В действительности проблемы  «конструктной валидности» несколько шире и, очевидно, имеет отношение  к попыткам обозначения любых аспектов эксперимента, включая характер обстановки, в которой проводится эксперимент, особенности участвующих лиц и т. д.

 Стоит отметить, что термин «внутренняя  валидность» в прошлом употреблялся не вполне правильно, потому что с  его помощью выражали как сомнения в правильности вывода о причинных связях между А и B, так и сомнения в том, как следует обозначать причину и следствия. Такое смешение понятий может возникнуть вследствие того, что альтернативные интерпретации должны быть отброшены в процессе установления как внутренней, так и конструктной валидности.

 Однако  установление внутренней валидности предполагает отбрасывание альтернативных интерпретаций вероятных каузальных связей между А, которым манипулируют, и В, которое измеряется, а установление конструктной валидности предполагает отбрасывание альтернативных интерпретаций того, как А и В соотносятся с гипотетическими понятиями. Поскольку в экспериментах крайне важно выяснить, является ли связь между двумя переменными каузальной, необходимым условием для выведения заключения о  каузальности является отбрасывание альтернативных интерпретаций. Связи между переменными (то есть устранение угроз для внутренней валидности), а не отбрасывание альтернативных интерпретаций операций с причиной и следствием (то есть угроз для конструктной валидности)

  Хороший эксперимент: (а) делает ясной временную  последовательность. (б) достаточно чувствителен и действен для того, чтобы показать, что вероятные причина и эффект взаимосвязаны (ковариантны). (в) исключает возможность влияния третьих переменных, которыми можно было бы объяснить связь между причиной и эффектом. А также (г) исключает альтернативные гипотезы о конструктах, включенных в эту связь.  Полезно сделать еще один шаг. Заключение  каузальной связи в какой-то промежуток времени, в одной обстановке и при одной выборке испытуемых дает мало уверенности в том, что обнаруживаемая каузальная связь является устойчивой. Вопрос о возможности обобщения результатов для различных периодов времени, различных условий и групп, мы рассматриваем, как вопрос о  внешней валидности, и вкратце перечислим угрозы и для этого вида валидности.

  Сказанное не должно создавать впечатления, что  эксперимент является единственным средством установления каузальности. Такая наука, как астрономия, развивалась без экспериментирования отчасти потому, что ей посчастливилось иметь надежные методы наблюдения и количественные теории, позволяющие предсказывать точное местоположение, точные орбиты и временные интервалы движения в пространстве. Точность численных предсказаний означает, во-первых, что предсказания могут быть проверены самым тщательным образом и, во-вторых, что различные теории, на основе которых  делаются различные численные предсказания, могут быть противопоставлены друг другу. Это не значит, что в астрономии решены все проблемы валидности или что исследователь может отказаться от детального анализа всех возможных альтернативных гипотез и тщательного сопоставления их с данными для того, чтобы выяснить, могут ли они быть отброшены. Мы хотим сказать только, что было бы меньше угроз валидности, если бы измерения были такими же надежными, как в астрономии, а теории столь же точными.

  К сожалению, социальным наукам не посчастливилось иметь столь же точные теории, столь же надежные измерения или повторяющийся циклический порядок в результатах наблюдений. Представьте себе, что обнаружено различие в производительности труда работника до и после того, как он прошел специальное обучение. Как мы можем определить, что в этом различии следует отнести за счет собственно обучения, что за счет естественного развития работника, или улучшений в навыке выполнения задания при обследовании, или в результате различных событий в жизни человека, которые оказывают влияние на зависимую переменную между предварительным тестированием и тестированием после экспериментального воздействия, и что объясняется любым сочетанием этих факторов? Более того, даже если бы мы могли определить конкретные численные величины, связанные с каждым из перечисленных выше объяснений, можно ли быть уверенными в том, что нам удастся измерить соответствующие результаты с такой надежностью, которая позволила бы осуществить выбор между теориями? Ответ на эти вопросы; зависит, конечно, от величины предсказываемых различий в приросте производительности труда и от конкретного вида проверки. Мы полагаем, однако, что в социальных науках найдется не много не экспериментальных условий, в которых точные предсказания могли бы быть с успехом использованы для проверки конкурентных гипотез.

  Хотя  предшествующее изложение наводит на мысль, что эксперименты более пригодны для проверки предположений о причинности, чем не экспериментальные исследования, из этого не следует делать вывод, что эксперименты являются надежным средством получения ответов на все вопросы, связанные с проверкой гипотез о каузальных связях. Перечень угроз внутренней и внешней валидности, валидности статистического вывода и конструктной валидности, а также выявление взаимосвязей между этими видами валидности делают очевидным несовершенство экспериментирования. Экспериментальные планы нуждаются в улучшении, могут и должны быть улучшены, чтобы способствовать установлению каузальной зависимости. Но мы заблуждались  бы, если бы считали, что один эксперимент или даже целая исследовательская программа, рассчитанная на несколько лет, могли бы дать окончательный ответ на основные вопросы, связанные с надежным установлением каузальной связи, обозначением ее составляющих и определением возможности обобщения вывода.

Факторы, угрожающие внутренней и внешней валидности

      12 факторов, угрожающих валидности  различных экспериментальных планов. Основным при составлении этого  списка было различение внутренней и внешней валидности.