Статьи

Главная » Статьи » Мои статьи

Алексеев А.А. Земля круглая (p < 0,05): Байес, Фишер и другие

Доклад, прочитанный на семинаре кафедры клинической психологии 25 марта 2011 года

Уважаемые коллеги! Как вы можете догадаться из названия, речь пойдет о проблемах статистического вывода в психологии, в частности о задаче статистической проверки нулевой гипотезы. Почему я выбрал эту тему для обсуждения? Ответ простой: у кого что болит, тот о том и говорит. Анализ теорий, планирование экспериментов и анализ данных – моя основная специальность, поскольку я учился в ЛГУ на факультете психологии на специализации «теоретическая и экспериментальная психология». И вот уже скоро будет 40 лет, как я постоянно сталкиваюсь с непреодолимым невежеством большинства отечественных психологов разного уровня подготовки – от студентов до академиков – в области статистического анализа данных. В свое время меня задела за живое оценка состояния нашей физиологической науки, которую дала канадско-американская делегация (кажется, во главе с Разраном), посетившая институт физиологии АН ССС в 30-х годах. Отметив в отчете многие достоинства продолжателей павловской физиологии, авторы отчета выразили сожаление по поводу слабой математико-статистической подготовки наших исследователей, не выходящих за пределы вычисления процентов и средних значений. Я не берусь судить о современных физиологах (думаю, что они все же продвинулись дальше в этом отношении, хотя бы потому, что вынуждены работать со сложной техникой), но к современным психологам в целом можно применить даже более жесткую оценку. Вот лишь один пример.

В книге уважаемого доктора психологических наук, академика АПН (фамилию называть не буду), посвященной проблеме педагогических способностей, приводится структура этих способностей, которые упорядочены (ранжированы по важности) по величине коэффициентов корреляции с некими внешними критериями (успешность работы учителя и т. д.). Все красиво, беда лишь в том, большинство коэффициентов корреляции различается в третьем знаке после запятой. По-моему, эта книга до сих пор входит в список обязательного чтения для аспирантов при подготовке к кандидатскому экзамену по педагогической психологии.

Вы можете сказать, что с 1967 года, когда была издана эта книга, прошло уже много времени, и положение с анализом данных должно бы измениться. Действительно изменилось, только в худшую сторону. Где-то месяц тому назад мне выпала честь консультировать одного претендента на соискание степени доктора психологических наук. Значительная часть выводов в его работе строилась на сравнении коэффициентов ранговой корреляции. На мой вопрос, проверял ли он значимость различий между этими коэффициентами, был дан отрицательный ответ, дополненный встречным вопросом, а разве это нужно делать? Проверять достоверность различий между средними значениями нужно, это он знает (t-критерий!), а между коэффициентами корреляции зачем? На мое замечание, что два выборочных коэффициента корреляции, так же как два выборочных средних, – случайные числа, а значит и различия между ними могут быть случайными, а не закономерными, и значит оценивать статистическую значимость различий просто необходимо, он привел мне решающий, с его точки зрения, аргумент в свою защиту: ни в пакете «Статистика», ни в пакете «SPSS» нет такой опции: сравнение двух коэффициентов корреляции! Действительно нет. В базовой комплектации этих пакетов нет многого, чем должны владеть на уровне прочных навыков психологи-исследователи. И в этом кроется серьезная проблема с исследовательской подготовкой отечественных психологов в наше время.

Раньше, когда не было персональных компьютеров, а доступ к БЭСМ нужно было еще заслужить, мы учились анализу данных вручную, поэтому начинали с теории, и знали все алгоритмы обработки данных изнутри. Правда, не все это знали, но возможность узнать имели все. С появлением персональных компьютеров мы получили неограниченные возможности самого изощренного анализа данных, но при этом в России изменился сам характер исследовательской подготовки.

Наше время отличается переходом обучения по «поваренным книгам» – пресловутая ориентация на практическую подготовку! Типичный пример учебного пособия этого типа – книга А. Д. Наследова «Математические методы психологического исследования. Анализ и интерпретация данных» (2004). Книга хорошая и нужная для студентов, написанная по принципу «делай как я», но только после того, как они освоят теорию хотя бы в объеме единственного доступного для русскоязычных студентов понятного учебника Джин Глас и Джулиан Стэнли «Статистические методы в педагогике и психологии» (1976), не переиздававшегося ни разу!!!. Без этого условия анализ данных превращается в магический ритуал нажатия на кнопки в порядке, указанном в той или иной «поваренной книге». Причем удается приготовить только то «статистическое блюдо», рецепт которого приведен в такого рода книгах. Остальное – как у младенца: не смотрю на это, значит этого и нет. Не сказано о том, что ранговая корреляция была разработана Спирменом и Кендаллом для малых выборок (N < 30), но сказано, что ее следует использовать для оценки связи между переменными, измеренными на порядковых шкалах, ну и давайте считать ранговую корреляцию на выборке в 200 человек! Извините, но это полная чушь. Какой изменчивостью должны обладать переменные, чтобы можно было обоснованно ранжировать 200 случаев! И что произойдет с изменчивостью коррелируемых переменных при применении 5- или даже 9-балльной шкалы?!

Механическое применение статистических процедур, часто идущее в разрез с требованиями здравого смысла, обусловлено, на мой взгляд, сложившимся в отечественной психологии отношением к статистическому анализу данных как декоративному элементу, своего рода «дресс-коду», без которого не войдешь в приличное научное общество. К сожалению, для большинства наших психологов статистический анализ остается только кодом, красивым и непонятным, как древняя письменность майя, никак не влияя на содержательную интерпретацию данных. Эту традицию необходимо преодолевать, хотя бы в свете того, что в новом законе об образовании, который должен обсуждаться осенью, предлагается все вузы сделать научно-исследовательскими, а финансы им выделять только под «интересные» исследовательские программы, представляемые кафедрами.

Перейду к обсуждению нескольких проблем проверки статистических гипотез, которые лежат на поверхности, но, к сожалению, в нашей психологической литературе остаются без внимания, чего не скажешь о литературе англоязычной. Главным образом речь пойдет о ритуале проверки значимости нулевой гипотезы (ПЗНГ) – механическом применении дихотомического решения относительно критериальной величины 0,05.

После шести десятилетий жесткой критики в ведущих международных журналах ПЗНГ по-прежнему живет и здравствует. И это несмотря на то, что критики – весьма серьезные люди. Назову лишь Пола Мила (Paul Meehl), одного из разработчиков MMPI (шкала k, defensiveness) и автора известной книги «Клинический прогноз против статистического» (1954), а также Джейкоба Коэна (J. Cohen), ведущего специалиста Администрации по делам ветеранов (США), в которой он проработал консультантом по анализу данных более 40 лет, из статьи которого я позаимствовал часть названия моего доклада и несколько примеров (Cohen, J. The earth is round (p<0,05) // American Psychologist, 1994, 49, pp. 997–1003). Я выбрал для разбора статью Коэна, поскольку поставленные в ней старые проблемы предстают, благодаря образному языку автора, в необычном, можно даже сказать, гротескном виде. Правда и другие критики ПЗНГ не стесняются в выражениях. Не могу удержаться и не процитировать хлесткую фразу Мила по поводу традиционной ПЗНГ, которую он характеризовал как «потентного, но стерильного интеллектуального распутника, оставляющего на своем веселом жизненном пути лишь вереницу изнасилованных девиц, увы без жизнеспособных научных отпрысков» (Morrison, D. E. & Henkel, R. E. (Eds.). The significance test controversy. Chicago: Aldine, 1970, p. 265). Чем же эта процедура заслужила столь нелестную оценку?

По мнению Коэна, прежде всего тем, что помимо всех прочих вещей, ПЗНГ ничего не говорит нам о том, что нам хотелось бы знать, а мы так сильно хотим это узнать, что из вызванного отчаянием безрассудства верим в то, что ПЗНГ дает нам искомое знание. А хотим мы знать следующее: «При полученных нами данных (D) какова вероятность того, что H0 истинна?» Иначе говоря, мы хотим знать условную вероятность P(H0|D). Однако, как большинству известно, ПЗНГ говорит нам следующее: «При условии, что H0 истинна, какова вероятность получения этих данных (D)?» Т.е., мы узнаем P(D|H0). А это совсем не одно и то же, как неоднократно указывали специалисты на протяжении многих лет.

Итак, P(D|H0) ≠ P(H0|D) (см. формулу Байеса). Когда мы проверяем H0, то находим вероятность того, что данная величина (D) могла бы появиться при условии истинности H0, т. е. P(D|H0). Если эта вероятность мала, тогда можно сделать вывод, что если H0 истинна, то появление D маловероятно. Далее, реальной проблемой всегда оказывается вероятность того, что H0 истинна при условии D, P(H0|D), т. е. обратная вероятность. Когда мы отвергаем H0, мы хотим заключить, что H0 маловероятна, например, p < 0,05. Главная причина, по которой проводится статистическая проверка, заключается в желании отклонить H0 вследствие ее маловероятности! Однако эта вероятность – апостериорная, оцениваемая лишь с помощью теоремы Байеса, для применения которой нужно знать P(H0), вероятность нулевой гипотезы до эксперимента, т. е. «априорную» вероятность. Нам обычно неизвестна вероятность H0. Статистики, исповедующие байесовский подход, справляются с этой проблемой постулируя априорную вероятность или распределение вероятностей. Но для большинства ситуаций в психологии это не подходит. Иногда это можно сделать в психодиагностике, и тогда мы к своему удивлению обнаруживаем, что эта вероятность не так уж мала! По расчетам Коэна, при низкой базовой норме она может оказаться равной не 0,05, а 0,5!

Ошибка обратной вероятности в интерпретации H0 не ограничивается «ученой чернью» (студентами и аспирантами), она многократно встречается в учебниках по статистике, ее делают даже такие выдающиеся исследователи, как Дж. Гилфорд и А. Анастази.

По мнению Коэна, «иллюзия достигаемого неправдоподобия» при применении ПЗНГ очень легко возникает у тех кто изучал статистику по традиционным учебникам для психологов. Проблема заключается в убеждении, что после успешного отклонения H0 весьма высока вероятность того, что повторение данного исследования также приведет к отклонению H0. В своей классической статье «Вера в закон малых чисел» Амос Тверски и Дэниэл Канеман (Psychological Bulletin, 1971, 76, pp. 105-110) убедительно показали, что из-за людских интуитивных представлений, будто данные, извлеченные случайно из генеральной совокупности, являются высоко репрезентативными, большинство членов АПА, присутствовавших на ежегодном съезде, а также на конференции отделения математической психологии АПА, считали, что исследование со статистически значимым результатом будет воспроизводится со значимым результатом на малой выборке. Р. Розенталь (Rosenthal, R., 1993) сказал по поводу этого заблуждения воспроизводимости, что «ничто не может быть дальше от истины, чем такое утверждение», и показал, что при типичном уровне мощности 0,50 для средних величин эффекта, с которыми имеет дело большинство представителей поведенческих наук, шансы того, что в пяти повторениях будут получено не менее трех значимых результатов, составляют 50:50. Меня давно занимают причины стойкости этого заблуждения. Большинству психологов-исследователей известна знаменитая фраза Р. фон Мизеса: «Наша теория вероятностей не имеет отношения к вопросам типа: “Существует ли вероятность того, что Германия вступит в войну с Либерией?”… мы можем сказать, что для применения теории вероятностей у нас должна быть практически неограниченная последовательность однородных наблюдений». Тем не менее, они с необъяснимым упорством продолжают совершать эту ошибку, уподобляясь азартным игрокам, верящим в то, что после девяти выпадений «орла», на десятый раз обязательно выпадет «решка».

Ошибка, часто совершаемая защитниками ПЗНГ и критикуемая противниками этой процедуры, заключается в необдуманном, обычно имплицитном, предположении, что если H0 отклоняется, то тем самым появляются основания для принятия проверяемой теории: если А, то В; имеем В, следовательно А. Однако даже истинная форма этого силлогизма (если А, то В; не-В, следовательно не-А) может быть неверно истолкована. П. Мил (Meehl, 1990) указывал на то, что в добавление к теории, которая привела к проверке гипотезы, обычно существует несколько дополнительных теорий или допущений и оговоренных условий. Именно логическое произведение всех этих конструкций противополагается H0. Поэтому, когда H0 отклоняется, это может быть следствием ошибочности этих дополнительных теорий или оговоренных условий, а вовсе не истинности главной теории, которая и стимулировала проведение данного исследования.

Поэтому даже когда H0 используется и интерпретируется «как следует», с устанавливаемым априори (или гораздо чаще только подразумеваемым) уровнем значимости (почти всегда p < 0,05), она плохо подходит для проверки психологических теорий в ее обычной дихотомической (принять-отклонить H0) форме. Ритуальное дихотомическое решение, будучи объективно и административно применяемым, вовсе не тот способ, каким делается наука.

До сих пор речь шла о нулевых гипотезах (H0) в их предельно общем смысле – как утверждениях о положении дел в генеральной совокупности, или чуть конкретнее, как утверждениях о некотором установленном (заданном) значении параметра генеральной совокупности. Например, «среднее различие в этой совокупности равно 4», «доля лиц мужского пола в данной совокупности составляет 0,75», «корреляция в данной совокупности равна 0,20». Однако, как справедливо утверждает Коэн, почти повсеместной практикой является следующее толкование H0: индекс «ноль» в обозначении нулевой гипотезы превращает ее значение в нуль, H0 = 0. Действительно, для Р. Фишера H0 была гипотезой о сведении различий к нулю, что было обусловлено спецификой биологических задач, для решения которых он разрабатывал свой метод. Сколь бы плохо ни выглядела корректная или некорректная интерпретация ПЗНГ в общем смысле, дела приобретают комический оборот, когда H0 относится к эффекту, величина которого (ES) равна 0 (т.е. среднее различие в популяции = 0), или корреляция в совокупности равна 0, или пропорция самцов в популяции = 0,50, или надежность экспертов (коэффициент согласованности мнений) = 0. Иначе говоря, мы играем в игру, выдвигая H0, которая всегда может быть отклонена, даже на малой выборке! Львиная доля критики ПЗНГ в литературе относится к этому особому случаю, где применение ПЗНГ обоснованно только в подлинном эксперименте, предполагающем рандомизацию (например, селекция растений или контролируемые клинические испытания), или когда любое отступление от чистого случая делается осмысленно (например, в лабораторных экспериментах по ясновидению), но даже в этих случаях доверительные интервалы обеспечивают больше информации. Джейкоб Коэн предложил называть такой вид H0 = ES = 0 «нуль-гипотезой» (Nil Hypothesis) (p. 1000). Исследования Коэном проблемы мощности статистических критериев привели его к заключению, что «нуль-гипотеза» всегда ложна: «Она может оказаться истинной только в недрах компьютера, процессор которого выполняет программу расчета по методу Монте-Карло (и даже в этом случае заблудившийся электрон может превратить ее в ложную). Если «нуль-гипотеза» все же оказывается ложной, да еще в незначительной степени, дело обстоит так, что увеличение выборки даст значимый результат и приведет к отклонению «нуль-гипотезы». Тогда, если «нуль-гипотеза» всегда ложна, есть ли какая-то польза в ее отклонении?» (Cohen, J., 1990, p. 1308).

Дж. Тьюки писал, что «глупо спрашивать, “различаются ли эффекты А и В?” Они всегда различны – дело лишь в выбираемой позиции десятичной точки» (Tukey, J. W., The philosophy of multiple comparisons // Statistical Science, 1991, 6, p. 100).

Вот прекрасный пример из статьи Дж. Коэна. В неопубликованном исследовании Мил и Ликкен составили сводную таблицу из 15 показателей для выборки учеников средней школы штата Миннесота объемом 57000 учащихся: профессия отца, образование отца, образование матери, число сиблингов, пол, порядок рождения, образовательные планы, отношение семьи к продолжению обучения детей в колледже, нравилось ли им учиться в школе, выбор колледжа, образовательный план на 10 лет, религиозные предпочтения, досуговая активность и школьные организации. Все 105 величин критерия хи-квадрат, которые эти 15 показателей давали при кросс-табулировании, оказались статистически значимыми, причем 96% из них на уровне p < 0, 000001. Кто-то может возразить, что при 57000 случаев значимыми на уровне p < 0, 000001 будут очень слабые связи (φ = 0,02 – 0, 03), поэтому не стоит говорить о подобных пустяках. Однако дело в том, что многие из этих связей были значительно больше 0,03!

Мил ввел в научный оборот термин “crud factor” («фактор ерунды»), менее грубо названный Ликкеном «средовым корреляционным шумом». В «мягкой» (soft) психологии «все связано со всем». Мил признался, что ни он сам, ни кто-то еще не располагает точным знанием о величине «фактора ерунды» в какой-либо конкретной области исследований, но «представление о том, что корреляция между произвольно выбранными парами переменных-черт будет, хотя и не буквально нулевой, но настолько ничтожной, что ее не стоит принимать во внимание, несомненно является ошибочным» (Meehl, P. E, 1990, p. 212). Правоту слов Мила подтверждает хотя бы тот факт, что любой из нас в своих исследованиях сталкивался с корреляциями, не поддающимися разумной интерпретации.

И все же, с моей точки зрения, проблемы и парадоксы, о которых так ярко и страстно говорит Коэн, носят частный характер, являясь следствием более общей, можно сказать глобальной, проблемы научной психологи – проблемы измерения. Интуитивно чувствуя это, Коэн приводит в своей статье ряд соображений известного статистика Дж. Тьюки, связывающих ПЗНГ с проблемой измерения.

Тьюки предупреждал, что если исследователям не удается отклонить «нуль-гипотезу» о различии между А и В, все, что они могут сказать, это то, направление различия «неопределенно». Если исследователи отклоняют «нуль-гипотезу», то они могут заявить, что теперь с большей уверенностью могут судить о направлении различия, например, сказать, что «А > В». Но если все мы, как психологи, узнаем от этого исследователя, что «А > В» (p < 0,01), то мы немного узнали. И это обычно все, что мы узнаем. Доверительные интервалы редко можно обнаружить в исследованиях психологов. И это не удивительно, если задаться вопросом о том, какими единицами измерения пользуются психологи.

Тьюки критикует психологов и других представителей наук о поведении, убеждая их в том, что «величина (amount), как и направление, имеет первостепенную важность», и продолжает: «Физики много узнали, накапливая сведения о величинах, а не только о направлениях. Если бы, например, понятие упругости (эластичности) ограничивалось утверждением “когда вы тянете за нечто, это нечто становится длиннее”, то закон Гука, предел упругости, показатель пластичности и многие другие важные понятия вряд ли появились бы … Измерение правильно выбранных вещей на шкале, позволяющей обмениваться информацией, позволит нам создать запас информации о величинах. Такая информация может оказаться полезной, независимо от того, является ли такая шкала интервальной или нет. До открытия второго закона термодинамики, а это было время многих важнейших открытий в области физики и химии, шкала температуры не была, в любом нетривиальном смысле, интервальной. Тем не менее, вряд ли совершенные в это время открытия появились бы, откажись физики и химики измерять температуру и проводить вычисления с такими данными» (Tukey, J. W. Analyzing data: Sanctification or detective work? // American Psychologist, 1969, 24, pp. 83–91).

В той же статье Тьюки (Tukey, 1969) выражал недовольство по поводу широкого использования коэффициентов корреляции. В отличии от коэффициентов регрессии, корреляции подвержены изменению пропорционально выборке, когда исследователи меняют совокупности. Он объяснял предпочтение корреляций исследователями их нежеланием размышлять о единицах измерения

Главная проблема с корреляциями, считает Коэн, состоит в том, что они не дают полезной информации о силе причинных связей, поскольку они изменяются пропорционально степени изменчивости переменных, отношения между которыми они описывают. Причинная связь действует на отдельные случаи, а не на совокупности, члены которых варьируют. Для меня влияние А на В вряд ли зависит от того, принадлежу ли я к группе, которая сильно варьирует по признаку А или к другой группе, которая вообще не варьирует по этому признаку. Вовсе не случайно, что причинное моделирование (иначе, моделирование структурными уравнениями) исходит из коэффициентов регрессии, а не коэффициентов корреляции. Когда исследователи опираются в своих выводах исключительно на «сырые» коэффициенты корреляции, велика опасность попасть на сцену театра абсурда. Прекрасный пример, демонстрирующий разницу в информативности коэффициентов корреляции и коэффициентов регрессии, опять-таки можно позаимствовать из одной статьи Коэна. Полученная на выборке 14000 школьников высоко значимая корреляции между ростом и интеллектом при преобразовании в коэффициент регрессии означает, что для того, чтобы повысить интеллект ребенка со 100 до 130 единиц IQ, потребуется давать ему гормон роста, чтобы увеличить его рост до 14 футов, или до 427 см (Cohen, 1990)!

Чтобы эффективно пользоваться «сырыми» мерами связи и доверительными интервалами, психологи должны начать уважать единицы измерения, с которыми они работают, или разработать такие единицы измерения, чтобы их стали уважать все исследователи, работающие в данной области. Тогда можно надеяться, что добываемые ими данные будут накапливаться и психологические знания станут кумулятивными. В «мягкой» психологии таких знаний крайне мало. Как считает Коэн, начало движения в этом направлении положено созданием процедуры мета-анализа, которая еще далека от совершенства, но по крайней мере привлекает внимание исследователей к величине эффекта. Не трудно представить, насколько более эффективным стал бы традиционный мета-анализ, если бы исследователи стали использовать одни и те же меры для изучаемых ими конструктов. Исследователи смогли бы, наконец, продвинутся вперед с позиции, на которой они в огромном количестве исследований убедительно демонстрируют, что «если это потянуть, оно станет длиннее».

Очевидно, что унификация измерений в психологии – дело отдаленного будущего, если вообще «чистая» или «мягкая» психология вообще сохранит за собой статус науки, а не превратится в какую-то комплексную дисциплину, наподобие психонейроэндокриноиммунологии. Так что же делать исследователям-психологам сейчас? Джейкоб Коэн дает три совета, с которыми, в целом, можно согласиться.

Во-первых, не искать магической альтернативы ПЗНГ, т. е. другого объективного механического ритуала, заменяющего ПЗНГ. Его попросту нет. Рассмотренные выше недостатки этой статистической процедуры можно частично преодолеть путем более глубокой теоретической разработки проверяемой гипотезы. Эмпирические результаты, объясняемые постфактум, дешево стоят. К тому же, теоретическая работа способствует переходу к более совершенным, «направленным» гипотезам, иначе говоря, гипотезам о величине эффекта.

Во-вторых, прежде чем обобщать полученные данные и распространять свои выводы на генеральную совокупность, следует стремиться понять и улучшить их. Образцом для подражания может служить книга Джона Тьюки «Exploratory Data Analysis» (1977), переведенная на русский язык в 1981 издательством «Мир» («Анализ результатов наблюдений: Разведочный анализ»). Есть соответствующие статпакеты (SYGRAPH). К сожалению, книга Тьюки не стала руководством для отечественных психологов.

Как я уже упоминал, наследие Фишера способствовало уделению чрезмерного внимания в психологических исследованиях результатам проверки значимости получаемых данных в ущерб оценкам величины измеряемых эффектов. И третья рекомендация Коэна заключается в том, чтобы мы регулярно сообщали в своих публикациях величины эффектов в форме доверительных границ. «Любому известно», что доверительные интервалы содержат всю информацию, которую можно извлечь из проверки значимости и много больше (например, о возможном действии «фактора ерунды»). Тем не менее, их редко можно обнаружить в публикациях психологов. Как иронично заметил Коэн, главная причина, по которой они не сообщаются, в том, что доверительные интервалы обычно смущающее велики! Но ведь их абсолютная величина должна подталкивать нас в направлении усовершенствования наших измерений, к поискам способов сокращения малонадежной и невалидной части дисперсии наших мер (как сам Стьюдент рекомендовал еще 100 лет назад). Кроме того, ширина доверительных интервалов может служить для нас аналогом анализа мощности при проверке значимости – чем больше объем выборки, тем уже границы доверительного интервала, что говорит об увеличении статистической мощности процедуры ПЗНГ. Некоторые исследователи скептически настроены в отношении доверительных интервалов, если измерения проводятся не по шкале равных интервалов. Однако в этой ситуции может помочь усреднение результатов по данным разных исследователей, и мы получим, пусть приближенную, информацию не только о направлении, но и о величине эффекта.

Индукция долгое время была проблемой в философии науки. Пол Мил любил цитировать слова крупного философа Морриса Рафаэля Коэна: «Все учебники логики имеют в своем составе две части. В первой части, по дедуктивной логике, объясняются ошибки умозаключений; во второй части, по индуктивной логике, эти ошибки совершаются» (цит. по Cohen, 1994, p. 1002). Мы прибегаем к индуктивной логике, чтобы продвинуться от частных результатов к теоретически полезным обобщениям. И как я уже отмечал, в нашем распоряжении целый арсенал статистических методов, которые, при разумном применении, могут облегчить продвижение по этому пути. Однако, помня о проблемах индуктивной логики, мы, в конечном счете, должны опираться, как это делают представители более старых наук, на воспроизведение результатов. По мере улучшения наших инструментов и теорий мы сможем приблизится к применению принципов попперовской методологии в психологических исследованиях.

Категория: Мои статьи | Добавил: Petr001 (29.04.2011)
Просмотров: 2762 | Комментарии: 2 | Рейтинг: 0.0/0
Всего комментариев: 0
Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]