А эксперты кто?

Думаю, многие слышали про исследование качества экспертных прогнозов, проведенное Филиппом Тетлоком. На его результаты, в том числе, ссылается в своей книге «Thinking: Fast and Slow» Даниэль Канеман. Для тех, кто не в курсе, процитирую:

Филипп Тетлок, психолог Пенсильванского университета, в 2005 году опубликовал результаты своих двадцатилетних исследований в книге «Экспертные политические суждения – как знать, насколько они хороши?». В ней Тетлок объяснил происхождение «экспертных предсказаний» и создал терминологическую базу для будущих дискуссий на эту тему.

В ходе исследований он опросил 284 человек, зарабатывающих на жизнь предоставлением «комментариев или рекомендаций на политические и экономические темы». Тетлок попросил испытуемых оценить вероятность некоторых событий ближайшего будущего, как в сфере их специализации, так и в других сферах, о которых они имели общее представление. Удастся ли путчистам свергнуть Горбачева? Будут ли США воевать в Персидском заливе? Какая страна станет новым развивающимся рынком? Тетлок собрал более 80 тысяч подобных предсказаний. Вдобавок он спрашивал экспертов, на основании чего они пришли к своим выводам, какой была их реакция, когда предсказания не сбылись, каким образом они оценивали факты, не подтвердившие их мнение.

Результаты всех ошеломили: эксперты выступили бы лучше, если бы отдали равные доли вероятности всем трем вариантам. Иными словами, люди, которые зарабатывают на жизнь изучением определенной области знаний, строят прогнозы хуже, чем невежды, способные разделить сто на три. Даже в области своей специализации эксперты показали примерно те же результаты, что и дилетанты.

Тот, кто знает больше, предсказывает чуть успешнее того, кто знает меньше. Но и на самого сведущего знатока нельзя положиться. Причина заключается в том, что человек, накопивший больше знаний, в некотором роде слепнет из-за иллюзии умения и связанной с ней самоуверенности. Как выяснил Тетлок, чем известнее прогнозист, тем вычурнее его прогнозы. «Востребованные эксперты, – пишет он, – ведут себя более самоуверенно в сравнении с коллегами, на которых вовсе не падает свет рампы».

Тетлок также выяснил, что эксперты отказываются признавать собственные ошибки, а когда их вынуждают к этому, находят массу оправданий (случилось непредвиденное, просчет касался лишь времени события, была веская причина ошибаться и так далее).

Далее Канеман развивает свою мысль, говоря о том, что прогностические способности экспертов — не более чем иллюзия. Однако, несмотря на мою пламенную любовь к автору, я вижу здесь определенную проблему.

И эта проблема кроется в термине «эксперт».

Как Тетлок выбирал экспертов-политологов для своего исследования? Он тщательно проверял квалификацию каждого — или брал тех, кто считается экспертом, кто чаще всего фигурирует в СМИ и лучше умеет надувать щеки?

Не секрет, что комментировать политические события и процессы берутся все, кому не лень. Многие позиционируют себя в качестве «экспертов по всем вопросам». Именно к ним любят обращаться СМИ — журналисту проще иметь под рукой не длинный список специалистов по конкретным темам, а пару телефонов «универсальных» экспертов, готовых комментировать и прогнозировать что угодно. Особенно если у этих «мудрецов» неплохо подвешен язык, а их прогнозы яркие и привлекательные для аудитории.

Но тот, кто знает все, не знает ничего — это древняя, избитая истина. Поэтому, если Тетлок (и вслед за ним Канеман) изучали наиболее «раскрученных», а не наиболее квалифицированных экспертов (а второе куда как сложнее) — результаты их исследований вполне логичны и предсказуемы. И, на самом деле, говорят не о возможности экспертных прогнозов, а о квалификации многих из тех, кто искренне считает себя экспертом.

Это, к слову, справедливо и для современной России, где слово «политолог» постепенно становится ругательным, а квалификация многих из тех, кто называет себя этим словом, обратно пропорциональна их самомнению.