Дмитрий Рогозин: Около 40% данных социологических опросов фабрикуется интервьюерами

Дмитрий Рогозин

Дмитрий Рогозин родился в 1972 году в городе Абазе Красноярского края. В 1994 году окончил экономический факультет Красноярского государственного университета. С 2000 года ведет методическую работу в фонде "Общественное мнение" и во ВЦИОМе.

В 2002 году защитил кандидатскую диссертацию по социологии. С 2003 по 2008 возглавлял в качестве декана Факультет социологии Шанинки – Московской высшей школы социальных и экономических наук. В 2009 году организовал когнитивную лабораторию по тестированию кинофильмов. 

С 2011 года работает в Российской академии народного хозяйства и государственной службы при президенте Российской Федерации. Специалист по методологии социальных обследований, общей теории ошибок в массовых опросах, когнитивном тестировании опросного инструмента.

Ольга Орлова: Результаты социологических опросов играют огромную роль в общественной жизни. На их основе принимаются важнейшие политические решения. Но настолько достоверны их данные? Мы решили спросить об этом по гамбургскому счету специалиста по методикам социологических опросов заведующего лабораторией Института социального анализа и прогнозирования Российской академии народного хозяйства и государственной службы Дмитрия Рогозина.

Здравствуйте, Дмитрий. Спасибо, что пришли в нашу программу.

Дмитрий Рогозин: Добрый день.

О.О.: У вас с вашей коллегой Анной Ипатовой не так давно вышла книга с провокационным названием "Насколько разумна наша вера в бумажные опросы?". Что заставило вас написать эту книгу?

Д.Р.: Мы к ней шли очень давно. И, в общем-то, даже не вдвоем писали, как это бывает с научными изданиями. Там большой коллектив авторов-исследователей. А заставил случай, связанный с тем, что очень часто мы сталкиваемся с теми или иными подделками или поделками в рамках опросных технологий. И когда мы смотрим то, что там происходит, иногда очень сильно удивляемся результатам.

О.О.: Скажите, что вы обнаружили.

Д.Р.: Мы очень часто проводим опросы. И когда мы их проводим, редко смотрим на то, что же там происходит реально в поле. Но если мы в поле это, то когда интервьюеры берут интервью.

О.О.: Это ваш профессиональный термин - "полевые исследования". Это на самом деле когда вы идете в народ и опрашиваете, правильно?

Д.Р.: Не только в народ. Иногда мы идем во власти, иногда мы идем к интеллигентам и так далее. То есть не только народ. Но это то, когда мы куда-то идем. Это все правильно.

Так вот, социологи или социальные аналитики очень редко смотрят, что же там реально происходит в исследованиях. Часто ограничиваются цифрами. И однажды мы решили все-таки добраться до тех самых полей, посмотреть, что же там реально происходит. И сделали такой небольшой экспериментальный план. 

Двое моих коллег устроились работать интервьюерами в один из крупнейших опросных социологических центров. Когда они стали там работать, они столкнулись с такой массой удивительных историй, которые их сопровождали, что, в общем-то, мы очень сильно начали сомневаться в том, какие же данные мы получаем. 

Все началось с того, что супервайзер, это тот человек, который задает интервьюерам идти на опрос, сразу же очень по-доброму, по-матерински отнеслась к нашим девчонкам, сказав: "ну я же не цербер какой: если вы не сможете кого-то опросить, опросите друг друга".

О.О.: Друг друга?

Д.Р.: Друг друга. Или сходите к соседям, если у вас сосед подходящего возраста. И так далее. Потом, естественно, у девчонок были какие-то разговоры с другими интервьюерами, которые тоже делились своим опытом о прохождении этих интервью. Ругались на несчастных социологов, которые составляют такие анкеты, которые не по зубам даже маститым академикам. А уж что говорить о нормальных людях, у которых жарится на сковороде картошка или еще что-то. А тут им нужно разговаривать о большой политике в течение 3-4 часов. Куда это?

Если действительно очень часто анкета, чтобы пройти ее полностью, она занимается очень-очень много времени. И, в общем-то, весьма странно предполагать, что человек готов на нее тратить вот это самое время. А, кроме того, интервьюерам, как правило, в массовых опросах, это в опросах, которые проходят по стандартизированной анкете, платят очень и очень мало. И получается, что над ними висит огромный план, их расспрашивают и их оценивают по полностью взятым анкетам, а не по тому, с кем они поговорили. Соответственно, это все подталкивает к тем или иным фабрикациям в опросах.

О.О.: А к чему это в результате приводит?

Д.Р.: Это приводит к довольно любопытным результатам. Что, по нашим оценкам, где-то около 40-50% всех анкет фабрикуется интервьюерами в той или иной степени. Но здесь нужно сделать одну ремарку. 

Здесь мы не уникальны. Можно было бы сразу закидать тухлыми яйцами и гнилыми помидорами наши опросные центры и начать кричать, что они что-то делают не так. Но, в общем-то, если мы посмотрим на мировую тенденцию и то, что происходит в мире, то когда всерьез начинают говорить об опросах, всегда говорят об ошибках опросов. То есть опрос – это всегда работа над ошибками. 

И в этом смысле нет такого разговора о том, что опрос сделан хорошо или плохо. Опрос всегда сделан плохо. Нам нужно оценить кривизну полученных данных, и после этого мы можем как-то делать выводы о том, доверять этим цифрам или нет.

Как правило, наши исследователи ограничиваются так называемой статистической случайной ошибкой выборки. Наверняка и вы слышали 3.5%, 2.5% и так далее. Этот расчет вообще ни о чем не говорит. Поскольку он делается действительно для случайных выборок, подавляющее большинство выборок неслучайны. И просто некорректно приводить эти цифры. Но реальные смещения, реальные ошибки, о которых я говорю, которые дают интервьюеры, они гораздо больше: 20-40%.

Представьте, мы говорим: президента поддерживает 85% населения. А потом добавляем: плюс-минус 40%. И что? То есть это сказать ни о чем.

О.О.: То есть вы хотите сказать, что погрешность возможна в 40%?

Д.Р.: Погрешность возможна в 40% по некоторым опросам.

О.О.: Объясните, откуда она берется тогда.

Д.Р.: Все ошибки, как правило, разделяются на два типа. То есть один тип – это ошибки репрезентации, то есть то, как мы построили выборку. Действительно ли мы поговорили с теми людьми, которые представляют население.

О.О.: Или которые, как мы думаем, что они представляют население.

Д.Р.: Не которые заявлены. Когда мы говорим о репрезентации, что мы говорим о населении России, есть один очень жесткий критерий к этому: это то, что каждый гражданин, имеющий паспорт России, должен иметь равные шансы попасть в нашу выборку. Здесь теория выборки пошла дальше. Неважно…

О.О.: А на самом деле это не так? Мы имеем не равные шансы?

Д.Р.: И действительно он имеет не равные. Это не самое страшное. Мы должны знать те шансы, которые он имеет, чтобы попасть в выборку. Тогда мы можем пересчитать это на население и получить тот или иной процент. Но, к сожалению, здесь возникает целый ряд ошибок репрезентации. Первая ошибка – это ошибка покрытия. Что это такое? Очень часто мы же делаем выборку не на всем населении, мы же не выстраиваем людей в очередь. Мы должны как-то подобраться к ним. Есть выборки населенческие, которые проходят по месту жительства. В эту основу выборки у нас сразу выпадают люди в местах лишения свободы, такого типа, которые находятся в отпуске, уехали и так далее.

Но что самое неприятное, выпадают и те люди, которые заняты. То есть которые находятся сейчас на работе, которые не расположены разговаривать с интервьюерами. И так далее.

О.О.: В командировках.

Д.Р.: В командировках. Их довольно много. Вторая часть выборки – это выборки, связанные с неответами. То есть мало ведь того, чтобы человек был дома, допустим, или у него в кармане находился сотовый мобильный телефон. Надо, чтобы он был расположен с нами разговаривать. И такой коэффициент отказа, как мы его считаем, доходит до 70-80%. 

То есть мы реально опрашиваем 20-30% от тех, к кому мы обращаемся. Это очень большой вызов к опросным технологиям. Можно было бы сказать: ну все, надо закрывать эту лавочку, переходить к чему-то другому. Но, в общем-то, точно такой же процент и в западных европейских странах. 

Это не говорит о том, что будет ошибка. Это говорит о том, что мы имеем две группы людей. Одна группа с нами хочет разговаривать по нашим опросам. Вторая не желает этого делать. И наша задача как исследователей – оценить, насколько те, кто хочет с нами говорить, отличается от тех, кто не хочет с нами говорить по тем или иным вопросам.

О.О.: Я обратила внимание, что в предисловии к вашей книге сказано: даже у лидеров исследовательского рынка обнаружен чрезвычайно низкий уровень корректно заполненных бланков анкет. Фабрикации и фальсификации, отражаемые в опросах, отражают особую профессиональную культуру, сложившуюся в России за последние 20 лет.

И я хотела понять, какие у вас есть основания полагать, что этот непрофессионализм, на который вы обращаете внимание, что он носит сейчас массовый характер, во-первых. А, во-вторых, почему именно в последние 20 лет? Как это объяснить?

Д.Р.: Если бы только массовый. Тогда бы имели какие-то элитарные центры, на которых могли показать, что у них все нормально. Он носит системный…

О.О.: Канонические методические центры. И на них можно было бы ориентироваться.

Д.Р.: К сожалению, мы можем ориентироваться только на Соединенные Штаты Америки в этом опросе и на часть европейских государств в проведении опросных технологий. Поэтому здесь кризис опросных технологий в нашей ситуации носит даже не масштабный характер, а системный. То есть он у нас заложен уже в сами эти технологии. Проблема заключается в следующем, как я ее вижу, конечно: что на волне перестройки те наши российские социологи, которые занимались теоретические методологическими вопросами, очень сильно увлеклись общественной повесткой. И все вдруг стали неожиданно журналистами.

Майкл Буровой. Я даже не могу сказать, что он приезжает к нам. У меня такое ощущение, что он просто живет, бытует на российской земле, то появляясь в Москве, то в Питере, то в Сыктывкаре, и так далее. В личной беседе как-то упомянул: "Я вообще с недоумением смотрел на ведущих российских социологов в 1990-е годы. Мне казалось, что вот оно, время, когда нужно изучать то, что происходит в глубинке – разговаривать с рабочими, разговаривать с новоявленными предпринимателями, записывать и фиксировать эти факты. А я смотрел на своих коллег, которых чрезвычайно уважаю, Ядова, Здравомыслова, Шубкина, и так далее, и так далее, а они все писали какие-то журналистские статьи". То есть они все издавали книжки о перестройке и так далее.

В этом ничего страшного нет. Страшное началось после. Вдруг как-то так сформировалась, опять же, это, наверное, не вдруг, что полевая работа, работа интервьюера, разговор с человеком, что на самом деле является наиболее важным, фундаментальным фактом всей опросной технологии, стал восприниматься не как социологи, не как наука, а как техническая работа. То есть эту техническую работу может делать кто угодно. Для этого не нужна ни квалификация, ни опыт работы. Не нужно даже желание работы. И вот эта ситуация по большей части продолжается по сей день. Очень часто, приходя в опросные центры, начиная разговор о методологии, а можно много разговаривать о так называемой спроектированной выборке, об анкете, о том, что, предполагается, нормативно должно быть сделано. Достаточно задать вопрос о том, а как же на самом деле это сделано, вдруг обнаруживается, что никто не понимает, как это сделано. Никто и не хочет понимать, потому что как только вскрываются факты того, как реально проходит опрос, у многих исследователей просто опускаются руки.

Если у нас, допустим, 40% анкет заполнили сами интервьюеры, никуда не ходили, мы должны об этом знать.

О.О.: Речь идет о том, что сами исследователи, которые получают на обработку эти данные, они не знают, как они были получены.

Д.Р.: В этом и трагедия. Для них это черный ящик. Тем самым они перечеркивают любую научную деятельность. Как может происходить осмысление этой реальности, когда реальности нет? Реальность – это только те цифири, которые они пытаются анализировать. 

Именно это привело к тому, что у нас возник такой очень странный квазиязык - разговор об опросных данных, который на самом деле часто атрибутирует к опросным центрам, а не к технологии. 

Наверное, у всех на слуху "Левада центр показал какие-то данные", "ВЦИОМ показал", "ФОМ показал". И если, допустим, происходит какой-то сбой в прогнозе, например, на московских выборах. Совсем недавно было очень много сбоев прогнозов в предвыборных кампаниях. То сразу же идет обвинение к организациям как таковым. Как будто организация является собой того левиафана, выплевывающего эти цифры: 70%, 60%. Опросная технология – это очень большое производство. Это конвейер. Нам нужно доходить до конца.

Здесь эта ситуация с опросными технологиями, как это ни странно, похожа на ситуацию, которая описывается коррупционными отношениями. То есть да, поскольку здесь мы имеем какую систему взаимодействий? Мы имеем нормативные отношения. То есть мы знаем, как надо проводить и так далее. И каждый из нас знает, как надо на самом деле, но об этом молчит. Если мы встречаемся на внутренних тусовках с полстерами (полстеры – это те, кто проводят опросы общественного мнения), то очень часто за прямыми вопросами о том, что происходит, следуют улыбки. "Ну, мы-то знаем, как на самом деле это происходит. Что об этом говорить? Об этом не надо говорить".

О.О.: То есть, это такое внутрикорпоративное знание, которое не выносится наружу, потому что вы не понимаете, как это изменить?

Д.Р.: Да ладно бы наружу не выносится. Оно и вовнутрь не выносится. Оно остается таким комплексом неполноценности для каждого исследователя, потому что он знает, что он мало что может здесь на что повлиять. Очень часто это принимается как данность, как то, что так и должно быть.

О.О.: Это и есть профессиональная норма.

Д.Р.: Да, есть профессиональная норма. Что если я составляю вопросы, в общем-то, я ничего не должен знать о выборке. Это две связные вещи. Если я не понимаю, как работает выборка, я не могу брать интервью. Потому что, что может меня сподвигнуть, допустим, звонить в эту квартиру, а не звонить в эту квартиру? Если я не понимаю, как строится выборка, по каким правилам она строится, никто мне не запретит поговорить с этим человеком. Поэтому здесь и возникает вот эта ситуация многомерных социологий.

Ведь самый большой социолог, самый правильный социолог-интерпретатор – это сам интервьюер. Он делает социологию в этом поле. Но только он ее делает на свой вкус, который абсолютно не консистентен не только с мировой тенденцией, а даже с нормами здравого смысла в научной традиции.

О.О.: И поэтому получается, что эти такие корневые методические нарушения не зависят от темы опроса. То есть неважно, будут ли это маркетинговые исследования, связанные с товарами, экономикой или с политикой. То есть проблема не в этом, не в том, про что мы пытаемся узнать, а проблема в том, как мы пытаемся получить это знание, правильно?

Д.Р.: Верно, но с одной поправочкой. Она связана с тем, что на некоторые вопросы это не влияет, а на некоторые влияет очень сильно. И мы видим, допустим, у нас был недавно проведен экспериментальный план. Мы ездили в Вязники. И у нас был опрос, там 900 респондентов опрошено. Мы из них почти 500 прошли второй раз, разговаривая с людьми или выясняя действительно, дошли до них кто-то или не дошли. Таким образом у нас появилась уникальная база данных: мы точно знали, что эти анкеты сфабрикованы, а эти не сфабрикованы. И могли сравнить результаты ответов на конкретные вопросы. Так вот мы обнаружили, что на значимые для нас вопросы, это были вопросы, связанные с внутренней миграцией, сфабрикованные и несфабрикованные ответы совпадали. Это значит, на них не влияет. А на что влияет? Влияет на те вопросы, которые интервьюер не может помыслить. То есть, он не знает их реальных распределений. Допустим, вопрос о загранпаспорте, о поездках за границу, вопросы, связанные с учебой детей в зависимости от стран.

И поэтому, может быть, полстеры и подстраховываются, когда анализируют только линейные распределения. Линейные распределения – это ответы на конкретные вопросы. "Как вы в целом относитесь к Путину? Хорошо, плохо или безразлично". Ответили, и дальше не идут вглубь, кто отвечает, рабочий, журналист и так далее. Почему они не думают? Потому что, как только мы пойдем вглубь, то сразу там ошибки будут очень большие. А в целом на этот вопрос мы ошибки даем уже не очень большие, даже если эти ответы сфабрикованы.

О.О.: Я так понимаю, что одним из очень серьезных моментов, и такой очень важный эпизод, который вызвал глубокую профессиональную дискуссию, это были результаты опроса о поддержке Крыма российскими гражданами. Когда результаты были обнародованы, в Интернете мгновенно родился мем про 86% россиян. А вот уже в профессиональной среде начались такие серьезные обсуждения, и довольно резкие, критические. Что так обеспокоило ученых?

Д.Р.: Даже говоря о моих коллегах, очень многие из них начали буквально скандировать, что социологи после такого опроса никогда не отмоются.

О.О.: Да, эта фраза очень часто транслировалась, что никогда тебе, российская социология, не отмыться.

Д.Р.: Что они полностью подстроились под власть, они забыли не то что даже о своей протестной активности, даже не о профессиональной этике, даже о гражданской этике и так далее. Поскольку всем известно, что социология в большей степени – это левая наука. Марксизм для нее является одним из столпов. И критическая позиция – это позиция социолога.

Так вот, этого было настолько много, что как раз я и мои коллеги, которые не участвовали в организации этого опроса, просто запросили данные в ФОМе и в ВЦИОМе о том, как проводился опрос. И вот здесь мы получили совершенно удивительные факты, поскольку этот опрос проводился на современных технологиях. И мы имели все эти самые параданные, которые позволяли нам провести довольно доскональный, глубокий анализ того, что происходило там. Время опроса, даже не самого опроса, а время, которое прошло от постановки задачи, то есть возникли некоторые люди, которые сказали: нам нужно это знать, давайте это измерять, до подачи этим людям линейных распределений, это тех самых ответов на вопросы, прошло три дня. Три дня.

А теперь давайте подумаем. Это общероссийский опрос, в котором опрошено более 80 000. За три дня! Когда я говорил это американским коллегам, они просто пожимали плечами. "Это невозможно". Это действительно практически невозможно. Здесь мы увидели, как возможно мобилизовать опросный рынок, поскольку здесь основными игроками были ФОМ и ВЦИОМ, но, в общем-то, участвовали десятки опросных центров по всем регионам России. И это было сделано просто в фантастические сроки.

Как правило, маркетологи ухмыляются на неспешность социологов, опросных технологий, говоря, что в маркетинге есть бизнес-заказчик, мы должны делать все быстро. Но ни один из маркетологов никогда бы не взялся за такую работу. Никто бы не взялся за работу, в которой от постановки задачи до результата 3 дня.

О.О.: Но это не говорит о том, что, значит, результат был соответствующий?

Д.Р.: И первое, на что наталкивает мысль: наверное, они все это нарисовали, 80 000. Но у нас к этим 80 000 есть не только 80 000 аудиозаписей, у нас есть аудиозаписи по всем отказам. А это, как я уже говорил, превышает почти в 8 раз эту выборку. То есть у нас есть огромнейший массив записей. 

И вот когда мы начали делать выборку из записей, прослушивать, анализировать, насколько корректны ответы и так далее, и так далее, было обнаружено, что, в общем-то, поддержка Крыма, измерение этой поддержки сделана вполне адекватно. И единственное, что мы увидели – что эта цифра просто шокировала интеллигенцию. Они не ожидали, что действительно такого рода массовая поддержка возможна.

Удивительное другое: что как только были опубликованы эти данные, показывающие, что, в общем-то, никаких подлогов не было, и, более того, технология проведена вполне корректно, никто не признал своей ошибки, просто переключились на другие аргументы, начали искать другие поводы, для того чтобы обвинять тот или иной опросный центр. Это как раз показывает, что, к сожалению, в отличие от естественных наук, наша наука опросных технологий находится в публичном дискурсе. 

Мы постоянно находимся ладно бы под атакой сторонних людей, но под атакой самих себя. Потому что очень часто тяжело отделить себя, свою позицию как гражданина от своей позиции как исследователя в этом вопросе. И это чрезвычайно мешает. Поскольку можно не соглашаться с распределениями о том, кто голосует за Крым, а кто голосует против, но, в общем-то, нельзя делать из этого черный ящик и не смотреть, как люди об этом говорят.

О.О.: Большое вам спасибо за профессиональный интересный разговор. А сейчас блиц-опрос, который подразумевает лаконичные ответы.

Вы можете привести пример самого грубого методического нарушения в вопросе, с которым вы сталкивались?

Д.Р.: Каноническим примером являются такие формулировки: "Скажите, пожалуйста, как вы оцениваете ту или иную программу, и закрыть ее: она сделана хорошо; она сделана хорошо, но можно было бы подумать получше; в мире много хороших программ". Такие попытки сделать оценочное исследование, в котором нет возможности ответить отрицательно, сплошь и рядом встречаются, в том числе, в профессиональном сообществе, но в большей степени в государственных структурах, которые пытаются внедрять опросные технологии в свою повседневную жизнь.

О.О.: Какой вы встречали самый странный непрофессиональный пример трактовки, интерпретации социологических данных?

Д.Р.: Лидер непрофессиональной трактовки данных у нас в России – это опять одна из государственных служб, это Федеральная антимонопольная служба. Поскольку они курируют закон о рекламе, в котором прописано, что нужно знать общественное мнение по тому или иному вопросу, они проводят опросы на веб-сайтах. Вывешивают вопрос, не очень заботясь, кто может на него ответить. Может один человек отвечать 10 раз, а может 20. Но поскольку интереса к этому нет, обычно там отвечают 20-30, максимум 100 человек на тот или иной вопрос.

О.О.: Большое спасибо. У нас в программе был заведующий лабораторией Института социального анализа и прогнозирования Российской академии народного хозяйства и госслужбы Дмитрий Рогозин. 

Сцылко: http://www.otr-online.ru/programmi/dmitrii-rogozin-po-41229.html