Как понять, искренни ли ваши респонденты

Иногда респонденты невнимательно заполняют анкету, а порой — и недобросовестно. Чтобы исключить получение недостоверных данных, можно использовать специальные вспомогательные вопросы. Рассказываем, какие именно вопросы помогут проверить честность респондентов и что делать, чтобы они работали эффективно.

 

 

Вопросы контроля

Первый тип вспомогательных вопросов, о котором мы расскажем, — это вопросы контроля. Они помогают проверить достоверность данных, непротиворечивость ответов респондентов и оценить качество получаемой информации.

Существует несколько способов использовать их в своем опросе. Например, вы можете размещать схожие по смыслу вопросы в разных частях анкеты, а потом отслеживать, одинаково ли респонденты отвечают на них. Кроме того, можно добавлять вопросы контроля в качестве уточнения основных вопросов. В таком случае основным вопросом будет тот, который задается в более широком смысловом диапазоне и прямой форме, например: «Вам понравился этот торт?». Вопрос контроля же будет предполагать частности и конкретику: «Заказали бы вы этот торт еще раз?». Если опрашиваемый ответит на эти вопросы по-разному, это может означать, что он недостаточно честен с вами.

Заметим, что техника контрольных вопросов предполагает и ряд нюансов. Во-первых, вам необходимо проверить, верно ли респонденты поймут их смысл. Ведь они будут являться переформулированной версией основных вопросов, а иногда даже незначительные изменения в формулировке могут повлиять на понимание смысла. Во-вторых, вы не сможете уверенно диагностировать ложь на основе одного или двух вопросов контроля, для этого вам придется добавить в анкету как минимум 3-4. Если же вы опасаетесь, что респонденты заметят повторяющиеся по смыслу вопросы, то можете комбинировать их с другими методами проверки искренности респондентов.

 

Вопросы-ловушки

Этот тип второстепенных вопросов тоже нацелен на то, чтобы проверить, можно ли доверять респонденту и его ответам. Как правило, в вопросах такого типа респондента спрашивают о чем-то несуществующем, например, о несуществующем товаре. В случае, если опрошенный дает такому предмету какую-либо оценку, вместо того чтобы выбрать вариант «затрудняюсь ответить», это может послужить сигналом, что и другие его ответы не так честны, как хотелось бы.

Так, российский социолог Владимир Ядов в своем исследовании приводит в пример азербайджанских писателей-фантастов, предложивших читателям оценить 41 произведение, среди которых значилась несуществующая книга Н. Яковлева «Долгие сумерки Марса». Оказалось, что ее «читали» 10% опрошенных, и значительной части она не понравилась. В другом опросе Института Социологии среди общественных движений упоминались выдуманные «кухтеристы». Однако то, что такого движения не существовало, не помешало 1,2% опрошенным поддержать его, а 12,8% — высказаться против. Этих респондентов можно подозревать либо в невнимательности, либо в заведомой недобросовестности.

Вопросы-ловушки также полезны, если вы хотите выявить респондентов, неосведомленных в конкретной теме. Это пригодится, если вам нужно провести опрос среди профессионалов и отсеять тех, чьи ответы не помогут вам при анализе результатов. Однако их не стоит использовать при проведении экспертного опроса, так как в этом случае предполагается активное сотрудничество с высококвалифицированными специалистами.

Вопросы-ловушки эксперты тоже советуют либо добавлять в количестве трех-четырех и больше, либо совмещать с другими проверочными вопросами. Даже если респондент неверно ответил на один из них, все же остается вероятность, что его подвела память или он просто неверно прочитал вариант ответа.

 

 

Вопросы-дубли

Чтобы проверить честность респондентов, вы можете включать в анкету вопросы, которые будут полностью повторять добавленные ранее или представлять собой их перифраз. Дублирующие вопросы эффективны, если вы спрашиваете о конкретных фактах, событиях, о поведении в каких-либо ситуациях. Однако они работают хуже, если вы хотите спросить респондентов об их мнениях, оценках или намерениях. В таком случае ответы могут отличаться из-за перемен настроения участников исследования, более глубокого осмысления вопроса или элементарной невнимательности.

Вопросы-дубли лучше использовать только в больших по объему опросниках, так как обычно они не остаются незамеченными респондентами, а необходимость повторно отвечать на одни и те же вопросы может вызывать у них раздражение. Кроме того, специалисты советуют включать в анкету не менее трех вопросов-дублей, что также может отрицательно сказаться на отношении участников к опросу.

 

Функционально-психологические вопросы

Прежде всего к ним относят буферные вопросы и «вопросы-глушители». Они не «ловят» участников опроса на лжи, однако помогают добиться от них более честных и искренних ответов. Во-первых, у некоторых респондентов при прохождении опроса замечается эффект монотонности, то есть отвечая «да» на один вопрос, опрашиваемый может автоматически выбирать такой же вариант ответа и в последующих. В этой ситуации функционально-психологические вопросы помогают вернуть его внимательность. Во-вторых, такие вопросы позволяют разбавить в анкете основные и проверочные вопросы, чтобы респондент не улавливал связи между ними и не подстраивал свой ответ под предыдущий.

«Вопросы-глушители» обычно не имеют ничего общего с основной темой опросного листа. Их назначение — только отвлекать внимание респондента. Например, если вы проводите исследование о молочных продуктах, то в какой-то момент можете добавить: «А теперь несколько о другом. Вам случалось когда-нибудь в жизни быть в Альпах?». Затем продолжить серию интересующих вас вопросов. Заметим, что именно «вопросы-глушители» обычно располагают между основными и проверочными вопросами. А вот ответы на них не учитывают при анализе данных.

Буферные вопросы предназначены для того, чтобы переключить внимание респондента на новый тематический блок анкеты и нейтрализовать влияние предыдущих вопросов на последующие. Часто они представляют собой не только собственно вопрос, но и повествовательную преамбулу, где исследователь может объяснить ход своих мыслей, рассказать о фактах, относящихся к следующим вопросам. Например, после вопросов о свободном времяпрепровождении можно использовать такую формулировку: «Значительную часть своей жизни человек проводит на работе. Поэтому далее мы хотим задать вам несколько вопросов о вашей профессиональной деятельности».

Отметим, что буферные вопросы и «вопросы-глушители» не должны быть тематически связаны с остальными вопросами анкеты, однако необходимо придерживаться хотя бы чисто формальной логической последовательности. Если же вы будете часто и резко перескакивать с одной темы на другую, это также может вызвать у респондентов негативную реакцию.

 

Что делать, чтобы эти вопросы работали

Выше мы описали основные типы вопросов, которые помогут получить качественные результаты анкетирования, а также рассказали о принципах их использования. Однако отдельно отметим еще некоторые правила, о которых важно помнить, чтобы вопросы были действительно эффективны.

• Для начала рекомендуем продумать главные вопросы анкеты и только потом детализировать их вопросами-ловушками, контролирующими и дублирующими вопросами. Это позволит сформировать логику всей анкеты.
• Вопросы контроля следует ставить спустя 3-5 вопросов после основного, чтобы респонденты не уловили прямой связи между ними.
• Для большей уверенности в честности ответа на основной вопрос его можно дополнить не одним, а 2-3 контролирующими вопросами. 
• Однако не следует злоупотреблять количеством проверочных вопросов, а также ставить их друг за другом. Специалисты отмечают, что это ведет к увеличению числа неответивших. Как уже писали выше, лучше комбинировать в анкете несколько разных типов проверочных вопросов.
• Если вы опасаетесь, что респонденты неверно поймут формулировки контролирующих или дублирующих вопросов, протестируйте их на небольшой группе людей. Уже после, устранив все неточности, вы сможете уверенно приступать к полноценному исследованию.