Как улучшить качество данных с помощью рандомизации

Люди не всегда осознанно управляют своим вниманием и делают выбор. Эту особенность человеческого сознания часто используют в работе маркетологи. Например, с помощью эффекта прайминга можно увеличить продажи кофе на вынос. Согласно этому эффекту, восприятие одного объекта оказывает влияние на восприятие последующих. 

Предположим, в кофейне продают кофе в двух форматах: в маленьком и среднем стаканчике. Чтобы увеличить выручку, достаточно ввести в меню большой стаканчик. На его фоне средний стаканчик перестанет казаться таким уж большим, и его продажи вырастут.

Мы также неосознанно подвергаемся эффекту края. К примеру, первый и последний докладчики на конференции запоминаются лучше всего, поскольку люди обращают больше внимания на то, что идет первым и последним. Поэтому если вы выступаете на бизнес-мероприятии с целью привлечения новых клиентов, есть смысл заранее договориться с организаторами об очередности выступления.

Эти эффекты оказывают влияние и на респондентов, когда те заполняют анкету. Поэтому одна из задач исследователя – выявлять и исключать воздействие этих факторов, чтобы получать более содержательные и обдуманные ответы.

В новом материале рассмотрим основные способы, как снизить влияние дизайна анкеты на ответы респондента.

 

 

Смещение оценок из-за фиксированного порядка вариантов ответа

Вопрос с множественным выбором встречается в анкетах чаще всего. В этом случае смещение оценок происходит из-за фиксированного порядка подсказок. Это проявляется следующим образом.

Респонденты склонны чаще выбирать первый вариант из списка. К примеру, респондент видит первый вариант, и он ему подходит, чтобы не прилагать усилия для прочтения списка целиком, он выбирает его и переходит к следующему вопросу. Другой случай, когда респондент торопится поскорее завершить опрос и каждый раз выбирает один из первых вариантов ответа.

Респонденты также склонны чаще выбирать последнюю подсказку. Прочитав длинный список вариантов ответа, лучше всего запомнится последний – так работает наша память. Поэтому респонденту будет проще выбрать именно его.

Наглядно увидеть, как порядок вариантов ответа влияет на полученные результаты, позволяет следующий эксперимент. В ходе него 400 человек спросили, что больше всего раздражает их в работе. У половины респондентов варианты ответа отображались в фиксированном порядке, у другой половины – в случайном.

 

 

На графике синие столбцы отражают результаты при фиксированном порядке отображения вариантов ответа, оранжевые – при случайном. Подсказки расположены в том же порядке, что и в вопросе без рандомизации. 

В результате оказалось, что ответы в двух группах имеют существенные отличия. В вопросе без рандомизации респонденты чаще выбирали первые 5 вариантов ответов, что привело к получению смещенных оценок. Когда тумблер «Случайный порядок отображения подсказок» был активен, у каждого варианта ответа был равный шанс быть выбранным. В результате «грубые коллеги» поднялись со второго на первое место, прибавив 21% процентный пункт.

В конструкторе анкет «Анкетолог» есть простой способ предотвратить смещение ответов. Для этого в настройках вопроса достаточно настроить сортировку ответов в случайном порядке. При этом если вам нужно добавить опцию «Другое»/«Ничего из вышеперечисленного»/«Затрудняюсь ответить», она всегда будет отображаться в конце списка.

 

 

Откройте анкету несколько раз, чтобы убедиться, что порядок вариантов ответа меняется при каждом переходе в анкету.

Но здесь есть и исключения, когда случайная сортировка не требуется. Например, когда варианты ответа можно упорядочить по смыслу, как в шкале Лайкерта от «Совсем не нравится» до «Очень нравится», или когда респонденты уже привыкли к определенному порядку подсказок, например, к спискам городов в алфавитном порядке.

 

Смещение оценок из-за длинного списка вариантов ответа

Чем длиннее список подсказок к вопросу, тем меньше усилий готов затратить респондент, чтобы прочитать и обдумать каждую из них. Список из 10-15 вариантов ответа уже представляет сложную когнитивную задачу. 

Чтобы снизить нагрузку на респондента, вы можете разделить варианты ответа между всеми участниками опроса. Так каждый респондент будет оценивать не все, а только часть подсказок. Конструктор анкет «Анкетолог» позволяет настраивать показ случайной подвыборки подсказок заданного размера.

 

 

В этом примере вы видите тот же вопрос про коллег, но с меньшим количеством подсказок. При каждом переходе в анкету респондент видит случайную подвыборку из 7 подсказок из 10 возможных.

В результатах опроса для каждого варианта ответа вы увидите количество показов и ответов в абсолютном и относительном выражении.

 

Смещение оценок из-за фиксированного порядка вопросов в анкете

Это смещение проявляется в двух случаях. Первый связан с соотношением порядка вопросов и степенью их конкретности. Второй относится к уже упоминавшемуся нами эффекту прайминга, когда восприятия одного объекта оказывает влияние на восприятие последующих. Этот эффект ярче всего проявляется при тестировании рекламных концепций, когда мы просим респондента оценить несколько рекламных креативов один за другим.

 

Порядок вопросов в зависимости от степени их конкретизации

Когда респондентов спрашивают об их опыте, как правило, сначала спрашивают о впечатлении в целом, а затем конкретизируют его с помощью более частных вопросов. Поскольку в случае обратной последовательности мы получим смещенные оценки, а логика опроса будет нарушена. 

В одном из экспериментов респондентов попросили оценить уровень счастья в жизни в целом и в своем браке. Когда вопрос об общем уровне счастья задавали первым, переменные были слабо связаны между собой. Однако когда порядок вопросов изменили, оказалось, что у счастливых супругов уровень счастья в жизни выше, чем у остальных. В результате при первом замере исследователи получили смещенную оценку общего уровня счастья под воздействием предыдущего вопроса.

 

Рандомизация вопросов и страниц при тестировании концепций

Другой случай с высоким риском смещения оценки происходит, когда мы просим респондентов выбрать лучший вариант креативной концепции. Это могут быть видео и аудио реклама, макеты баннеров и печатных материалов, названия, логотипы и слоганы. Чтобы преодолеть это ограничение, создатель анкеты может прибегнуть к одной из двух тактик: рандомизировать порядок вопросов или страниц.

Предположим, вы тестируете два варианта дизайна упаковки. Если все респонденты видят их в одном и том же порядке, первый вариант всегда будет влиять на восприятие второго, но не наоборот. Из-за чего итоговая оценка будет смещенной.

Чтобы получить надежную оценку, активируйте настройку отображения вопросов в случайном порядке. Здесь представлен пример анкеты с рандомизированным порядком отображения вопросов. Пройдите анкету несколько раз, чтобы убедиться, что порядок вопросов каждый раз разный.

Вместо того, чтобы показывать все варианты разом, вы можете добавить каждый вариант и соответствующие вопросы на отдельную страницу и рандомизировать порядок их отображения. После чего сравнить итоговые оценки всех вариантов.

В анкете настроен случайный порядок отображения страниц. Как и в предыдущем случае, анкету нужно пройти несколько раз, чтобы увидеть, как работает рандомизация. При каждом переходе по ссылке меняется порядок отображения страниц.

 

Заключение

При разработке дизайна анкеты нужно учитывать множество факторов, которые влияют на качество полученных данных. Не только содержание, но и порядок вопросов могут стать причиной искажения результатов опроса. Грамотное использование рандомизации объектов анкеты поможет избежать смещения оценок и обеспечит получение надежных опросных данных.