Методология 07 сентября 2022

Как с помощью статистических методов сократить время заполнения анкеты

Сегодня из-за растущей «усталости» респондентов, а также доли анкет, заполненных на мобильных устройствах, исследователи всерьез обеспокоены качеством данных, получаемых в ходе онлайн-опросов. Специалисты компании YPulse проанализировали ответы молодых респондентов и обнаружили, что уже после 13 минуты каждый шестой участник прервал опрос, а после 16 – каждый четвертый. Как сократить время заполнения анкеты, не жертвуя при этом полнотой данных, – рассказываем в новом материале Института общественного мнения «Анкетолог».

 

 

После того, как вы составили анкету, вы уже можете примерно оценить, сколько времени займет ее заполнение. Считается, что для получения качественных данных длительность анкеты не должна превышать 10 минут.

 

Качественный и количественный пилотаж инструментария

 

Следующий обязательный этап исследования – пилотаж инструментария. С его помощью исследователь проверяет качество анкеты для сбора первичных данных, чтобы затем уточнить и скорректировать ее.

Сначала апробацию инструментария проводят методом глубинного интервью. Исследователь просит информантов заполнить анкету, а затем своими словами рассказать, какие моменты вызвали у них затруднения. 15-30 интервью с представителями целевой аудитории уже будет достаточно, чтобы взглянуть на анкету глазами респондента и выявить проблемные вопросы.

Поскольку большинство методов сокращения анкеты основано на анализе статистических данных, социологи рекомендуют проводить второй этап пилотного тестирования анкеты тем же методом, что и сам опрос. Так вы сможете собрать нужные данные, чтобы определить избыточные вопросы и требования к объему выборки.

 

Статистические показатели проблемных вопросов

 

На основе данных пилотажного исследования или предыдущих опросов (если это трекинговое исследование), вы можете проанализировать статистические показатели «усталости» респондента:

  • Доля респондентов, прервавших опрос;
  • «Шаблонные» ответы на вопросы;
  • Уменьшение времени ответа на вопрос.

Как правило, доля респондентов, которые прервали заполнение анкеты, не превышает 1% для каждого вопроса. Если этот показатель больше 3%, это тревожный звоночек: возможно, респондент не может перейти к следующему вопросу или не нашел подходящий вариант ответа.

Другим индикатором «усталости» могут быть шаблонные ответы на вопросы, когда респондент из раза в раз выбирает один и тот же или случайный вариант ответа. Чтобы определить респондентов, которые отвечают на автопилоте, исследователи включают в анкету специальные вопросы-ловушки и контрольные вопросы.

На то, что респондент потерял интерес к опросу, может также указывать среднее количество времени, затраченное на ответ. В среднем, по мере прохождения опроса респондент отвечает на каждый последующий вопрос быстрее, чем на предыдущий. Как правило, у респондента уходит не менее 2 секунд на каждую строку в табличном вопросе и 0,5 секунды на каждую подсказку в вопросе с множественным выбором. Если эти значения меньше пороговых, это сигнал к тому, что нужно пересмотреть структуру вопроса.

 

Выявление избыточных вопросов

 

Итак, вы поняли, что анкета получилась слишком сложной и длинной. Один из способов сократить анкету – найти и исключить избыточные вопросы, ответы на которые частично или полностью дублируют данные ранее ответы. Такие вопросы чаще всего встречаются в списках утверждений или парах антонимов для оценки.

Чтобы определить избыточность вопроса, необходимо рассчитать коэффициент корреляции Пирсона для всех пар ответов. Если значение коэффициента для пары больше ±0,65, рекомендуется убрать один из вопросов или показывать его только половине респондентов.

 

Выявление статистически незначимых параметров

 

Довольно часто в анкетах встречаются вопросы с длинными списками вариантов ответов. При этом часть подсказок может описывать поведение, характерное для очень небольшой части аудитории. Полученные данные будут избыточными, а респонденты затратят усилия, чтобы прочитать и оценить каждый вариант ответа.

Чтобы сократить список вариантов ответов, рассчитайте статистическую ошибку для вашего объема выборки при 95% уровне значимости и исключите опции, частота выбора которых меньше этого значения. Вместо них добавьте поле «Другое», чтобы охватить другие возможные ответы и не ставить респондентов в тупик. Причем необязательно оставлять специальное поле для ручного ввода ответа, так как собранные таким образом данные редко находят практическое применение.

 

Установление квот на каждый вопрос анкеты

 

Другая хитрость, которая позволяет сократить время заполнения анкеты, состоит в том, что для достижения статистической значимости разные вопросы требуют разного количества респондентов. К примеру, для бинарного вопроса с вариантами ответов «да» или «нет» нужно в разы меньше респондентов, чем для вопроса с множественным выбором из нескольких вариантов ответов. Основная сложность заключается в том, что анкета чаще всего включает в себя разные типы вопросов, которые требуют разного количества респондентов.

Объем выборки для отдельного вопроса зависит от разброса данных, зная который, можно рассчитать выборку для каждого вопроса и установить для него соответствующую квоту. Таким образом, можно существенно сократить время прохождения опроса для отдельно взятого респондента. 

 

Выявление устойчивых показателей

 

В трекинговых исследованиях можно также отслеживать динамику ответов на каждый вопрос от волны к волне. Может оказаться, что ответы на одни вопросы менее подвержены колебаниям, чем другие. Такие вопросы можно убрать из некоторых волн или установить для них квоту на количество респондентов.

 

Деление анкеты на смысловые блоки

 

Чтобы сократить длительность опроса, исследователи также применяют метод деления анкеты на модули. Модули могут распределяться между участниками исследования двумя способами: в первом случае респондент отвечает на все части анкеты, но в разное время; во втором – респондент отвечает на несколько блоков вопросов, при этом размер выборки увеличивается, чтобы компенсировать недостающие данные. Такой подход, кроме прочего, позволяет использовать данные «брошенных» анкет, тем самым, расширяя объем значимой выборки.

 

Краткие выводы:

 

Популярные материалы