Пилотаж инструментария: как протестировать анкету до запуска

Время – деньги, поэтому исследователи рассылают приглашения к опросу сразу по готовности анкеты. Но спешка с запуском может привести к сбору недостоверных данных, которые приведут к принятию ошибочных бизнес-решений. Избежать этой проблемы поможет пилотажное исследование. Как грамотно протестировать анкету, чтобы собрать ценные инсайты для ее улучшения – читайте в нашем новом материале.

 

 

 

Когда респонденты получают тщательно выверенную анкету, которая учитывает все возможные сценарии прохождения опроса, они чувствуют, что их время не тратят впустую, и серьезнее относятся к прохождению опроса.

Существует несколько способов тестирования анкеты – от самых простых до более комплексных. В зависимости от ниши и масштаба исследования, пилотаж может быть как быстрой проверкой на здравый смысл, так и полноценным этапом исследовательского проекта.

Для небольшого опроса достаточно отправить черновик анкеты нескольким коллегам, в более серьезных проектах исследователи запускают отдельный опрос на тестовой выборке представителей целевой аудитории и проверяют каждый его этап на наличие ошибок.

 

Подготовка к пилотажу анкеты

Если вы работаете над комплексным исследовательским проектом, до проведения пилотажа полезно будет уделить время планированию. Представьте, каким должен быть идеальный результат. Для этого разбейте анкету на компоненты и подумайте, какие из них вы будете тестировать, и как.

Тестируя анкету, можно сфокусироваться на следующих компонентах.

Вступление и получение согласия. Вступление четко обозначает тему и цель опроса, так что пользователи могут дать информированное согласие до того, как увидят вопросы анкеты.

Брендирование и визуальное оформление. Верстка писем, посадочная страница и анкета выглядят привлекательно и оформлены в едином стиле.

Понимание. Респонденты понимают цель опроса, формулировки вступления, вопросов и вариантов ответа.

Логика и плавность переходов. Все элементы анкеты логически упорядочены, ни один из них не выбивается из общей картины, не сбивает с толку и не создает условия для смещения оценок.

Корректность. Формулировки вопросов не могут кого-либо обидеть и не касаются чувствительных тем неподобающим образом.

Длительность опроса. Опрос не требует слишком много усилий: большинство респондентов проходят его, не теряя фокус и интерес.

Технический процесс. Конструктор анкет работает без сбоев и не создаёт UX-проблем на пути респондента.

Методы пилотажа инструментария

Коротко о шести стратегиях тестирования опроса до его основного запуска.

 

Когнитивное интервью

Хороший способ понять, как респонденты воспринимают вопросы. Респондента просят отвечать на вопросы анкеты и рассуждать вслух, воспроизводя свои мысли, чувства, а также степень уверенности в том, что он правильно понимает вопрос. Чтобы собрать до 80% полезной информации, обычно достаточно 5-15 личных интервью.

Во время интервью можно обнаружить двусмысленные формулировки, требующие уточнения, вопросы, вызывающие дискомфорт, а также неполные списки вариантов ответа. Этот метод  также позволяет оценить риски отказа из-за того, что респонденты устают или начинают скучать.

 

Экспертная оценка

Анкету может существенно улучшить обратная связь от двух типов экспертов: 

• Нишевый эксперт, обладающий экспертизой по теме опроса.
• Социолог, который знает, как собрать точные данные под ваш запрос.

Оба этих эксперта помогут сформировать содержание и форму анкеты, чтобы собрать качественные данные и ценные инсайты.

 

Фокус-группа

На первоначальном этапе разработки анкеты полезно собрать фокус-группу для обсуждения анкеты. Формат полуструктурированной дискуссии с 7-15 человек под руководством модератора полезен для уточнения основных понятий, используемых в опросе, оценки чувствительности к теме и сложности опроса.

 

Эксперименты

Разделите выборку на несколько групп и дайте каждой анкету с отличающимся содержанием и дизайном, чтобы лучше понять, какой результат вы получите после основного запуска. Такой эксперимент даст представление о том, как изменения в формулировках вопросов, дизайне анкеты, визуальном оформлении и порядке вопросов влияют на итоговый результат.

 

Пилотажное исследование

Тестирование финальной версии анкеты убережет вас от дорогостоящих ошибок. Для этого формируют небольшую выборку из представителей ЦА. Если вы не планируете тестировать опрос в разных демографических группах, для пилотажа достаточно 50 респондентов. В конце анкеты добавляют вопросы, чтобы понять, как респонденты воспринимают сложность и длительность опроса и насколько они удовлетворены процессом.

 

Анализ данных

О качестве анкеты говорит не только ее общая оценка, но и паттерны прохождения опроса. Они подсвечивают места, где респонденты сомневались, запутались или потеряли интерес. Обратите внимание на одинаковые ответы в вопросах типа матрица, пропущенные вопросы и долю затруднившихся с ответом и сопоставьте их с общей оценкой анкеты.

Используйте знания, полученные в ходе тестирования, чтобы сделать анкету точнее и доступнее для респондентов. Если в ходе пилотажа у вас появились новые вопросы или другие идеи, этот этап можно повторить, чтобы анкета собирала еще больше ценных данных.