Как отобрать респондентов для качественного юзабилити-тестирования

Состав и структура выборки во многом определяют качество полученных в ходе тестирования данных. Неподходящие респонденты сообщат о сложностях, нерелевантных для пользователей продукта, но при этом пропустят действительно значимые проблемы из-за отсутствия опыта, навыков и знаний, которыми обладает целевая аудитория.

Анна Исламова, руководитель отдела UX-исследований в компании UsabilityLab, специально для Института общественного мнения «Анкетолог» рассказала, по каким критериям нужно формировать выборку для юзабилити-тестирования, чтобы получить релевантные результаты.

 

 

Сколько респондентов нужно для юзабилити-тестирования

Как правило, чтобы обосновать количество респондентов, необходимое для тестирования, специалисты ссылаются на Якоба Нильсена, который показал, что 5 респондентов находят 85% всех проблем взаимодействия, вероятность обнаружения которых равна 31%.

На практике выборку обычно расширяют до 6-8 респондентов, так как при четном количестве проще соблюдать квоты (например, по полу, возрасту).

При этом важно понимать, что 5-8 человек будет достаточно, если каждый из них будет взаимодействовать с интерфейсом одинаково. В действительности такое встречается крайне редко: всегда можно выделить группы пользователей, которые действуют по разным сценариям и используют разные функции продукта. Поэтому для теста мы приглашаем по 5-8 респондентов из каждой группы пользователей.

Чтобы найти баланс между затратами на юзабилити-тестирование и полнотой данных о проблемах взаимодействия, нужно выделить ключевые группы пользователей продукта. Как их сформировать и какие критерии отбора использовать в первую очередь – разберем на примере выборки для сайта застройщика.

 

Базовые критерии отбора: цель и опыт использования продукта

В качестве базовых критериев отбора, которые формируют каркас выборки, берут опыт использования или намерение в скором времени использовать интересующие нас функции, а также цель использования продукта.

 

Опыт использования продукта

 

С теми, кто уже использует продукт, все просто: мы формируем группы опытных и неопытных пользователей.

Представим, что нам нужно отобрать респондентов, чтобы протестировать сайт застройщика. Для этого нужны те, кто в данный момент совершает выбор и покупку квартиры впервые, и те, кто делает это уже не в первый раз.

В первой группе мы увидим, как действуют пользователи с минимальным опытом, кто, возможно, не до конца знаком с процессом выбора и покупки жилья. Им, к примеру, может потребоваться больше справочной информации на сайте.

Группа опытных пользователей поможет вскрыть проблемы, с которыми сталкиваются те, кто уже покупал жилье и знаком с нюансами этого процесса. К примеру, они могут тщательнее выбирать объект и застройщика, так как столкнулись с проблемами во время прошлых сделок.

В качестве критериев «опытности» лучше брать интенсивность, а не длительность использования продукта. Показателями интенсивности могут быть частота обращения к продукту, продолжительность сеанса, спектр решаемых задач и т. д.

Здесь нагляднее будет пример с финансовым приложением. Сложно назвать опытным пользователя, который начал отслеживать бюджет два года назад, но делает это от случая к случаю и использует только общие категории трат. В данном случае опытным будет считаться тот, кто начал вести бюджет полгода назад, но делает это регулярно и подробно: настраивает вложенные категории, устанавливает лимиты расходов и т. д.

 

Опыт использования продуктов конкурентов

 

Также стоит учитывать, как клиент решает задачу в настоящий момент: с помощью вашего продукта, продукта конкурентов или другой альтернативы. Потому как рано или поздно клиенты конкурентов могут обратиться к вашему продукту, и важно, чтобы переход не вызвал у них затруднений. Более того, перенос опыта – один из базовых принципов освоения новых продуктов. Поэтому если на тестировании окажется, что знакомые паттерны не работают, это будет считаться барьером к смене продукта.

Вернемся к нашему примеру: нам нужно пригласить тех, кто рассматривает нашего застройщика в качестве основного варианта, и тех, кто, возможно, даже не обращался на его сайт, но активно рассматривает других девелоперов.

Первые будут работать с сайтом максимально естественно, так как они и в реальной жизни прямо сейчас подбирают квартиры на тестируемом сайте.

Вторая группа сможет указать на сильные и слабые стороны интерфейса, сравнивая наши решения с решениями конкурентов.

Можно также пригласить тех, кто ищет объекты на сайтах-агрегаторах, их интерфейс тоже помогает решать задачу выбора недвижимости, но устроен несколько иначе.

Основное требование к клиентам конкурентов – они не должны резко негативно относиться к тестируемому продукту. Иначе личная неприязнь повлияет на восприятие интерфейса и исказит результаты тестирования. Соответствующий вопрос можно даже включить в скрининговую анкету. Например, «Кого из конкурентов вы бы не стали рассматривать при выборе жилья?».

 

Намерение использовать продукт в ближайшем будущем

 

Сложнее обстоит дело с тем, как определить намерение человека использовать продукт в ближайшем будущем. Но есть пара приемов, чтобы подобрать наиболее подходящих по этому параметру респондентов. Первый заключается в том, чтобы правильно определить максимально возможный срок, в течение которого люди предполагают обратиться к продукту. Для этого нужны реальные данные о пути клиента и длительности этапа принятия решения в начале этого пути.

Продолжая пример с застройщиком, мы предполагаем, что покупка недвижимости редко происходит спонтанно, и намерение формируется в течение нескольких месяцев. Поэтому можно приглашать респондентов, которые планируют покупку в ближайшие два-три месяца.

Второй прием состоит в том, чтобы определить действия людей, которые приближают их к использованию продукта.

Заявление «планирую купить квартиру» еще не гарантирует того, что это случится. Поведение надежнее слов: если человек уже изучал цены на жилье в выбранном районе, подписался на рассылку о стартах продаж, советовался со знакомыми, на что обратить внимание при выборе объекта, – вероятность того, что он и правда находится в процессе выбора квартиры, существенно выше.

Респонденты, которые только планируют использовать продукт, будут разбираться в интерфейсе с нуля и столкнутся с максимально возможным количеством проблем, которые новички и тем более опытные пользователи игнорируют или уже научились преодолевать.

 

Цель использования продукта

 

Последний, но не менее значимый базовый критерий отбора – цель использования продукта. Независимо от опыта, люди обращаются к продукту с разными целями, которые могут влиять на сценарии взаимодействия.

В случае с выбором квартиры пользователи будут предъявлять разные требования к объектам и по-разному пользоваться сайтом застройщика в зависимости от того, покупают ли они жилье для себя или для сдачи в аренду.

Пользователи приложения для контроля финансов могут обращаться к разным функциям продукта: одни хотят не превышать траты в выбранных категориях, другие – накопить на крупную покупку, переводя свободный остаток на сберегательный счет. 

Соотношение представителей разных групп может отличаться в зависимости от продукта. По умолчанию пользователей с опытом должно быть больше, чем потенциальных, а клиентов конкурентов больше, чем своих. Из тех, кто уже пользовался продуктом, можно взять 50/50 пользователей с меньшим и большим опытом.

 

Устройство и операционная система

 

Мы рассмотрели два базовых критерия – опыт и цели использования продукта. При этом юзабилити-тестирование могут также проводить на разных платформах. В этом случае устройство, с которого респондент будет проходить тестирование, будет определять размер выборки наряду с базовыми критериями.

Если мы тестируем веб-версию для десктопа и мобильное приложение, количество респондентов удваивается, так как интерфейсы существенно отличаются друг от друга.

Если исследуем мобильную веб-версию и приложение, которые не сильно отличаются по структуре и компоновке экранов, — выявленные проблемы могут быть схожими, поэтому для теста достаточно будет 4-5 человек на каждую платформу.

Когда мы тестируем интерфейс на разных платформах и использование того или иного девайса становится для нас критерием отбора, исследователи просят респондентов выполнять задания с личных устройств. Это несомненный плюс — человек уже знаком с устройством, и у него не возникает сложностей с его освоением, как если бы в лаборатории исследователь предложил ему работать на тестовом устройстве.

Вместе с тем, некоторые проблемы (как правило, технические или ошибки вёрстки) могут проявляться на отдельных устройствах и операционных системах. Поэтому нужно отдельно фиксировать марку и модель устройства, версию операционной системы, браузера или приложения.

Чтобы не тратить время на самом тестировании, можно заранее вместе с инструкцией для подключения к видеоконференции отправить пояснения о том, как найти эти сведения в настройках устройства, и попросить прислать скриншот до начала сессии.

 

Дополнительные критерии отбора: социально-демографические характеристики респондентов

Дополнительными критериями отбора могут быть социально-демографические характеристики респондентов. Поскольку их много, важно выбрать 2-3 основных, которые влияют на взаимодействие с продуктом. Остальные можно указать в качестве требований, задающих рамки рекрута.

На выбор жилья могут влиять наличие детей, а также регион проживания и покупки. Эти характеристики тесно связаны с целями: купить квартиру на первое время (пока не появятся дети), на длительный срок или для прописки.

Заманчиво сразу взять в качестве критериев отбора возраст и доход. Но стоит взглянуть на них иначе. К примеру, высокий доход не гарантирует наличие средств для первого взноса, если текущие расходы тоже высоки. Возможно, вместо уровня дохода нужно делать отбор по свободным средствам. Возраст разумнее сделать рамочным требованием (так как цель покупки важнее): не приглашать респондентов младше 18 лет и старше 60-65 лет, остальных распределить по возрастам равномерно. 

Кроме того, возраст может быть связан с целью покупки: молодые покупатели с меньшей вероятностью будут брать первую квартиру для сдачи. Но в качестве базовых критериев нужно брать именно опыт и цели, а не соцдем.

Важно также учитывать, что юзабилити-тестирование – это качественный метод. Поэтому если по результатам тестирования мы увидим, что о какой-то проблеме чаще сообщают респонденты с определенным соцдемом, из этого нельзя будет сделать вывод о связи этих двух признаков для всех пользователей продукта.  

 

Persona non grata или кого нужно исключать из выборки

Считается, что в качестве респондентов нельзя привлекать дизайнеров интерфейсов и программистов. Отчасти это так, поскольку профессиональная деятельность искажает восприятие интерфейса. Кроме того, они будут не только сообщать о проблемах, но и давать рекомендации по их решению. На практике не страшно, если такие респонденты попадут в выборку, при условии, что они обладают всеми требуемыми характеристиками. 

Другим противопоказанием к участию может быть связь с предметной областью. Респонденты, знающие процессы и ограничения изнутри, могут оправдывать наличие некоторых проблем в интерфейсе, понимая, что за ними стоит несовершенство бизнес-процесса, которое сложно устранить.

Неочевидным стоп-критерием может быть принадлежность респондента к СМИ. Исследователи могут тестировать продукт, который находится на стадии прототипа и недоступен широкой аудитории. По этой причине респондентов просят подписать обязательство о неразглашении перед началом тестирования. Но в качестве дополнительной подстраховки от утечки можно исключить из выборки представителей прессы.

 

Пример структуры выборки для юзабилити-тестирования сайта застройщика

Предположим, что мы планируем тестировать мобильный сайт застройщика «ААА-Девелопмент», реализующего проекты в Москве.

Сначала опишем основные требования к намерениям респондентов купить недвижимость:

• В ближайшие 6 месяцев рассматривают покупку квартиры в Москве напрямую от застройщика;
• Ищут информацию о квартирах на официальных сайтах застройщиков;
• Имеют средства на первоначальный взнос (не менее 10% от стоимости рассматриваемой квартиры);
• Не исключают возможность покупки у «ААА-Девелопмент».

Далее сформулируем базовые рамки и квоты по полу и возрасту с опорой на гипотетические данные о целевой аудитории. Поскольку сайт будет тестироваться на смартфоне, сразу установим и квоту по операционной системе устройства.

Требования к респондентам по полу, возрасту, операционной системе смартфона:

• Возраст от 25 до 50 лет, возрастные группы равнонаполненны;
• Соотношение мужчин и женщин – 60/40 в каждой группе по опыту;
• Операционная система смартфона – 50/50, Android и iOS соответственно.

И, наконец, разделим респондентов на равнонаполненные группы. В качестве основного критерия для формирования групп возьмём опыт покупки квартиры, а в подгруппы объединим тех, кто собирается купить квартиру у «ААА-Девелопмент» или других застройщиков.

Опытных пользователей мы дополнительно разделим по целям покупки, представив, что по данным аналитики нам известно, что первую квартиру чаще всего покупают для себя, а уже последующие – для разных целей. 

Здесь для каждой цели будет достаточно 3 респондентов, так как в итоге у нас будет по 6 человек, рассматривающих «ААА-Девелопмент» и конкурентов, и по 6 – покупающих для себя и для других целей.

1. Опытные (покупали квартиру за последние 10 лет):

  ➤ В качестве основного или одного из основных застройщиков рассматривают «ААА-Девелопмент»:

     ● Рассматривают покупку для собственного проживания – 3 человека;

     ● Рассматривают покупку для инвестирования/сдачи в аренду/перепродажи – 3 человека;

 ➤ В качестве основного или одного из основных застройщиков не рассматривают «ААА-Девелопмент»:

     ● Рассматривают покупку для собственного проживания – 3 человека;

     ● Рассматривают покупку для инвестирования/сдачи в аренду/перепродажи – 3 человека.

2. Неопытные (не имеют опыта покупки квартиры):

 ➤ В качестве основного или одного из основных застройщиков рассматривают «ААА-Девелопмент» – 6 человек;

 ➤ В качестве основного или одного из основных застройщиков не рассматривают «ААА-Девелопмент» – 6 человек.

Всего для тестирования нам нужно 24 респондента.

 

Как составить скрининговую анкету

В заключение важно сказать несколько слов о том, как устроена скрининговая анкета, с помощью которой происходит отбор респондентов для участия в исследовании.

Основное требование к анкете – минимальная достаточность. Цель анкеты состоит в том, чтобы отсеять неподходящих кандидатов, а затем квотировать оставшихся. При этом мы не должны наводить потенциальных участников на «правильные» ответы. Для этого вместо закрытых вопросов с ответами «да»/«нет» используют вопросы с несколькими вариантами ответа.

Чтобы отобрать людей, купивших квартиру за последние полгода, мы спрашиваем не «Покупали ли вы квартиру за последние 6 месяцев», а «Какие покупки вы совершали за последние 6 месяцев» и в качестве вариантов ответа предлагаем автомобиль, путёвку на отдых, крупную бытовую технику, драгоценности и квартиру.

Варианты ответов должны выглядеть естественно: нужный нам пункт не должен выбиваться из общего ряда. Так, в приведенном выше примере все варианты ответа относятся к редким дорогостоящим покупкам.

Разумеется, всегда есть шанс встретить профессиональных респондентов, которые отвечают таким образом, чтобы максимизировать вероятность попасть на исследование и получить вознаграждение.

Чтобы проверить искренность респондентов, перед началом тестирования модератор проводит небольшое интервью с открытыми вопросами, чтобы сравнить полученные ответы с результатами скрининга и, в случае необходимости, прояснить расхождения.

Полезно задавать общие вопросы, например, «Расскажите, как вы…» (решили купить жилье, начали вести бюджет), на которые респондент отвечает в свободной форме.

 

Краткие выводы

• Для каждой группы достаточно 5-8 респондентов;
• Группы формируются по базовым и дополнительным критериям отбора;
• В качестве базовых критериев отбора, как правило, берут цель, намерение и опыт использования продукта, реже – устройство и операционную систему;
• В качестве дополнительных критериев берут две-три основных социально-демографических характеристики респондентов, которые влияют на взаимодействие с продуктом;
• Из выборки исключают тех, чья профессиональная деятельность связана с предметной областью, а также представителей СМИ;
• Цель скрининговой анкеты состоит в том, чтобы отсеять неподходящих кандидатов, чтобы затем квотировать оставшихся;
• Чтобы не наводить потенциальных участников на «правильные» ответы, вместо закрытых вопросов с ответами «да»/«нет» используют вопросы с несколькими вариантами ответа;

Перед началом тестирования респондентам задают несколько открытых вопросов о прошлом опыте, чтобы удостовериться в правдивости их ответов на вопросы скрининговой анкеты.