Прожарка анкеты ChatGPT и специалистом «Анкетолога»
Возможности нейросетей растут с каждым днем, и сфера проведения опросов не остается в стороне. Мы решили узнать, как хорошо ИИ владеет методологией проведения онлайн-опросов.
Для этого собрали семь реальных примеров вопросов с ошибками и попросили ChatGPT их улучшить. Ответы нейросети прокомментировала и дополнила руководитель отдела исследований онлайн-сервиса «Анкетолог» Александра Дортман.
Спойлер: ChatGPT все еще есть над чем работать.
Вопрос анкеты №1
✘ Сталкиваются ли ваши сотрудники со стрессом и выгоранием на работе?
Комментарий ChatGPT:
## Проблемы текущей формулировки:
**Двойной вопрос** – спрашивается сразу и о стрессе, и о выгорании, хотя это разные явления. Респондент может испытывать одно, но не другое.
**Неконкретность** – «сталкиваются ли» не дает понимания частоты, интенсивности или актуальности проблемы.
**Отсутствие временных рамок** – непонятно, речь о текущем моменте, последнем месяце или вообще когда-либо.
## Варианты улучшения:
**Вариант 1 (разделить на два вопроса):**
«Как часто ваши сотрудники испытывают рабочий стресс?»
«Наблюдаются ли среди ваших сотрудников признаки профессионального выгорания?»
**Вариант 2 (с временными рамками):**
«Как часто за последние 3 месяца ваши сотрудники сталкивались со стрессовыми ситуациями на работе?»
**Вариант 3 (с градацией):**
«Оцените уровень рабочего стресса среди ваших сотрудников»
- Очень низкий
- Низкий
- Средний
- Высокий
- Очень высокий
Комментарий эксперта «Анкетолога»:
Вопрос анкеты №2
✘ Вопрос №1. Укажите ваш личный доход за последний месяц. (Свободный ответ)
Комментарий ChatGPT:
## Проблемы текущей формулировки:
**Неточность временного периода** – «Последний месяц» может пониматься по-разному: календарный месяц или прошедшие 30 дней
**Неясность понятия «личный доход»**
- До или после налогов?
- Включает ли зарплату, премии, подработки, пассивный доход?
**Свободный ответ создает проблемы**
- Разные форматы ответов усложняют анализ
- Респонденты могут указать доход в разных валютах
- Высокий риск отказа от ответа на деликатный вопрос
## Улучшенные варианты:
**Вариант 1 (с диапазонами):**
К какой категории относится ваш среднемесячный доход? (Все источники дохода, после уплаты налогов):
- До 30 000 рублей
- 30 001-50 000 рублей
- 50 001-80 000 рублей
- 80 001-120 000 рублей
- Свыше 120 000 рублей
- Затрудняюсь ответить
Дополнительные рекомендации:
- Объяснить, зачем нужна эта информация
- Разместить вопрос ближе к концу анкеты
- Обязательно включить опцию «Затрудняюсь ответить»
Комментарий эксперта «Анкетолога»:
- До 30 тысяч
- 30-45 тысяч
- 45-60 тысяч
- 60-100 тысяч
- Более 100 тысяч
Вопрос анкеты №3
✘ Насколько вам нравится дизайн нашего приложения по шкале от 1 до 10, где 1 – «Совсем НЕ нравится», 10 – «Очень нравится»?
Комментарий ChatGPT:
##Проблемы текущей формулировки:
**Субъективность термина «нравится»** – это очень расплывчатое понятие, которое каждый интерпретирует по-своему
**Слишком широкий охват** – «дизайн приложения» включает множество аспектов (визуал, навигация, интуитивность)
**Отсутствие контекста** – неясно, с чем сравнивать
##Варианты улучшения:
**Вариант 1 (конкретизация):**
Оцените визуальное оформление приложения по шкале от 1 до 5, где 1 – «Совсем НЕ нравится», 5 – «Очень нравится»
**Вариант 2 (разбивка на компоненты):**
Оцените отдельные элементы приложения по шкале от 1 до 5, где 1 – «Совсем НЕ нравится», 5 – «Очень нравится»
- Визуальное оформление
- Удобство навигации
- Размер шрифта
Комментарий эксперта «Анкетолога»:
Вопрос анкеты №4
✘ Как часто вы встречаете капчу во время веб-серфинга?
Комментарий ChatGPT:
##Проблемы текущей формулировки:
**Неточность термина «веб-серфинг»**
Устаревший термин, который может быть непонятен молодой аудитории
Не все пользователи знают, что это означает
## Улучшенные варианты:
**Вариант 1 (универсальный):**
Как часто за последний месяц вы сталкивались с капчей (проверкой «Я не робот») при использовании интернет-сайтов?
Также стоит добавить пояснение в скобках (например, «Я не робот», reCAPTCHA, проверка картинок), чтобы все респонденты понимали, о чем речь.
Комментарий эксперта «Анкетолога»:
Вопрос анкеты №5
✘ Укажите среднемесячный доход (в том числе зарплата, пенсия, пособия, доходы с вкладов, сдачи недвижимости в аренду и пр.) на одного члена семьи в рублях за прошедший год.
ChatGPT:
##Проблемы текущей формулировки:
**Сложная формулировка**: слишком много информации в одном предложении
**Неточность в расчете**: респонденту нужно самостоятельно высчитывать средний доход на члена семьи
**Открытый формат**: может снижать процент ответивших
##Варианты улучшения:
**Вариант 1 (упрощенный):**
«Каков примерный общий месячный доход вашей семьи?»
- До 30 000 руб.
- 30 001-50 000 руб.
- 50 001-80 000 руб.
- 80 001-120 000 руб.
- Свыше 120 000 руб.
**Вариант 2 (более точный):**
Разбить на два вопроса:
- «Сколько человек в вашей семье получают доходы?»
- «Каков общий месячный доход всех членов семьи (зарплаты, пенсии, пособия, доходы от сдачи жилья и т.д.)?»
Эксперт «Анкетолога»:
Во-первых, в зависимости от количества источников дохода и членов семьи для ответа на этот вопрос может потребоваться произвести сложные арифметических операции. Не стоит перекладывать такую трудную задачу на респондентов.
Во-вторых, доход может варьироваться от месяца к месяцу. Например, многие частные компании и бюджетные организации производят дополнительные выплаты раз в квартал или в конце года. Из-за чего ответ будет неинформативным.
В-третьих, номинальный доход мало говорит о покупательской способности домохозяйства, поскольку у нас нет данных о его обязательствах. Чтобы оценить величину реального располагаемого дохода я бы рекомендовала использовать шкалу субъективной оценки экономического благополучия.
Вопрос анкеты №6
✘ Как вы обычно добираетесь до работы? (Одиночный выбор)
- Пешком
- Общественный транспорт
- Личный транспорт (велосипед, мотоцикл, авто)
- Арендованный транспорт (самокат, каршеринг)
- Такси
- Работаю из дома
ChatGPT:
##Проблемы текущей формулировки:
**Неточная формулировка**
«Как вы обычно добираетесь» – слишком размыто. Лучше конкретизировать период: «На прошлой неделе» или «В большинстве рабочих дней»
**Неполные варианты ответов**
Отсутствует комбинированный транспорт (многие используют несколько видов в одной поездке)
Нет варианта «Не работаю» для безработных, пенсионеров, студентов
**Логическая несостыковка**
«Работаю из дома» отвечает не на вопрос «как добираетесь», а на «где работаете»
##Улучшенный вариант:
**Каким основным способом вы добирались на работу в течение последних двух недель?**
- Пешком
- Общественный транспорт
- Личный автомобиль
- Велосипед/самокат (личный)
- Каршеринг/арендованный транспорт
- Такси/райдшеринг
- Комбинация нескольких видов транспорта
- Работаю удаленно/из дома
- В настоящее время не работаю
Эксперт «Анкетолога»:
Основная проблема в этом случае – неверно подобранный тип вопроса. Конвертировав его в вопрос с множественным выбором, мы получим данные обо всех видах транспорта, которые участвуют в поездке на работу.
Также необходимо добавить поле «Другое». Кого-то до работы подвозит коллега, кто-то едет на служебном автобусе. Создатель анкеты не всегда может предусмотреть все существующие сценарии, поэтому важно дать респондентам возможность дать свой ответ.
Вопрос анкеты №7
✘ Какие товары или бренды вызывают у вас восторг? (Назовите не более 3-х).
Почему? (Поясните, что именно вам нравится – качество, дизайн, удобство и пр.).
Как они повлияли на ваш образ жизни?
Пример:
«Дрель Makita – мощная, высокие обороты, с индикацией обслуживания, приятно держать в руках. Я могу реализовывать свои идеи, создавать что-то своими руками»
«Стайлер от Dyson – одновременно сушит и легко делает за меня укладку. Не портит волосы, тихий – не бужу мужа, когда делаю укладку» (Свободный ответ)
ChatGPT:
##Проблемы текущей формулировки:
**Слишком много задач в одном вопросе**
Сейчас респондент должен одновременно ответить на 9 вопросов – на 3 для каждого из 3 брендов. Это перегружает и может привести к неполным и поверхностным ответам.
**Примеры создают якорение**
Конкретные примеры с дрелью и стайлером могут направить ход мыслей в определенное русло, сделать ответы однобокими.
## Рекомендации по улучшению:
**Разделите на несколько вопросов:**
- «Назовите до 3 товаров или брендов, которые вызывают у вас восторг»
- «Для каждого названного товара/бренда укажите, что именно вам в нем нравится»
- «Как использование этих товаров повлияло на вашу повседневную жизнь?»
**Если нужен один вопрос:**
Уберите примеры или сделайте их более нейтральными и разнообразными по категориям товаров.
Эксперт «Анкетолога»:
Я бы также использовала опцию «Многострочное поле ввода» для 2 и 3 вопросов. Ряд экспериментов показал, что увеличение размера окна существенно увеличивает среднее количество введенных символов, слов и тем. При этом доля неответов значимо не меняется.
Еще один совет – приводите примеры только для фрагментов задания. Так у респондента не будет соблазна скопировать текст примера и вставить его в поле для ввода ответа.
Эксперимент показал, что ChatGPT хорошо выявляет базовые проблемы: он определяет двойные вопросы, указывает на неточную терминологию, замечает отсутствие временных рамок и предлагает разумные альтернативы формулировок.
При этом у ИИ пока есть «пробелы» в знаниях актуальной статистики, технических возможностей конструкторов анкет, специфических методик и результатов методологических экспериментов.
Вывод: ИИ может стать отличным помощником на первом этапе проверки анкет, но создание по-настоящему качественных опросов по-прежнему требует человеческой экспертизы.
Также по теме:
