Время на прочтение
23 мин
Количество просмотров 64K
Я продолжаю делиться опытом ошибок и находок в анкетных исследованиях. В первой статье я рассказала, как можно привлечь релевантных респондентов и увеличить возврат заполненных анкет.
Читать первую статью Ошибки анкетных опросов. 1 ошибка: смещение выборки. 8 способов привлечь нужных респондентов
В этой статье я расскажу, почему проблема понятности анкеты для участников опроса гораздо важнее, чем кажется на первый взгляд. Рассмотрим также примеры манипуляции мнением респондентов, фальсификации результатов опроса и использования опросов в маркетинговых целях.
Преимущество анкетных опросов – большой охват и быстрый результат – становится и их основным недостатком. Теряя возможность коммуникации с конечным респондентом, мы вынуждены делать дорогое допущение: «все респонденты понимают смысл анкеты и заполняют ее корректно». Если сделать это допущение, можно выдохнуть и работать с результатами опроса, как с релевантными фактами и мнениями. А если такое допущение не сделать, исследование может превратиться в череду перепроверок и согласований и в итоге полностью парализоваться.
Если честно, пройдя через сложности привлечения респондентов и возврата анкет, меньшее, чего хочется исследователю – это сомневаться в том, что анкеты заполнены корректно. Но еще грустнее – осознать, что анкеты испорчены из-за неверного понимания участниками инструкции, или вопросов. И чтобы оградить себя и заказчика от этих сомнений, можно соблюсти ряд подготовительных этапов, которые значительно повысят доверие к исследованию. Мы рассмотрим эти этапы в следующей статье. Вначале разберемся, где могут крыться сложности понимания, и к чему это может привести.
Можно выделить, как минимум, следующие части анкетного исследования, где может возникнуть непонимание:
1. Непонимание слов и специальных терминов.
2. Непонимание инструкции.
3. Непонимание направленности опроса.
4. Непонимание формулировки вопросов.
5. Непонимание критериев оценки.
1. Непонимание слов и специальных терминов
Здесь все просто. Респонденты, действительно, часто не понимают значение слов, которые кажутся исследователю очевидными. И это не всегда касается профессионального сленга. Иногда, казалось бы, обычные слова русского языка вызывают затруднения у участников опроса, но у экспериментатора редко появляется возможность узнать об этом.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Пример: Мы проводили исследование людей разного социального статуса и разных возрастных групп. В числе исследовательских методик использовался тест Т. Лири – авторитетный психологический тест, адаптированный для русскоязычных респондентов, применяемый десятилетиями для оценки личности и отношений. Тысячи исследований проведены в России с использованием этого теста. В нашем исследовании уже приняло участие несколько сотен человек, когда мы пришли опрашивать студентов престижного вуза. Студенты заполняли анкеты прямо в аудитории. Через несколько минут они стали поднимать руки и говорить, что не понимают значение некоторых слов из теста. Вот список этих слов: мягкотелый, самобичующий, деспотичный, тщеславный, покладистый, легко расположен, легко впадает впросак, черствый. Для нас это стало открытием. Оказалось, адаптация классического авторитетного теста уже устарела для некоторых респондентов этого возраста и статуса. Собранные к тому времени сотни анкет от респондентов других возрастов и статусов тоже оказались под сомнением: люди не уточняли у нас значения слов, значит – либо понимали их, либо стеснялись спросить и отвечали наугад.
Вторая угроза исходит от употребления в анкетах сленга, который может либо не пониматься участниками, либо раздражать их. Такое может случиться, если исследователь пытается заигрывать с целевой аудиторией и употребляет в анкете их сленг, не являясь носителем этой культуры.
Пример 2: Когда мы исследовали коммуникацию между отделами в одной ИТ-компании, несколько ее разработчиков рассказали на интервью, что их очень злит, когда HR-менеджеры, проводя внутренние опросы, или делая рассылки, копируют особенности языка и вставляют англицизмы. Хотя сами разработчики часто этим грешили, их раздражало, когда сотрудники, не включенные в контекст их работы, перенимали этот сленг.
2. Непонимание инструкции
Непонимание инструкции – самый очевидный пункт в этой статье и, казалось бы, бесполезный. Почти все исследователи проясняют во введении к анкете, на что направлено исследование, и как стоит заполнять бланк. Почти все респонденты уже имеют опыт участия в каких-нибудь опросах, и сейчас редко можно услышать взволнованные вопросы, которые нам задавали лет 8 назад: «А в квадратик нужно ставить плюсик, или галочку?» и «А можно зачеркнуть ответ, если я передумал?».
На картинке: Анкета с неточными инструкциями для соискателей (источник: pikabu.ru).
Несмотря на опытность обычного респондента, вопрос юзабилити анкет снова возникает, если исследователь пробует новые формы (например, on-line опросы и анкетирование на мобильных устройствах с неочевидными инструкциями или невозможностью пропустить ответ), забывает про опцию «один вариант ответа/ несколько вариантов ответа», или забывает дать корректную инструкцию к сложным вопросам (например, вопросам с ранжированием, или попарным сравнением). И для исследователя большая удача, когда получается узнать о затруднениях участника, как в примере на картинке ниже.
На картинке: комментарий пользователя к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
То, что кажется очевидным исследователю и большинству респондентов, может представлять сложности для менее опытных участников.
На картинке: Анкета с неточными инструкциями, не адаптированная для участника опроса (источник: adme.ru).
Пример 1: Мы проводили исследование сотрудников компании, имеющей филиалы в маленьких городах и поселках. Представители филиалов съехались на обучение в столицу, поэтому опросить их всех после обучения показалось хорошей идеей. Мы выступили перед сотрудниками, дали инструкции и раздали опросники, пообещав выслать результаты на e-mail каждому участнику, или принести на следующий день. Опросник был довольно большой, люди в тишине заполняли его. Как только первый участник отдал заполненную анкету, в конце комнаты поднялась женщина и направилась к двери. Когда мы спросили, где ее анкета, она ответила: «Я не понимаю, что такое имейл, и не понимаю, куда и что вы мне хотите выслать. Лучше я пойду». Оказалось, она просидела больше получаса, так как не поняла наши слова, но стеснялась уточнить инструкцию. Для нас это был вопиющий случай: мы узнали, каких масштабов может достичь непонимание инструкции. А при удаленных и on-line опросах у исследователя обычно не появляется возможности понять, что пошло не так: анкеты либо не возвращаются, либо заполняются некорректно.
Пример 2. Однажды мы организовали большое тестирование людей разных возрастов с использованием психологических опросников, которые включали шкалу лжи. По правилам таких тестов, запрещено интерпретировать результаты, если показатель лжи превышает установленный порог. Одна из участниц получила критический балл по шкале лжи и, когда мы отказались анализировать результаты, была крайне удивлена, сказав, что всегда старается говорить правду и уж точно не стала бы врать в психологическом тесте. Мы взялись с ней разбирать ответы, среди которых было, например: «Я всегда перехожу дорогу на зеленый свет», «Я всегда говорю правду» и другие очевидные вопросы на социальную желательность. На все она ответила «Да». Тогда я спросила:
– Ну, а если задуматься, за всю жизнь вы точно ни разу не перешли дорогу на красный?
– Было, конечно. Но я же старалась отвечать так, как считаю правильным себя вести, а не как веду. А так – в жизни разное бывает.Оказалось, подробная и четкая инструкция к тесту все-таки была осмыслена женщиной по-своему.
Пример 3: Во время исследования стилей поведения в служебных отношениях среди директоров предприятий, как всегда, нам удалось привлечь намного больше женщин, намечался сильный перекос выборки, и потому мы очень обрадовались, когда узнали, что завтра поступит сразу несколько анкет от мужчин, директоров крупных гос. организаций. Мы были готовы на следующий день приступить к обработке, но вечером мне позвонил один из директоров. Он бодро сообщил, что с несколькими директорами заполняет наши анкеты и хотел бы получить пояснения по некоторым ситуациям из теста, так как у них возникли споры в выборе вариантов ответа. Оказалось, директора, приехав на повышение квалификации, решили совместить общение и заполнение интересного теста, и принялись заполнять наши анкеты вместе в номере гостиницы, бурно обсуждать каждую ситуацию, спорить и убеждать друг друга. Индивидуальное исследование личных стилей поведения превратилось в групповое принятие решений, все анкеты оказались заполнены одинаково и потеряли всякую ценность для нашего исследования.
3. Непонимание формулировки вопросов
В создании анкеты, или планировании интервью есть одно правило: «Вопрос – это уже почти ответ». Информативный ответ можно получить только при очень хорошо продуманном вопросе. Для того, чтобы создать такие вопросы, проводится большая подготовительная работа (в следующей части статьи я расскажу про этапы этой подготовки).
Но наш опыт общения с исследователями показывает, что на такую подготовку почти никто не обращает внимания. Ответственность за ответ часто возлагается на респондента, делается существенное предположение, что респонденты имеют сформулированное мнение по нашему вопросу и очень хотят высказать его. Часто это совершенно ошибочное предположение. Не только проблемы исследователей, но язык их вопросов часто не воспринимаются респондентами.
На картине: Кадр из фильма «Автостопом по галактике».
Википедия: «Окончательный Ответ на величайший вопрос Жизни, Вселенной и Всего Такого (…): «Сорок два». Реакция была такой:
— Сорок два! — взвизгнул Лунккуоол. — И это всё, что ты можешь сказать после семи с половиной миллионов лет работы?
— Я всё очень тщательно проверил, — сказал компьютер, — и со всей определённостью заявляю, что это и есть ответ. Мне кажется, если уж быть с вами абсолютно честным, то всё дело в том, что вы сами не знали, в чём вопрос.
— Но это же великий вопрос! Окончательный вопрос жизни, Вселенной и всего такого! — почти завыл Лунккуоол.
— Да, — сказал компьютер голосом страдальца, просвещающего круглого дурака. — И что же это за вопрос?»
Пример 1: Однажды со мной поделилась идеей исследования ТОП-менеджер производственной компании. В тот момент она заканчивала обучение в MBA и заинтересовалась изучением мотивации рабочих на производстве. Исследование мотивации – сложная тема, мы спросили, какие методы она будет использовать. «А какие тут нужны методы? – удивилась она. – Раздам им бумажки с вопросом «Что вас мотивирует?» и соберу ответы». Жаль, общение с ней не продолжилось, и мы не узнали, как рабочие завода восприняли ее анкеты, и как она использовала результаты такого исследования.
Пример 2: Второй пример несоответствия языка исследовательских анкет языку заполнявших их людей тоже из производства. HR-директор крупного производственного холдинга как-то похвастался нам в личной беседе, что ему за несколько лет удалось увеличить вовлеченность персонала на 12% (!). Рабочий персонал и средний менеджмент заводов – специфическая группа для исследований. Как он изучал их вовлеченность? Оказалось, опросником от компании «Gallup».
Тут нужно пояснить. Самый большой недостаток использования опросника – не столько расплывчатые и неадаптированные для людей рабочих специальностей формулировки вопросов (например, вопросы №5, 6, 8), сколько его применение в качестве теста с подсчетом интегрального числового показателя вовлеченности. Другими словами, даже если у участников возникнет непонимание формулировок анкеты, исследователь не проанализирует ответы отдельно, не проследит за выбросами, а подсчитает суммарный показатель. Текст опросника приведен на картинке.
На картинке: Один из вариантов русскоязычного перевода опросника вовлеченности персонала от компании «Gallup» (Источник: antropos.ru).
Нам не удалось найти ссылки на публикации с адаптацией и валидизацией опросника «Gallup» (обязательными этапами при использовании переводных методик). Тем не менее, можно найти несколько вариантов его вольного перевода, много рекомендаций его применения в бизнес-изданиях и еще больше предложений от консалтинговых компаний, которые используют 12 невалидизированных и неадаптированных вопросов, как единственный инструмент для измерения вовлеченности персонала.
Естественно, когда клиент видит в отчете только обобщенные показатели вовлеченности и – еще лучше – рост таких показателей, он редко спрашивает о методах, которыми они были получены.
4. Непонимание направленности опроса
Непонимание направленности вопроса – куда более сложная и распространенная ошибка в анкетных исследованиях. Иногда и предположить нельзя, как человек может интерпретировать, казалось бы, однозначно сформулированный вопрос.
Для этой проблемы есть изящное решение, которое мы обсудим в следующей части. А пока, можно поговорить о случаях, когда исследователи намеренно прячут истинный смысл вопроса, или вносят путаницу в формулировки, чтобы получить желаемый ответ.
Иллюзия выбора. В практике социальной манипуляции есть такой ход: предоставление собеседнику иллюзии выбора, при которой любой его ответ будет выгоден манипулятору. Классический пример иллюзии выбора из продаж сетевых ресторанов быстрого питания: При заказе клиентом кофе официант спрашивает: «Вы к кофе возьмете маффин, или пирожок?» (вопрос «Не желаете ли что-нибудь к кофе?» считается куда менее эффективным с точки зрения продаж). Такой ход часто применяется в анкетных опросах, когда организатор исследования заинтересован в определенных ответах.
Пример: Несколько лет назад наша компания выступала организатором корпоративной игры для менеджеров среднего и высшего звена известного завода. Незадолго до этого контрольный пакет акций этого завода был куплен немецкой компанией, которая сразу начала внедрение корпоративных стандартов поведения. Стандарты эти на русском языке представляли не вполне корректно переведенный и не всегда понятный для русского менталитета свод правил, и перед нами поставили задачу организовать игру так, чтобы менеджмент усвоил эти стандарты. На игру отводилось всего несколько часов, и мы сразу объяснили, что за такое время нельзя сформировать поведенческие паттерны и нельзя даже развить принятие и согласие с чуждыми нормами. Сошлись на том, что целью игры будет уменьшить эмоциональное напряжение, которое вызывали новые стандарты. Итак, мы разработали игры и конкурсы, в основе которых было взаимодействие с каждым правилом, сделали акцент на вовлечении, групповой работе и положительных эмоциях.
Игра прошла хорошо, все руководители вовлеклись и расходились довольными. А через несколько дней HR-служба компании попросила нас провести опрос удовлетворенности игрой, чтобы предоставить отчет руководству. Мы понимали, что новые нормы не были усвоены сотрудниками и, тем более, не перешли в привычки. Но цель свою – уменьшить напряжение – мы выполнили. Поэтому, наша анкета была сосредоточена исключительно на положительных эмоциях после игры (см. рисунок).
На картинке: Фрагмент анкеты обратной связи для участников игры.
Вопросы 5, 6 и 9 – вопросы с иллюзией выбора. Они выглядят довольно полно. Но, если присмотреться, любой вариант ответа либо отражает положительную оценку, либо перекладывает ответственность на заполняющего (по принципу «это не игра была плохая – это я все еще не понимаю стандарты поведения, которые мне объясняют уже несколько месяцев», или «я и так хорошо понимаю суть стандартов»).
Последний вопрос – образец вопроса с иллюзией выбора. Все его варианты положительные. Формулируя его, мы знали, как результаты будут выглядеть в отчете: как в диаграммах будут смотреться положительные эффекты, заданные нами заранее в анкете, и как приятно руководителю будет рассматривать их. Когда человек просматривает такой отчет, у него редко появляется вопрос, были ли предусмотрены анкетой негативные варианты ответов.
Расстановка акцентов
Если заказчик исследования не интересуется исходным текстом анкеты и не уточняет, какие варианты были предоставлены участникам, организаторы могут подменить смысл результатов, расставив акценты.
Пример: Недавняя публикация результатов исследования общественного мнения россиян вызвала бурное обсуждение в Интернете (см. рисунок). В основном, обсуждение крутится вокруг термина «удовлетворительно». А для нашей статьи интересно, как результаты опроса преобразились в заголовке статьи за счет игры слов русского языка. В заголовке значится «половину россиян удовлетворяет экономика страны», в то время как в расшифровке статьи сказано, что только 6% оценили экономику положительно. Если бы в отчете были представлены только «существенные» результаты и был упущен вариант с положительной оценкой, то, благодаря богатству смыслов языка, понятие «удовлетворяет» воспринималось бы, как очень хороший результат опроса (а не как оценка «на троечку»).
На картинке: фрагмент новости о результатах соцопроса (источник: www.solidarnost.org).
Пример 2: Еще один веселый пример расстановки акцентов. Если ввести в поисковике фразу «почти половина россиян не доверяет полиции», выдаются ссылки на источники vedomosti.ru, rbc.ru, echo.msk.ru и др. А если ввести “почти половина россиян доверяет полиции», выдаются ссылки на ria.ru, news.sputnik.ru, www.business-gazeta.ru, ridus.ru (последний источник – на удивление, в отличие от скриншота).
На картинке: скриншот новостной ленты – расстановка акцентов разными изданиями (источник: joyreactor.cc)
Подмена понятий. По сути, практика защиты перед заказчиком одних только результатов исследования без предварительного рассмотрения сырых данных и способов их сбора, оставляет огромное поле для подделки данных и манипуляции результатами без всякой подделки. В таких случаях важно обращать внимание на логику и направленность вопросов в анкете перед тем, как анализировать ее результаты.
Поэтому особенно забавно смотрятся предложения обучающих и консалтинговых компаний самостоятельно оценить эффект от обучения персонала, или проведенных внедрений, и предоставить заказчику отчет о возврате на инвестиции. В анкетах обратной связи подрядчики могут спрашивать сотрудников совсем не о том, а в итоговом отчете подменять понятия. Но заказчики обычно с готовностью принимают такие отчеты, так как они выглядят вполне авторитетно, и не требуют усилий со стороны внутренних служб.
Пример: Недавно нам представили компанию, оказывающую PR-услуги. Представили, с гордостью пояснив, что эта компания – одна из немногих в отрасли, дающая четкий отчет по KPI (ключевым показателям эффективности) своей деятельности в процентах. Действительно, оценить эффективность маркетинговых и PR-кампаний, очистить замеры от всех влияющих условий рынка, непросто. Мы заинтересовались методикой. И, когда мы спросили, как именно проводится измерение эффективности PR-деятельности и вычисляются проценты, выяснилось, что в качестве единиц измерения используется план (например, «написать 10 статей в отраслевых изданиях»), а в качестве отчета – подсчет выполнения этого плата (по логике этой компании, если написано 9 статей, то KPI по PR выполнены на 90%). Конечно, существует разделение на процессные и фактические KPI и есть бизнесы, где важно именно четкое выполнение процесса. Но это не касается тех сфер, где процесс не имеет значения, если не достигнут результат. И у меня есть подозрение, что, предоставляя заказчику отчет об эффективности PR-кампании в численных показателях, эти подрядчики совершали грубую подмену понятий.
Наводящие формулировки. Тональность вопроса в анкете, или его направленность могут наводить участника на определенный ответ. Выгода организатора исследования от таких ответов заключается в подтверждении собственной позиции (например, при фальсификации теорий, или оправдании управленческих решений).
Пример: Хорошо этот эффект иллюстрирует «Теория перспектив» А. Тверски и Д. Канемана об экономии интеллектуальных затрат (за исследования иррациональной природы принимаемых людьми решений они получили Нобелевскую премию).
В одном из экспериментов по исследованию принятия решения в зависимости от контекста подаваемой информации, известном как «Азиатская болезнь», участникам предлагалось решить задачу: «Представьте, что Соединенные Штаты Америки готовятся к вспышке эпидемии неизвестной «азиатской болезни», вследствие которой, как ожидается, погибнет 600 человек. Для борьбы с этой болезнью предложены две альтернативные программы. Какую из них стоит выбрать?» Далее двум разным группам участников сообщалась одна и та же информация, но в разных формулировках (с позитивным и негативным фокусом). Авторы эксперимента доказали, что, стремясь сэкономить усилия при принятии решения, люди предпочитают полагаться на интуицию, прошлый опыт и более простые и оптимистичные варианты.
На картинке: Формулировки «программ» эксперимента «Азиатская болезнь» и предпочтение ответов участниками.
Еще один распространенный пример из исследований Д. Канемана: если одну группу испытуемых спросить: «Дожил ли Ганди до 114 лет? В каком возрасте он умер?», а другую: «Дожил ли Ганди до 35 лет? В каком возрасте он умер?», то первая группа оценит жизнь Ганди как гораздо более долгую, чем вторая.
Так, удачно формулируя вопросы анкеты, делая акцент на положительных вариантах, или используя наводящие цифры, исследователи создают «эффект привязки» и могут манипулировать ответами участников.
Второй вариант, при котором применяется техника наводящих формулировок, — это постепенное изменение убеждений участника исследования с помощью анкеты. В этом случае от вопроса к вопросу создается канва, при которой респондент вынужден отвечать определенным образом, сталкивается со своими ответами, как с новыми представлениями, и постепенно меняет точку зрения. Продолжением такого метода являются вопросы, создающие потребность (см. следующий пункт).
Пример: Однажды я сама стала жертвой жесткого манипулятивного опроса. Его проводила авторитетная организация, предлагая пройти on-line анкетирование людям со всего мира. Исследование подавалось под видом «Оцените, насколько правильно вы питаетесь». Начало анкеты было стандартным, задавались вопросы о разных продуктах, но постепенно анкета стала сужаться до фильтрующих вопросов о мясе (употребляете ли мясо, сколько раз в неделю, и т.д.). После моих ответов следующие вопросы анкеты стали предлагать мне просмотреть фотографии и видео о том, как умертвляют животных на фермах, как разделывают туши, как утилизируют отходы и др. И уже совсем скоро вопросы приобрели такой характер: «Зная, как страдают животные на фермах, вы по-прежнему будете регулярно употреблять мясо?» и «Не считаете ли вы, что стоит предпочесть растительные белки, такие же полезные и питательные, чтобы прекратить издевательство над животными?». Эти вопросы сыпались градом: никто уже не интересовался моим рационом. Казалось, завершить этот поток можно, только отвечая в духе «я все осознал и пойду теперь убеждать всех, кого встречу на пути». Впервые у меня был такой травматический опыт от заполнения анкеты. Я прекратила отвечать на вопросы, и мне потребовалось время, чтобы снова укрепиться в своих представлениях о питании, которые оказались под большим влиянием из-за этого опроса.
Опросы, создающие потребность. Создание у участников нужных потребностей с помощью правильно сформулированных вопросов – еще одна тактика манипуляций и продаж. И анкетные опросы в этом мероприятии оказывают хорошую поддержку продающим компаниям.
Никого уже не обманут псевдо-социологические опросы в стиле «Правильно ли вы ухаживаете за кожей?», или «Все ли вы знаете об очищении организма?», где после третьего вопроса появляется: «Знакомы ли вы с продукцией компании N?». Лет десять назад в нашей стране эти опросы были очень популярными.
Сейчас тактику создания потребностей используют более тонко. Первый вариант – это скрытое информирование участника с помощью анкеты об ассортименте и новых продуктах компании, что рождает осведомленность и вызывает любопытство (см. рисунок).
На картинке: фрагмент анкеты, рекомендованной Минздравом для определения группы риска по употреблению наркотиков подростками. Среди вопросов были также такие: «Сколько раз, если такое случалось, вы нюхали ингаляты – клей, аэрозоль, бензин – специально, чтобы получить «необычные ощущения»?». Анкеты предлагалось раздавать детям 10-13 лет, что вызвало бурное возмущение родителей. (Источники: Ridus.ru, RG.ru).
Второй вариант создания потребности – предложить клиенту анкету, якобы помогающую сориентироваться в том, какого вида услуга (товар) на самом деле ему нужна. Нельзя сказать, что это однозначная «политика зла». Такие анкеты, действительно, помогают уточнить потребности клиента, но они и очень хорошо помогают продавать.
Суть продажи заключается в том, что под видом опроса:
а) респондента подводят к мысли, что у него чего-то нет, или что-то используется неэффективно (вызывают чувство тревоги),
б) информируют о новых услугах (товарах, опциях), которые помогут решить его проблему (о которой он не знал до начала опроса).
Примерный алгоритм анкеты, создающей потребность:
1. Вводные нейтральные вопросы по теме, «айс-брейкеры».
2. Вопросы об актуальном состоянии респондента, которые постепенно подводят его к идее, что у него чего-то не хватает, или что-то устарело.
3. Вопросы, уточняющие, понимает ли респондент, какие последствия имеет эта нехватка, и чем она может обернуться лично для него или его бизнеса.
4. Вопросы о том, знаком ли респондент с некоторыми решениями (товарами, услугами, технологиями).
5. Вопросы, информирующие респондента, как именно эти решения помогают справиться с его проблемой.
6. Вопросы, наводящие на мысль о покупке (информирующие о цене, скидке, условиях).
7. Вопросы, подтверждающие, что при покупке этого решения проблемы респондента будут решены, и он получит дополнительную выгоду.
Пример: Если бы я хотела продать эту статью с помощью анкеты, я вначале задала бы несколько формальных вопросов о вашем опыте анкетных исследований и о том, получили ли вы специальное образование для проведения исследований (уже здесь начинается работа с тревогой). Потом спросила бы, с помощью каких процедур вы устанавливаете и доказываете, что респонденты правильно понимают инструкцию, формулировки и критерии оценки в ваших опросах. Затем спросила бы, знакомы ли вы с такими-то примерами из вашей сферы, когда результаты дорогих опросов приходилось выбрасывать из-за того, что не все респонденты верно понимали инструкцию, или суть вопросов. Упомянула бы, какой позор постиг организаторов таких опросов из такой-то компании. Потом я спросила бы, знакомы ли вы с процедурами концептуализации, операционализации, валидизации, адаптации, апробации и пилотного запуска, и в каком объеме вы их используете. Затем привела бы примеры, как эти процедуры помогли спасти дорогостоящие исследования. И, наконец, я поинтересовалась бы, что должно произойти в вашей компании для изменения подхода к опросным исследованиям и сколько, по-вашему, может стоить статья, в которой содержится алгоритм применения этих процедур, чтобы ваши исследования стали надежными, принесли успех вашей компании и лично вам.
В этом примере все еще отчетливо видны «белые нитки» продажи, но, чем ближе ваш респондент к статусу клиента (например, заполняет анкету на сайте продукта) и чем ближе он к покупке, тем лучше будет воспринята им такая анкета и тем легче получится увеличить объем его покупки за счет дополнительных продаж.
Третий вариант создающих потребность анкет, очень популярный сейчас, это развлекательные тесты. Интернет-пользователей до сих пор привлекают тесты в стиле «Хорошо ли вы разбираетесь в компьютерных играх?» (где можно невзначай добавить несколько вопросов с перечислением игровых новинок определенной компании), «Умеете ли вы управлять своим временем?» (здесь уместно упомянуть несколько специализированных мобильных приложений, которые вы хотите продать) и т.д. Такие тесты иногда выглядят профессионально и доставляют положительные эмоции, даже когда их рекламная природа очевидна.
Пример: Несколько дней назад друг предложил мне пройти тест на знание итальянских сыров на сайте «Медуза». Тест был отмечен значком «партнерский материал», а в названии упоминался бренд производителя сыров, но друг этого не заметил. Он зачитывал вопросы, а я воспринимала их на слух. Тест был, действительно, интересным.
И в какой-то момент, захотев уже салат с сочной полезной моцареллой, я шутя воскликнула:
– Да похоже, они продают эти сыры!
– Действительно, смотри, тут в конце теста написано: «Ну и конечно теперь мы просто обязаны вам рассказать, что U. тоже производит все сыры, о которых мы упомянули в тесте, – и не только. Они свежие и полезные, и даже кальций в них – со вкусом Италии».Много зная о маркетинговых уловках и манипуляции, мы все равно восприняли этот тест положительно и заинтересовались компанией, так как форма подачи и полезность контента перевысили знание об истинных целях организаторов теста.
Один из вопросов теста представлен на рисунке.
На картинке: Один из вопросов теста на знание итальянских сыров (Источник).
Опросы со смещенной целью. Особняком в этом списке опросов со скрытыми мотивами стоят опросы со смещенной целью, так как они используются, в основном, не для манипуляции, а для более изящного исследования мотивов респондентов, когда такое невозможно сделать с помощью прямых вопросов.
Пример: Об этом опросе рассказала моя ученица, директор частной мебельной фабрики. Она пыталась понять причины плохих продаж в фирменных магазинах. Несколько месяцев назад фабрика (изготавливавшая до этого только мягкую мебель) приобрела производство кухонь. Соответственно, в фирменных магазинах, кроме мягкой мебели, началась продажа кухонь. Но, на фоне стабильных продаж мягкой мебели, кухни продавались очень плохо. У директора возникла гипотеза, что причина плохих продаж не в плохом качестве продукции (у нее была возможность проверить реальный спрос), а в предвзятом отношении продавцов, которые саботировали продажи. Напрямую спросить об этом продавцов было невозможно, и потому она организовала среди них опрос в стиле «Почему, на ваш взгляд, кухни плохо продаются». Продавцы обрадовались возможности высказать, наконец, все свое недовольство от инноваций, и красноречиво отвечали на вопросы анкеты. Так ей удалось подтвердить свою гипотезу, собрать основные предубеждения продавцов против нового товара, понять их сопротивление и получить базу для работы с возражениями (в ее случае – с возражениями самих продавцов, а не клиентов).
5. Непонимание критериев оценки
Исследователи не всегда разъясняют критерии оценки, ожидая, что они интуитивно понятны участникам.
Пример: Традиционно из десятков анкет, присылаемых мне на экспертизу, около 30% содержат вопросы с просьбой оценить какой-то параметр (услугу, товар) от 1 до 5 баллов, но не содержат расшифровки значений, или хотя бы указания, какой полюс является положительным. Иногда все исследование пропадает, если организаторы обращают внимание на диаметральные различия в оценках респондентов и только потом догадываются, что некоторые респонденты ставили «1», предполагая, что это «первое место» в рейтинге, а другие ставили «1», как самый низкий балл.
Как выход из таких ситуаций, принято использовать шкалу Лайкерта (Лейкерта, Ликерта), содержащую более детальные формулировки для оценки (например, от «Совершенно не нравится» до «Очень нравится», или от «Никогда» до «Очень часто»). Можно найти или придумать много формулировок этой шкалы для самых разных вариантов вопросов. Но и у этой шкалы есть недостатки, так как субъективное понимание, например, частоты каких-то действий у разных людей может различаться. И если нам важно знать не их мнение о частоте, а более-менее точный показатель, лучше конкретизировать такие варианты ответов точными промежутками (например: «Реже одного раза в год» — «…» — «Несколько раз в день»).
На картинке: комментарии участников к анкетному опросу, опубликованному на сайте (источник: pikabu.ru)
Проработка вариантов ответа становится особенно важной, когда анкетный опрос применяется для оценки сложных, субъективно-значимых параметров. В таких случаях респонденты склонны к «ментальной экономии» и выбирают варианты оценки, соответствующие их общему представлению об объекте, не задумываясь над вопросом (например, «игра мне, в общем, нравится, проставлю везде 4 и 5 – не важно, оцениваю я звук, или уровень обратной связи с игроками»).
Такие усредненные оценки встречаются часто при проведении оценки сотрудников методом 360 градусов. Оценивая своих коллег, люди склонны ставить положительные баллы «любимым» и нейтральные, или отрицательные, баллы «нелюбимым», независимо от того, по какому параметру ставятся оценки (нелюбимый сотрудник может быть сильным лидером, или ни с кем не конфликтовать, но «рука не поднимется» поставить ему высокие баллы даже за эти показатели). В итоге, такая оценка оказывается совершенно бесполезной для организаторов исследования, так как не дает возможности выделить реальные проблемные точки у сотрудников компании.
Точно так же обстоят дела при оценке пользовательского опыта при работе с ИТ-продуктами. Если сайт, или компания, в общем, нравятся пользователю, он будет склонен ставить, в общем, высокие оценки, чтобы «никого не обидеть». И такой опрос не поможет разработчикам сделать продукт лучше.
Пример: Забавный случай случился с моей знакомой, когда только начал развиваться сервис «Одноклассники». Заведя аккаунт значительно позже своих знакомых и еще не зная негласных правил поведения на сайте, она стала просматривать профили друзей и ставить оценки фотографиям. Очень скоро несколько подруг ее заблокировали. Она была крайне удивлена и смогла разговорить одну из них, чтобы вяснить причину. Оказалось, подруг (уже давно закончивших школу) сильно задели низкие оценки, которые она ставила их фотографиям. «Как ты не понимаешь? Ты понизила мне общий балл своими двойками!» – призналась одна из них. А моя знакомая, в отличие от большинства пользователей «Одноклассников», была убеждена, что механизм оценки фотографий существует для того, чтобы искренне высказываться насчет удачности кадра, цвета, перспективы и др., а не для выполнения социальной функции поддержки друзей.
В таких случаях высшим пилотажем исследователя становится разработка «поведенческих» вариантов ответа, описывающих примеры проявления качества в поведении человека (или – при оценке продукта – особенности взаимодействия пользователя с ним). По поведенческим вариантам нельзя однозначно определить, какой из них положительный, и какой отрицательный, и респонденту приходится выбирать вариант, наиболее приближенный к реальности.
Пример: Можно предложить такие поведенческие варианты для оценки конфликтности: «Этот человек никогда не повышает голос и всегда держится в стороне от любых разногласий и споров» (самый низкий балл) – «Этот человек остро реагирует, когда его точка зрения не принимается коллегами, или когда поведение коллег кажется ему несправедливым; он может повышать голос, или даже решать разногласия силой» (самый высокий балл). Соответственно, в таком же ключе формулируются остальные промежуточные варианты оценки.
На картинке: Пример вопроса оценки «ориентации на команду» для оценки сотрудников методом 360 градусов. В каждом варианте можно заметить положительные и негативные черты, что увеличивает вероятность честной оценки, в отличие от простого приписывания высоких, или низких баллов сотруднику (Источник).
Разработка поведенческих вариантов оценки – сложный этап. Особенно сложно подобрать адекватные варианты, когда не совсем понятно, как они проявляются в реальном поведении (или взаимодействии пользователя с продуктом). Например, при оценке звуковых эффектов в игре высшей оценкой звука будет: «Звуки не отвлекают от игры, создают хороший фон», или «Звуки играют важнейшую роль, помогают следить за динамикой игры, во время подсказывают действия игрокам». Для того, чтобы варианты оценки получились наиболее соответствующими реальному опыту пользователя, используется этап операционализации, о котором я подробно расскажу в следующей части статьи.
Краткие выводы
Я попыталась описать примеры, когда очевидные для организаторов исследований этапы анкетирования неверно понимаются участниками. Респонденты могут неверно понимать слова и фразы, формулировки вопросов, инструкции к анкете, критерии оценки и направленность вопросов. Эти сложности приводят к сбору нерелевантной информации, или невозврату анкет.
Также мы рассмотрели примеры, когда замешательство респондентов провоцируется намеренно с целью манипуляции результатами опроса. Среди таких манипуляций:
— предоставление иллюзии выбора;
— расстановка акцентов;
— подмена понятий;
— наводящие формулировки;
— использование эффекта привязки;
— создание потребности: 1) через информирование и любознательность, 2) через провокацию тревоги, 3) через развлекательные тесты,
— опросы со смещенной целью.
Чтобы оценить, не манипулируют ли вашим мнением исследователи, предоставляя результаты анкетного опроса, можно задать им несколько вопросов по процедуре исследования:
1. Попросите посмотреть исходный текст анкеты и попробуйте самостоятельно ее заполнить перед тем, как знакомиться с результатами (еще лучше – перед тем, как санкционировать исследование).
2. Представьте, как заполняет эту анкету ваш типичный клиент, или сотрудник (все ли термины и формулировки будут ему понятны).
3. Обратите внимание на формулировку вопросов и вариантов ответа: есть ли негативные варианты, занимают ли они равное место с позитивными вариантами.
4. Обратите внимание, нет ли в вопросах анкеты наводящих формулировок и «привязок».
5. Просмотрите, насколько однозначно и конкретно сформулированы критерии оценки в вопросах анкеты (не провоцируют ли они на «ментальную экономию» – на нейтральные, или исключительно положительные ответы). Лучший вариант – если критерии оценки сформулированы в поведенческих примерах.
6. При анализе итогового отчета обратите внимание, на основе каких вопросов анкеты построены выводы: не подменяют ли исследователи понятия, не выдают ли мнения респондентов за факты.
7. Если используется зарубежная методика (например, от известной компании), поинтересуйтесь ссылками на публикации с описанием процедуры ее перевода, адаптации и валидизации. Без этих процедур методику нельзя считать авторитетным методом исследования, независимо от статуса ее разработчика.
8. Запросите точное распределение участников опроса по группам (пол, возраст, социальный статус, или: отделы, должности), чтобы избежать перекоса выборки (подробнее об этом – в предыдущей статье о выборке).
В следующих статьях:
Ошибка 2. Формулировки вопросов: почему вы решили, что вас понимают? (2 часть)
Ошибка 3. Виды лжи в опросах: почему вы верите ответам?
Ошибка 4. Мнение не равно поведению: вы действительно спрашиваете о том, что хотите узнать?
Ошибка 5. Виды опросов: вам нужно узнать, или подтвердить?
Ошибка 6. Разделяйте и насыщайте выборку: среднее ничего не помогает понять.
Ошибка 7. Пресловутый «Net Promouter Score» – это НЕ изящное решение.
Качество анкеты во многом определяет качество полученных данных. На первый взгляд процесс создания анкеты кажется интуитивно понятным. Но зачастую, когда ответы уже получены, обнаруживаются ошибки: часть ответов ушла в категорию «Другое», часть респондентов «затруднилась с ответом», другая часть вовсе не завершила опрос.
Пользователи онлайн-сервиса для создания опросов «Анкетолог» ежедневно создают сотни анкет. Василий Жаворонков, руководитель отдела исследований, собрал распространенные ошибки при создании анкет и рассказал, как их избежать.
Одна анкета для нескольких целей
Цель исследования – это основной вопрос, ответ на который мы ищем. Часто, чтобы сэкономить бюджет, исследователи запускают одну анкету для достижения сразу нескольких исследовательских целей. Такой подход чреват получением ненадежных данных. Основное правило: одна цель – одна анкета, где каждый (!) вопрос работает на достижение исследователем поставленной цели.
Объединять два вопроса в один
Ошибка – объединять два вопроса в один. Скорее всего, респондент ответит только на один из них – тот, по которому ему есть что сказать. Чтобы получить точные ответы, разделите вопрос по смыслу на два отдельных.
✘ Сталкиваются ли ваши сотрудники со стрессом и выгоранием на работе?
✔ Сталкиваются ли ваши сотрудники со стрессом на работе?
✔ Сталкиваются ли ваши сотрудники с выгоранием на работе?
Слишком много открытых вопросов
Опрос нацелен на сбор количественных данных с помощью вопросов с закрытым списком вариантов ответа. Открытые вопросы требуют больших трудозатрат как от респондента, так и от исследователя. Первый потратит больше сил, чтобы сформулировать и написать ответ. Второй – чтобы его прочитать и категоризировать. Допустимо добавить 1-2 открытых вопроса в конце анкеты, чтобы респонденты могли поделиться наболевшим по теме опроса. Так вы сможете найти дополнительные сюжеты, не охваченные вопросами анкеты.
Плохо сформулированные варианты ответа
Подсказки должны быть однородными: равной длины, одинаковой степени конкретизации и выделены по одному основанию. Интервалы значений в подсказках должны быть уникальными и не включать в себя значения соседних. В случае с оценочными вопросами подсказки должны быть симметричными: две про позитив и две про негатив.
Ошибки в тексте анкеты
Соблюдение правил орфографии и пунктуации – плюс балл к репутации бренда. Небрежно оформленная анкета отражает соответствующее отношение компании к своим клиентам. Перед запуском дважды проверьте анкету на ошибки и опечатки и попросите коллег взглянуть на анкету свежим взглядом.
Сложные формулировки вопросов
Формулируйте вопросы максимально просто, понятно и недвусмысленно. Откажитесь от теоретических понятий, профессиональных терминов, аббревиатур, сокращений и сленга. Не используйте речевые штампы и абстрактные понятия («много», «мало», «часто», «редко», «нормально»). Даже такие словосочетания, как «программа лояльности» или «под ключ», стоит пояснять в скобках.
✘ Какой рекламный баннер из представленных ниже нравится вам больше всего?
✔ Какое изображение вам нравится?
Одинаковые типы вопросов
Чтобы удерживать внимание, вопросы должны быть разнообразными. Используйте разные типы вопросов: выбор из списка, шкала, матрица, парное сравнение и т. д. Спрашивайте про разное: факты, чувства, желания, потребности, драйверы и барьеры. Задавайте вопросы в последовательности «что?», «где?», «когда?», «кто?», «как?», «почему?».
Начинать анкету с личных вопросов
Не стоит с ходу спрашивать респондента о его возрасте, семейном положении и доходе. В самом начале анкеты такие вопросы могут насторожить и оттолкнуть. Поэтому личные вопросы, как правило, размещают в конце анкеты, когда респондент, ответив на большую часть вопросов, хочет завершить опрос. Спрашивая респондента о его жизни, подбирайте нейтральные формулировки и добавляйте опцию «Не хочу отвечать».
Неполный список вариантов ответа
Проверьте, чтобы варианты ответа охватывали все возможные ситуации. Не должно получиться так, чтобы респонденту не подходил ни один из предложенных вариантов. Если есть сомнения в полноте списка, добавьте поле «Другое» для ввода ответа в свободной форме, чтобы позже дополнить перечень ответов.
Представлены не все возможные сценарии ответа
Продумайте, сколько вариантов нужно выбрать для ответа на вопрос, чтобы избежать ситуации, когда технически респондент может выбрать только один вариант, а фактически ему подходят несколько. К примеру, если вы спрашиваете «Как вы добираетесь до работы?», учитывайте, что человек может комбинировать несколько видов транспорта: часть пути пройти пешком, часть – на автобусе, часть – на метро.
Предвзятая формулировка вопроса
Часто исследователи предвзято формулируют вопросы из-за неосознанного желания подтвердить свою гипотезу. В свою очередь, респонденты имеют склонность давать социально одобряемые ответы или более позитивные оценки, чтобы проявить уважение к исследователю. Чтобы предотвратить получение смещенных оценок, используйте нейтральные формулировки.
✘ По шкале от 1 до 10 насколько вам нравится дизайн нашего сайта?
✔ Пожалуйста, оцените дизайн нашего сайта по шкале от 1 до 10.
Респондент не может пропустить вопрос
Подсказка «Затрудняюсь ответить» показывает уважение к респонденту и дает возможность уйти от ответа. При этом если респонденты слишком часто затрудняются с ответом, это говорит о том, что сам вопрос или варианты ответа сформулированы некорректно или ответ социально неодобряем.
Фиксированная последовательность вариантов ответа
При расположении подсказок учитывайте, что первую подсказку выбирают чаще всего. Чтобы избежать систематической ошибки при ответе на вопрос, конструкторы анкет позволяют настраивать отображение вариантов ответа в случайном порядке. Эта опция применима только для тех вопросов, где подсказки нельзя упорядочить естественным образом. В оценочных вопросах подсказки всегда упорядочивают по смыслу, например, «очень хорошо», «хорошо», «ни хорошо, ни плохо», «плохо», «очень плохо».
Отсутствие логики перехода между вопросами
Когда в анкете отсутствует логика, у респондента складывается впечатление, что его время тратят впустую. Например, вы просите оценить товары бренда, не уточнив, есть ли у респондента опыт их использования. Конструкторы анкет позволяют настраивать логическое ветвление вопросов анкеты. Вы можете настраивать показ отдельных вопросов и даже целых блоков в зависимости от ответа респондента на предыдущий вопрос. К примеру, сначала вы спрашиваете посетителей кафе, есть ли у них дети до 7 лет. Затем тех, кто ответил утвердительно, просите оценить удобство игровой комнаты. Остальных перенаправляете к следующему вопросу.
«Лишние» варианты ответа
Чем короче анкета, тем выше качество полученных данных. Поэтому по возможности нужно сокращать количество и формулировки вопросов, а также список подсказок к ним. Для этого в конструкторах анкет есть инструмент подстановки выбранных вариантов ответа в последующие вопросы. К примеру, вы спрашиваете, какие сорта сыра респондент покупал за последние полгода. После чего выбранные варианты ответа автоматически подставляются в следующий вопрос, где респондента просят оценить их вкусовые качества.
Слишком длинные списки вариантов ответа
Вопросы с длинными списками вариантов ответа вызывают трудности у респондентов. Такие списки обычно просматривают невнимательно, в результате чего снижается качество данных. Один из способов сократить список – сгруппировать варианты по смыслу. В случае выбора более общей категории, респонденту предлагают уточнить свой ответ, ответив на дополнительный вопрос.
Заключение
Сбор ответов на анкету непростой и дорогостоящий процесс, который легко могут перечеркнуть ошибки при создании анкеты. Поэтому критически важно несколько раз самостоятельно проверить анкету и попросить о помощи коллег или знакомых, чтобы получить свежий взгляд со стороны.
Для потребителя
социологической информации, например
местных органов власти, методика не
имеет никакого значения. Ее качество и
эффективность важны для разработчика
социологического инструмента,
который, применив этот инструмент в
«поле», обязан представить заказчику
истинные данные. Таким образом, правильная
формулировка анкетных вопросов, их
распределение на анкетном листе и
редактирование — дела сугубо
профессиональные. Можно сказать, что
речь здесь идет о научной «кухне»
эмпирического исследования.
3.1. Основные правила формулировки вопросов1
В литературе
высказывается немало советов, правил
и требований к разработке вопросов
анкеты. Принципы логического анализа
вопросов анкеты, предложенные, в
частности, О.М. Масло-вой, позволяют
отбраковать, исключить грубые логические
ошибки и оставить доброкачественные
вопросы. Ведь если социолог допускает
ошибки на этапе составления анкеты, то
они добавляются к тем неизбежным
ошибкам, которые сопровождают процессы
формирования выборки, операционализации
понятий, сбора и анализа данных.
Хотя составление
анкет до сих пор является в большей
степени искусством, чем наукой, можно
сформулировать ряд простых общих правил,
следование которым позволит вам быть
уверенными в том, что анкета будет
понятна участникам опросов. Стоит, на
наш взгляд, прислушаться к тем советам,
которые дает опыт-338
ный маркетолог, руководитель
отдела Института маркетинговых
исследований, ГфК МР А. Кутлалиев2:
♦ вопросы в анкете должны быть ясными;
♦ форма ответов, которые предполагает
вопрос, должна быть удобной для записи;
♦ в анкете необходим правильный порядок
размещения вопросов;
♦ анкета должна быть организована
так, чтобы с ней было удобно работать;
♦ всегда необходимо осуществлять
«пилотаж» анкет, прежде чем будет начато
основное исследование;
♦ вопрос должен задаваться только об
одном предмете;
♦ вопрос должен быть коротким и
несложным, поскольку длинные вопросы
приводят к тому, что респондент не
улавливает сути;
♦ вопросы должны вызывать правдивый
и точный ответ. Обобщив многочисленную
литературу, как отечественную, так
и зарубежную, а также собственный опыт
полевой работы с анкетным инструментарием,
сделаем следующие выводы, напрямую
касающиеся искусства и науки составления
анкетных вопросов.
1. Прежде всего вопросы
должны быть недвусмысленными.
Двусмысленный вопрос
предполагает наличие у респондента не
одного ответа на него, а больше.
Двусмысленные вопросы — это, по сути,
два вопроса в одном: «Согласны ли вы с
утверждением, что зубная паста «Аквафреш»
предпочтительнее по вкусу, чем «Пепсодент»,
и что фирме «Пепсодент» следует подумать
о том, как улучшить вкус своей продукции?»
Как ответить на него человеку, который
убежден, что паста «Аквафреш» лучше
«Пепсо-дента» по вкусу, но ему все равно,
что именно следует предпринять фирме,
выпускающей последнюю? И как намеревается
исследователь интерпретировать
ответ на такой вопрос? Ведь можно только
гадать, собирался ли респондент отнести
свой ответ к обоим компонентам, или
какому-то компоненту было отдано
преимущество перед другим. Вопрос должен
быть только об одном
предмете. Кроме того,
нельзя втискивать два вопроса в один,
как, например: «Что Вы думаете о телевидении
и его влиянии на детей?»
Иногда, вопреки сознательным усилиям
исследователей определить и пояснить
понятия, в вопросы могут вкрасться
слова с множественными значениями
или интерпретациями. При-
339
мер двусмысленного вопроса: «Каков
размер Вашего дохода?» Подразумевает
ли этот вопрос доход всей семьи или
только личный доход респондента (и за
какой период)? Касается вопрос
заработанного дохода (жалованье или
заработная плата) или же исследователь
проявляет интерес также к другим
источникам — к дивидендам от акций
и процентам от банковских вкладов и
т.п.? Подобно этому, достаточно двусмысленно
выглядит вопрос: «Предпочитаете вы
автомобили марки А или марки В?» Должен
ли респондент ответить нам, какую из
марок он намерен реально приобрести
или какую марку купил бы, если бы между
ними не было разницы в цене? А ответ на
вопрос: «Сколько вы покупаете хлеба
в день?» — будет зависеть от того, как
подумает респондент о поступающем ему
хлебе — в виде количества буханок
или же в сумме денежных затрат на
соответствующую покупку.
Функцию «слов-ловушек»
очень часто выполняет местоимение
«Вы». Так, на вопрос анкетера «Сколько
сахара вы купили за год?» может последовать
встречный вопрос респондента: «Лично
я или вся семья?» Другим примером ловушек
являются слова типа «все», «какой»,
«никто», «только один», «каждый»,
«никогда», «всякий». Многие люди
негативно реагируют на такого рода
обобщающие слова. На вопрос: «На каком
компьютере вы работаете?», можно
получить такие ответы, как «на старом»,
«IBM
PC»,
«на Интел инсайд», «Пентиум-два 266, ОЗУ
64 Мегабайт, HDD
4 Гига, 15-дюймовый монитор, звуковая
карта Creative»…
А можно получить встречный вопрос: «Дома
или на работе?» К этому же разряду
относится вопрос «Как вы относитесь к
женщинам?». Один герой анекдотов
ответил: «Я к ним не отношусь», и был
совершенно прав3.
И такие формулировки анкетных вопросов
следует признать двусмысленными.
2. Каждый вопрос должен быть,
насколько это возможно, коротким
и простым. Старайтесь
избегать усложненных, закрученных
в спираль формулировок, таких, например:
«Как Вы думаете, что бы Вы предпочли
в том, что касается пенистости при
стирке: низкую пенистость, которая
покажет и низкую очищающую способность,
но зато ее легко будет смыть, или сильную
пену, которая покажет большую очищающую
способность, но смыть которую будет
труднее?» Оптимальная длина анкетного
вопроса должна размещаться в пределах
от 11 до 26 слов.
3. В формулировке вопросов
следует использовать только те слова,
которые заведомо хорошо известны
респондентам.
Исполь-340
зуйте те слова, которые известны членам
данной выборки. Помните, что большая
часть населения России имеет среднее,
а не высшее образование. Не нужно
использовать специальных и трудных для
понимания большинством респондентом
слов, таких, например, как: «Что Вы
считаете более позитивным или более
негативным фактором: хлорирование,
фторирование или озонирование
водоснабжения?» Следует вообще избегать
технических терминов, сленга и особенно
необычной лексики, поскольку их значения
могут быть неправильно истолкованы
респондентами. Подумайте над тем,
как заменить такие слова на более простые
и понятные всем, не искажая смысла.
4. В вопросах нужно избегать
двойного отрицания. Прозрачность
смысла в вопросе настолько важна, что
необходимо предпринять все возможные
усилия, чтобы эту ясность ничто не
затуманивало, как в таком, к примеру,
вопросе: «Вы бы скорее не стали пользоваться
шампунем, который не рекомендован
медиками?»
5. Еще один очень важный
момент: следует всячески избегать
предубежденности в
формулировке вопросов. Нельзя использовать
«пристрастные» вопросы, которые
подсказывают определенный, заранее
заданный ответ и могут подталкивать
респондента к неточному ответу (нередко
— именно к тому, который предпочитает
получить сам исследователь). Тем самым
заведомо создается систематическая
ошибка или пристрастность ответов.
Наводящий вопрос «Не кажется ли вам,
что в нашем регионе имеет место
топливно-энергетический кризис?»
подразумевает, что думать иначе было
бы необычно. Другие примеры предубежденности
можно обнаружить в формулировке
вопросов: «На самом
ли деле реклама всегда
заставляет Вас покупать тот или иной
товар?»; «Согласны ли
Вы с тем, что современная
молодежь получила слишком много
свободы?». Здесь, конечно, подсказка
проступает даже слишком явно. Особую
разновидность подсказки создает
использование в вопросе слов, заведомо
несущих в себе негативную окраску: «Не
считаете ли Вы, что угроза
распространения
наркотиков требует ужесточения
законодательства?»; «Что нам следует
предпринять в связи с футбольным
хулиганством»}‘».
Выделенные слова фактически указывают
респонденту, как относится к обозначаемым
понятиям сам исследователь, и тем самым
невольно подталкивают отвечающего к
желательному (для исследователя)
ответу. К столь же предубежденному
результату могут привести формулировки
вопросов, содержащие такие речевые
обороты: «Принято
считать, что… А каково
Ваше
341
мнение по этому поводу?»
Необходимо учитывать эффект так
называемой «спирали молчания»»4.
6. При составлении анкеты и формулировке
вопросов нужно позаботиться о том, чтобы
помочь респонденту полностью понять
вопрос и выразить свое мнение. Вряд ли
многие из опрашиваемых окажутся
способными дать точный ответ на вопросы
типа: «Какой вкус у шоколада этой марки?»
Или: «Что вы, прежде всего, делаете,
когда приходите домой?» Необходимо
помочь респонденту, сопроводив вопрос
перечнем всех (или максимально возможного
числа) вариантов ответов.
7. Подумайте, не
превышает ли заданный вопрос возможностей
памяти респондента.
Необходимо помочь респонденту вспомнить
интересующие исследователя события.
Вряд ли кто-то в состоянии точно
ответить на вопрос: «Сколько конфет (в
кг) Вы купили за последний год?»
Исследователь мог бы в таком случае
предложить разбивку по времени:
Сколько конфет (в
кг) Вы покупали:
1. за последние 4 недели _____
2. за последние 1—3 мес. _____
3. за последние 3—6 мес. _____
Ученые давно заметили, что способность
человека запоминать события зависит
от того, насколько они значимы для него.
Другая опасность в вопросах-запоминалках
— склонность людей помнить событие
так, словно оно произошло значительно
ближе к настоящему времени, чем это
было в действительности: женщина
сказала, что купила стиральный порошок
месяц назад, и только после уточняющего
вопроса вспомнила, что это было два
месяца назад.
8. Иногда бывает так, что
респонденты просто затрудняются ответить
на тот или иной вопрос (либо по тем
причинам, что не сталкивались с
соответствующей ситуацией на практике,
либо потому, что не задумывались над
причиной ее возникновения, или просто
хотят сохранить в тайне имеющуюся у них
информацию). Значит, нужно предусмотреть
возможности отступления, чтобы
не загонять своего собеседника
(респондента) «в угол». Дайте ему (или
ей) возможность, в случае необходимости,
уклониться от любого ответа, предусмотрев
такие варианты, как: «затрудняюсь
ответить», «не знаю», «не думал(а) об
этом».
342
9. Не
следует переоценивать своих возможностей
в предвидении всех возможных вариантов
ответов на тот или иной вопрос — жизнь
многообразна и неисчерпаема. Поэтому
подумайте, не стоит ли добавить к
перечню
вариантов ответов на некоторые закрытые
вопросы такой
позиции, как «другие варианты…» («что
еще…»), зарезервировав место для
того, чтобы респондент мог дать свою
версию ответа и превратив тем самым
закрытый вопрос в полузакрытый.
10.
Следует учитывать, что некоторые вопросы
ориентированы не на всех, а лишь на
определенную категорию опрашиваемых.
Когда вопрос рассчитан не на всех
респондентов, а только на некоторых из
них, следует предусмотреть фильтр.
Чаще
всего это делается в виде некого
условия, предваряющего вопрос. Например,
если далее в анкете последует серия
вопросов об оценке каких-то качеств
женской косметики, вы могли бы ввести
в анкете дополнительную инструктивную
строку: «На
вопросы с 12-го по 18-й отвечают только
женщины. Мужчины переходят сразу к
вопросу 19». А
перед 19-м вопросом (с которого начинается
ряд вопросов об оценке мужской косметики)
поставить новый фильтр: «На
вопросы с 19-го по 26-й отвечают только
мужчины. Женщины сразу переходят к
вопросу 27». При
композиционном оформлении анкеты
это можно обозначить также соответствующими
стрелками.
11.
Иногда следует подумать о том, не заденет
ли вопрос самолюбия респондента, его
достоинства, не
вызовет ли он отрицательных эмоций.
Дело
в том, что иногда вопросы анкеты могут
потребовать от респондента критического
отношения не только к окружающим, но и
к себе. В результате у него может
возникнуть внутреннее предубеждение
к самому процессу опроса и его инициаторам,
что вызовет нежелание вообще участвовать
в опросе (или побудит его сообщить
неточную информацию). Например, изучая
проблемы поиска рыночной ниши для
конкретной марки зубной пасты, обладающей
определенными антикариесными и
дезодорирующими свойствами, скорее
всего не стоит задавать респонденту
прямой
вопрос
о том, как воспринимают окружающие
дурной запах из его (или ее) рта. Вряд ли
кому-то из тех, кто является
потенциальными клиентами вашего
заказчика, будет приятно сознаться
в том, что окружающие стремятся держаться
на расстоянии, беседуя с ними. В этом
случае не стоит придавать вопросу столь
личностную окраску. Нам в конечном счете
нужна обобщенная статистическая картина,
а вовсе не индивидуальная исповедь
конкретного человека. В этом случае
следует прибегнуть к косвенной
форме
подачи вопроса, такой, например, как:
«Когда мне приходится сталкиваться с
собеседником, у которого не очень
343
свежее дыхание, я
обычно думаю, что…» (далее могут следовать
варианты ответов). Так или иначе,
респондент, выбирая нужный вариант
ответа, прибегнет при этом к собственному
опыту. Косвенные вопросы достигают
своей цели как бы вскользь, преодолевая
сопротивление или нежелание респондента.
Они могут иметь также такие формы:
«Удалось
ли Вам за
последний месяц прочесть какую-нибудь
книгу или нет?»
«Некоторые
люди стремятся
чистить зубы после каждого приема
пищи, другие — нет, а Вы?»
«Одна
женщина, с которой я разговаривал,
сказала,
что она никогда не покупает готовые
смеси для кексов, поскольку ее муж
сочтет, что она никудышная хозяйка, а
что Вы думаете по этому поводу?»
Иногда люди не
желают давать правдивые ответы, чтобы
«не потерять лица». Не каждому
респонденту понравится вопрос типа «Вы
боитесь летать на самолете?», и не каждый
человек признается, что он боится
подниматься в воздух. В качестве причин
он может выдвинуть некие соображения,
не отражающие истинных чувств, например,
дороговизну билетов или невозможность
отдохнуть в самолете в отличие от поезда.
«Вы принимаете ванну каждый день?» Если
респондент считает это социальной
нормой, но не придерживается ее, он,
скорее всего, даст социально приемлемый
ответ.
12.
Наконец, следует подумать о валидности5
шкалы,
на которой размещены варианты ответов.
Шкальные вопросы сами по себе хороши
для измерения отношений, ожиданий,
восприятий и предпочтений. Такие вопросы
достаточно просты для понимания и
позволяют собирать большое количество
информации от респондента за
относительно небольшое время. Кроме
того, шкальные вопросы позволяют довольно
легко осуществлять многомерный
статистический анализ данных. Однако
составителю анкеты надо хорошенько
оценить логическое соответствие между
смыслом формулировки вопроса и характером
шкалы, по которой будут измеряться
ответы. Типичный пример невалидной
шкалы таков:
Часто ли Ваше
внимание привлекает реклама моющих
средств:
1 — в газетах
2 — по радио
3 — по телевидению
344
Обратите внимание: вопрос
был задан о частоте
обращения к рекламным
материалам, а не об источниках,
из которых они исходят.
И если уж вас так интересует и то, и
другое (т.е. вы хотите увидеть различия
по частоте обращения к различным
источникам рекламы), то лучше использовать
комбинированную — в данном случае
табличную — форму размещения шкалы
вариантов ответов, такую, например:
Источник рекламы |
Постоянно |
Периодически |
Редко |
Не пользуюсь |
11. |
4 |
3 |
2 |
1 |
12. По радио |
4 |
3 |
2 |
1 |
13. По телевидению |
4 |
3 |
2 |
1 |
(Обратите внимание на характер кодировки
вариантов ответов — ниже мы еще
обратимся к этому примеру.)
Завершив формулировку вопроса, проверьте,
соблюдены ли при этом все приведенные
выше правила.
3.2. Анализ качества
анкеты
Социологическая анкета, помимо всего
прочего, — это еще текст, изложенный по
определенным грамматическим и
стилистическим нормам. При его
составлении ученого интересует не
только язык, но и речь (по Соссюру), в том
числе интерпретация вербального
материала говорящим и слушающим.
Соответственно каждый вопрос
представляет собой не только фрагмент
или отрывок из анкетного текста, но
также самостоятельную стилистическую
конструкцию, подобно тому, как отдельный
абзац научного или повествовательного
текста представляет собой самостоятельное
целое (в рамках существующей стилистической
конструкции всего текста), подчиняющееся
собственным жанровым законам (зачин,
интрига, заключение).
Анкета существует на узком пространстве
между исследователем и респондентом,
тем, кто задает вопросы, и теми, кто на
них отвечает. Как средство научного
измерения и канал общения социологическая
анкета должна в точности выполнять
предписанные ей функции, обладая
высокой надежностью и качеством.
Качество социологической анкеты
определяется рядом факторов, в том числе
тем, как мудро, проницательно и умело
сформулировал ее позиции разработчик,
и тем, насколько адекватно его поняли
респонденты.
345
К изучению того, как
воспринимают респонденты анкетные
вопросы, специалисты применяют
разнообразные техники. Обычно
практикуются следующие методы: экспертные
оценки разработчиков анкеты; экспертные
оценки интервьюеров; логический анализ
анкеты; когнитивные методы анализа
текста анкет6.
При этом в основном тестируют лексическую
или логическую правильность вопросов
(например, сбалансированность закрытий),
их семантическое соответствие теме
исследования. Кроме того, специалисты
обращают внимание на способы предъявления
вопросов или карточек интервью, их
понимание, проводят разграничение
письменного текста вопросника и
воспроизведения его отдельных
элементов в устной речи и т.д.
Цель когнитивных методов — понять
мыслительные процессы, управляющие
ответами респондента при опросе,
используя полученные знания для
конструирования более эффективного
опросного инструмента. Эмпирически
удалось выяснить, что письменный вопрос
и его произнесение — вслух анкетером
(интервьюером) или мысленно респондентом
— две разные вещи. Не существует даже
такой объективной формы, как дословное
произнесение текста. В большинстве
случаев оно представляет собой лишь
устойчивый миф, укоренившийся в среде
разработчиков анкет. Социолог читает
респонденту одним образом, сам респондент
— другим. При этом тот и другой в разное
время могут прочитать, а соответственно,
и понять один и тот же текст по-разному
в зависимости от своего настроения,
эмоционального и физического
самочувствия, форс-мажорных обстоятельств
и т.д. В конечном итоге с помощью
когнитивного анализа можно установить,
что именно человек думает, отвечая на
вопросы интервьюера. Здесь анкета
трактуется не как бумажный документ
с записанным текстом, а как коммуникативная
среда, в которой взаимодействуют: 1)
содержание, направленность и
последовательность анкетных вопросов;
2) формулировка вопроса и многообразие
его интерпретаций; 3) характеристики
и условия ситуации опроса; 4) личность
интервьюера и респондента. При когнитивном
анализе используются два метода,
направленных на уменьшение семантического
многообразия слов и выражений: 1)
улучшение формулировки вопроса и снятие
неоднозначных понятий; 2) повышение
качества коммуникации между
интервьюером и респондентом. По мнению
Т. Димайо и Дж. Ротгеба, к первой группе
относятся следую-346
щие техники: метод парафразы,
метод артикулированного (проговоренного)
суждения, метод оценки уверенности в
ответах и метод пробных вопросов7.
Вторая группа включает: метод когнитивного
кодирования, метод экспертных оценок,
семантическое кодирование вербального
протокола, экспертное кодирование
вербального протокола и метод временных
характеристик8.
При этом первую группу методов называют
качественными, а вторую количественными.
Методы когнитивного интервью
направлены на вовлечение респондента
в процесс тестирования вопросника: от
респондентов требуется артикулировать
свои размышления по поводу вопроса
и показать интервьюеру, как они понимают
конкретный вопрос и формулируют на него
ответ9.
Метод парафразы заключается в том,
что респондента просят изложить
услышанный вопрос, попытаться задать
его самостоятельно, используя собственные
лексические конструкции. Метод оценки
уверенности в ответе позволяет выявить
трудности, связанные с формулированием
ответа. Респондента просят оценить
(например, по пятибалльной шкале)
каждый ответ в зависимости от уверенности,
с которой он был выбран. С помощью метода
артикулированного суждения можно
установить, что говорит респондент о
причинах выбора определенного варианта
ответа. Для этого его либо просят
проговаривать все мысли, которые приходят
ему в голову при ответе на вопрос, либо
ответить на дополнительные вопросы
типа «почему»10.
Предложенная Д.М. Рогозиным»
четырехшаговая схема анализа
когнитивного перехода (рис. 3.1) вскрывает
лингвистичес-
347
кие ресурсы (знания и речевые навыки),
которые использует респондент при
ответе на анкетный вопрос. Различная
когнитивная компетентность, которой
обладают разные люди, заставляет их
по-разному отвечать на прозвучавший
вопрос. Но не только она влияет на
качество получаемой информации. Не
меньшее значение имеют экстралингвистические
факторы, в том числе молчание, кивки,
ухмылка, движения руками, покачивание
головой интервьюера.
Программный вопрос
Анкетный вопрос
Прозвучавший вопрос
Услышанный вопрос
Ответ на вопрос
1
— Операционный
переход
Трансформация
исследовательских концептов в систему
референтов. Адекватность целей
исследования полученным переменным.
2 —
Интерпретативный
переход
Семантическая
компетентность интервьюера, влияние
респондента и методического аппарата
исследования.
3 —
Коммуникативный
переход
Процесс коммуникации,
определяемый когнитивными картами
интервьюера и респондента; распознавание
и смещение значений.
4
— Когнитивный
переход
Когнитивные процессы
у респондента: понимание, поиск информации,
суждение, формулирование ответа.
Рис.
3.1.
Транзитивная схема опроса
На первом шаге респондент
интерпретирует вопрос, встраивая
его в привычные для себя семантические
рамки. На втором — вспоминает
соответствующие ответу события, действия
или высказывания. При этом респондент
может обращаться к эпизодам, связанным
с его собственным опытом, или ссылаться
на мнения или действия других людей. На
третьем шаге осуществляется интеграция
вспомнившихся событий, их сопоставление
между собой и установление некоторой
логической структуры изложения. Как
правило, в обыденной жизни респондент
не задумывается над вопросами, которые
интересуют исследователя, поэтому
на третьем шаге он вынужден формировать
собственное суждение, исходя из
мобилизованных к данному моменту
ресурсов. На четвертом шаге при закрытом
вопросе респондент выбирает адекватный
собственному суждению ответ из
предложенных альтернатив, при открытом
вопросе — пы-348
тается
артикулировать самостоятельно
выработанное суждение, используя
собственный семантический словарь и
навыки построения связной речи12.
Для
проверки предложенной схемы в рабочих
условиях Д.М. Рогозин провел в 2000 г.
методический эксперимент. Цель
исследования — определение характера
смещений в формулировке вопроса на
каждом трансформационном переходе
(интерпретативном, операциональном,
коммуникативном и когнитивном).
Тестировался опросный инструмент
для изучения политических установок,
содержащий четыре типа вопросов: закрытые
вопросы с порядковой шкалой,
псевдооткрытые вопросы с номинальной
шкалой, открытые вопросы, альтернативные
вопросы с порядковой шкалой13.
В лабораторных условиях было проведено
42 стандартизованных интервью. Состав
экспериментальной группы был выровнен
по полу и образованию. В выборку попали
люди в возрасте от 23 до 64 лет. Экспертным
методом оценивалась речевая компетентность
(грамотное построение предложений,
логическая завершенность фраз, корректное
использование понятий) каждо-го
респондента: 42,9% респондентов были
отнесены к классу с высокой речевой
компетентностью, 45,2% — с низкой, в 11,9%
случаев речевая компетентность не
установлена. Опрос проводили
подготовленные интервьюеры с примерно
одинаковым уровнем квалификации в
течение 5 дней. Средняя длительность
интервью составила 10 минут. Для
регистрации поведения интервьюеров
и респондентов использовалось аудио-
и видеозаписывающее оборудование.
С помощью факторного
анализа была проведена группировка
переменных, описывающих изменение
текста анкетного вопроса. В результате
были выделены два фактора, которые
объяснили 63,4% разброса признаков.
Вербальное поведение
интервьюера при коммуникативном
переходе описывается Д.М. Рогозиным
пятью переменными: стимулирование,
повторение, уточнение, прерывание и
поддержка ответа. Рассматривая эту
группу переменных, он выделил два
латентных признака, характеризующих
стратегии проведения опроса, которые
использует интервьюер: давление на
респондента и поддержка респондента
(см. рис. 3.2; табл. 3.1). Первая компонента
показала сильную взаимосвязь таких
переменных, как перестановка слов в
вопросе, добавление незначимых слов,
пропуск и замена слов.
12
349
Таблица 3.1
Факторы вербального
поведения интервьюера
(факторные
нагрузки получены методом Varimax
после
вращения,
объясняется 52%
дисперсии)
Исходные |
Компонента |
|
Давление |
Поддержка |
|
Стимулирование |
0,697 |
0,209 |
Повторение ответа |
0,705 |
-0,181 |
Уточнение ответа |
0,646 |
0,262 |
Прерывание ответа |
0,200 |
0,578 |
Поддержка ответа |
-0,004 |
0,830 |
Поддержка |
! ! ! |
|
Нейтральная |
Давление |
min
Стимулирование
ответа Уточнение ответа
Рис.
3.2. Коммуникативные стратегии интервьюера:
давление и
поддержка
Как было установлено,
прерывание вопроса свидетельствует о
том, что респондент еще до завершения
вопроса сформулировал суждение, которое
может быть ответом, а может представлять
собой и уточняющий вопрос. Респондент
как бы показывает, что для него вопрос
абсолютно понятен и не требует дальнейшего
развертывания.
Повторение
респондентом отдельных смысловых единиц
вопроса позволяет интервьюеру
скорректировать вопрос и внести в него
необходимые уточнения. Задавая второй
или третий раз видоизмененный вопрос,
интервьюер будет надеяться получить
более адекватный ответ. Подобная
стратегия неотвратимо приводит к
увеличению совокупного текста ответа.
Однако любое увеличе-
ние артикулированного
текста ответа будет приводить к снижению
его адекватности семантическому заданию
вопроса (рис. 3.3).
Повторение респондентом вопроса является
отправной точкой для обсуждения самого
вопроса, внесения в него необходимых
уточнений и как следствие отклонения
от семантического задания вопроса
и производства фалыпответа. Так,
наибольшая доля повторений встречается
в тех случаях, когда респондент испытывает
колебания, изменяет ответ или затрудняется
выбрать из предложенных альтернатив.
Повторение отдельных семантических
единиц вопроса приводит к созданию
другой версии вопроса.
Переменная «уточнение вопроса» не имеет
статистически значимой связи с
образованием и речевой компетентностью
респондентов. Это позволяет
предположить, что основной причиной
уточнения вопроса являются затруднения
с его формулировкой и способом
представления. Переспрашивание вопроса
свидетельствует о том, что респондент
не смог преодолеть первый шаг когнитивного
перехода. Он не стал создавать фальшвопрос,
а решил обратиться за поддержкой к
интервьюеру. Это может потребовать от
интервьюера либо повторения вопроса,
либо его уточнения. Если при возникновении
вопроса у респондента интервьюер
начинает уточнять анкетный вопрос,
пытается прокомментировать отдельные
понятия, он невольно преобразует
стандартизированное интервью в
беседу, которая отличается от обычного
разговора лишь заданным извне фокусом.
351
3.3. Логический
контроль анкеты
«Кабинетный
вариант» анкеты всегда нуждается в
контрольной проверке на соответствие
его методическим критериям самыми
разными способами. Часть вопросов
доступна логическому контролю на
уровне экспертных оценок, а другие
вопросы требуют эмпирической,
экспериментальной проверки в
специализированном пробном
исследовании. Как правило, логический
анализ и пробное исследование образуют
две последовательные процедуры. Их цель
— оценить качество разработанной
методики опроса.
Логический контроль
анкеты, позволяющий проверить ее на
соответствие научным критериям качества,
проводится в самом конце — по окончании
компоновки анкеты.
Логический
контроль —
это соотнесение каждого вопроса анкеты,
ее композиции и организационных
решений по проведению опроса со списком
нормативных требований. Он проводится
либо самим автором, либо членами
специальной экспертной комиссии
(совета).
Правильно
организованный логический контроль
строится по двум осям декартовой системы
координат (рис. 3.4).
Ось
ОХ
можно
назвать параметром «часть-целое». Она
представляет собой контроль
правильности формулировки вопросов и
правильность компоновки всей анкеты,
ее композиции.
Ось ОУможно назвать
параметром «логическое-психологическое».
Она представляет собой контроль
соответствия каждого вопроса
логическим и психологическим критериями.
6
354
12. Не является ли вопрос «острым» для
респондентов, связанным с социальным
или психологическим «табу»? Не задевает
ли он самолюбие респондента, интимные
стороны его жизни?
13. Соответствует ли смысл вопроса и его
содержание компетентности и
информированности опрашиваемых, уровню
их обыденных представлений, житейской
практики?
14. Является ли вопрос достаточным для
получения необхо-димой информации? Не
нужно ли добавить контрольные вопро-сы
на искренность и логическую
непротиворечивость?
Перечень такого рода вопросов
— своеобразный методический «тест»,
обеспечивающий контроль качества
каждого воп-роса. Технически он
осуществляется так. Первый
вариант: в тексте
анкеты рядом с каждым вопросом записываются
номе-ра тех критериев (или их сокращенные
обозначения), по которым данный вопрос
получил замечание. Второй
вариант: рядом с каждым
критерием выписываются номера вопросов,
получивших замечания по данному критерию.
Результатом такого анализа будет
комплексная оценка каждого вопроса по
всем названным критериям. Вся совокупность
вопросов раз-делится на три группы в
зависимости от возможности их до-работки.
Первая группа —
вопросы, признанные пригодными для
использования в опросе без дальнейшей
проверки и дора-ботки. К ним относятся
не получившие замечаний и те воп-росы,
где замечания доступны редактуре без
эксперименталь-ной проверки. Вторая
группа — вопросы,
либо получившие небольшое количество
замечаний, либо имеющие грубые ло-гические
и методические просчеты и признанные
непригод-ными к использованию. Они
подлежат выбраковке. Третья
группа — вопросы,
нуждающиеся в экспериментальной или
зондажной проверке в пробном исследовании.
По поводу каж-дого (или большинства) из
них необходимо знать, какие их методические
характеристики будут проверяться в
пробном исследовании. В зависимости от
этого ставятся конкретные задачи и
процедуры для пробного исследования.
Приведем здесь несколько таких ситуаций.
1. Существует опасение, что
некоторые слова непонятны. В пробном
исследовании проводится тестирование
pecпондентов
по списку этих слов. Если потенциально
непонятных слов мало, то их содержание
проверяется дополнительными вопросами
в ус-тной форме во время пробного
исследования. Кроме того, по-нимание
языка анкеты контролируется также
методом наблюде-ния во время пробного
опроса, когда анкетер фиксирует все
слу-чаи непонимания прямо в анкете
вместе с вопросами.
355
2. Проверяется соответствие вариантов
ответов в закрытом вопросе языку и
системе представлений опрашиваемых,
уровню их информированности. В пробном
исследовании «подозреваемые» вопросы
задаются в открытой форме, а затем
полученные ответы сравниваются с
«кабинетными» вариантами и производится
доработка. При этом проверку нельзя
заменить использованием «полузакрытой»
формы вопроса. Среди социологов
распространено мнение, что «кабинетный»
вариант вопросов не нуждается в
апробации, если к нему добавить
вариант «другое мнение». Неявно
предполагается, что все недостающие
варианты допишет респондент. Однако
практика показывает, что дополнений
бывает очень мало. Респонденты подбирают
варианты из предложенного списка
даже в тех случаях, когда последний не
соответствует их личному мнению.
3. Существует сомнение по поводу формы
вопроса: ставить ли его в открытой или
закрытой форме, какую выбрать шкалу
(трех-, пяти-, семичленную), сделать ли
вопрос в виде теста на незавершенное
предложение либо в виде картотеки? В
таком случае, после логического
обоснования формы вопроса, надо провести
экспериментальную проверку отобранных
вариантов, сравнить результаты и выбрать
наиболее пригодный.
4. Возникли сомнения в однозначности
восприятия смысла вопроса. Здесь надо
заранее продумать, какой (какие)
дополнительный вопрос следует задать
респонденту, чтобы проверить понимание
смысла вопроса и ответа. Обычно достаточно
попросить респондента прокомментировать
или пояснить свой ответ.
Результатом логического контроля анкеты
выступает совокупная оценка ее
качества, характеризуемая числом
полученных замечаний. Те вопросы
анкеты, которые содержат очевидные
методические просчеты, заменяются
другими, имеющими методическое
решение. Весь описанный процесс предваряет
разработку задач пилотажного исследования.
Окончательный вердикт
качеству всей анкеты выносит пилотажное
(пробное) исследование.
Оно вскрывает все
недочеты анкеты и особенно в составлении
вопросов. Один из верных показателей
непригодности вопроса — большая доля
не ответивших или затруднившихся
ответить на него. Значение данного
показателя интерпретируется в
зависимости от познавательной задачи
вопроса. Если изучается распространенное
явление, о котором Должны знать все или
подавляющее большинство людей, а доля
затруднившихся ответить высока, то это
свидетельство методической погрешности
в составлении вопроса. А если измеряется
информированность опрашиваемых о
достаточно редком явлении и 356
357
доля не ответивших
или затруднившихся ответить высока, то
вполне можно заключить, что вопрос
соответствует поставленной задаче.
Логические
требования к разработке вопросов
дополняются комплексом требований
социально-психологического характера,
которые учитывают такие особенности
опрашиваемых, как их информированность,
специфика жизненной ситуации, память,
навыки самоанализа, умение устно и
письменно характеризовать свои мысли,
чувства, отношение к опросу и желание
сообщить необходимую социологу
информацию16.
Следует отметить,
что логические и социально-психологические
ошибки чаще всего сопутствуют друг
другу. Например, ошибки, связанные с
превышением информированности
респондентов о предмете опроса, как
правило, встречаются в вопросах, где
нечетко определена познавательная
задача. В них, кроме того, встречаются
и научно-теоретические понятия, которые
нуждаются в эмпирической интерпретации,
вследствие чего нарушается требование
соответствия языку опрашиваемых. Пример*
такого вопроса: «Знаете ли Вы, как
фактически изменились технико-экономические
показатели Вашей деятельности за
последние 12 месяцев?»
Знаю точно |
Знаю приблизительно |
Не знаю |
|
1. Производительность |
|||
2. Фондоотдача (в |
|||
3. Выпуск продукции |
Подобный вопрос
имеет усложненную логическую структуру.
Фактически это блок из трех вопросов,
каждый из которых имеет свой предмет
(производительность труда, фондоотдача,
качество продукции), по поводу которого
требуется получить мнение респондента.
Самооценка фиксируется по трехчленной
шкале, причем в обобщенном виде (за
последние 12 месяцев). Зрительно
формулировка логического задания
респонденту кажется как бы
разорванной. Чтобы
получить целостное впечатление,
респонденту приходится трижды
«воссоединять» вводную часть вопроса
со второй ее частью. Например: «Знаете
ли Вы, как фактически изменилась
производительность Вашего труда (в
натуральных стоимостных показателях)
за последние 12 месяцев?»; «Знаете ли Вы,
как фактически изменилась фоноотдача?..»
и т.д.
Табличная конструкция
вопроса сильно усложняет восприятие
его смысла и, следовательно, ответ на
него. Она употребляется чаще всего
при интервьюировании. Для обученного
интервьюера не представляет труда
воспроизвести табличную конструкцию
в виде трех самостоятельных вопросов
(он устно повторяет их), а ответы
зафиксировать в таблице. Это существенно
экономит затраты бумаги на тиражирование
анкет. Однако при анкетировании подобный
прием (несмотря на его всеобщую
распространенность) увеличивает число
ошибок и ведет к формальным ответам.
Табличный вопрос
— типичный пример некритического
переноса научной терминологии в язык
анкеты. Чтобы это не случилось, надо
использовать речевые эквиваленты для
технических терминов типа «натуральные
стоимостные показатели», «фондоотдача»,
«деятельность» и т.п. В терминах научного
языка ставится только исследовательская
задача, но не анкетный вопрос.
Понимание
языка анкеты проверяется пробным
исследованием с помощью постановки
открытых вопросов и тестов
на информированность. Поскольку
респондент должен самостоятельно
формулировать ответы, то сразу
обнаруживается непонимание им смысла
вопроса или отдельных слов. Тогда
респондент задает вторичные уточняющие
вопросы либо просит разъяснить смысл
вопросов. Тесты на информированность
состоят из списков слов, которые могут
быть непоняты опрашиваемыми. Респондентов
просят в письменной или устной форме
объяснить значение этих слов.
Полученные ответы
разбиваются на три группы: совершенно
правильные, частично правильные, совсем
неправильные. Критерием оценки
правильности ответа служит определение
слова, данное в толковом словаре.
Полученные оценки владения респондентами
исследуемым списком терминов служат
основанием для их использования или
замены.
Следует
отметить, что универсальных рецептов
по разработке словаря
анкет не
существует. В каждой исследовательской
ситуации социолог заново определяет
соответствие разработанного инструментария
социально-психологическим требованиям.
Одним из требований
к формулировке вопросов выступает учет
нормативных представлений респондента
о «запретных» темах 358
(социологические
и психологические «табу»). Нарушение
приводит к тому, что на такие вопросы
многие не отвечают либо дают недостоверную
информацию. Это могут быть вопросы о
социально неодобряемом поведении
(нарушениях дисциплины, плохом качестве
работы, употреблении спиртных напитков,
конфликтах на работе или в семье), вопросы
об интимных сторонах личной жизни,
вопросы, связанные с нарушением
положительной самооценки человека
или необходимостью давать негативные
оценки близким людям.
Выявляются
«табу»-вопросы в пробном исследовании.
В исследовании образа жизни было
установлено, что вопрос о жизненных
планах на ближайшее пятилетие, нейтральный
для молодежи и лиц среднего возраста,
оказался острым для людей преклонного
возраста и с плохим здоровьем17.
Короткий анекдот на тему проведения опросов: «Весь 2021 год россияне будут узнавать, с чем согласились 94 % респондентов в ходе телефонного опроса в ночь с 31 декабря на 1 января». Таких шуток в интернете немало, особенно касающихся формулировки вопросов.
В книге «Психологическая диагностика управления персоналом»1 под редакцией доктора психологических наук Климова Е. А. приводятся интересные факты: в зрелых организациях работы по оценке персонала занимают у HR-специалистов 30 % рабочего времени, а в молодых развивающихся фирмах – до 80 %. Это огромная разница. Почему так?
Оказывается, при составлении анкет и при проведении опросов возникает много ошибок, которые существенно увеличивают трудовые и временные затраты HR-специалистов. Что это за ошибки? Какие методы позволяют их избежать? Как можно автоматизировать проведение опросов, чтобы навсегда забыть об искажении данных исследований? Читайте в новом материале Yva.ai.
Какие ошибки провоцируют искажение результатов исследования?
#1 Неправильная цель
Ответьте для себя на вопрос: вы хотите провести исследование, потому что вам интересно мнение сотрудников, или потому что так делают все? Самый важный момент заключается в том, что должна быть чёткая цель, иначе нет смысла устраивать глобальное анкетирование, а потом тратить ресурсы на обработку его результатов, не зная, для чего нужны результаты исследования.
От конкретной цели зависит время проведения опроса, целевая аудитория, и непосредственно сами вопросы. Что касается последних, то здесь именно из-за отсутствия чётких ориентиров у респондента часто возникает непонимание.
- формулировки вопросов,
- слов и специальных терминов,
- инструкции к опросу,
- его направленности,
- критериев оценки.
#2 Один подход ко всем
Для каждой категории сотрудников требуются разные анкеты. Консалтинговый центр HeadHunter сталкивался с такой проблемой в своей работе. При проведении исследования компания предложила всем одинаковую анкету: от руководителей до рабочих. Офисные служащие в анкете не увидели ничего особенного, а вот рабочие были смущены вопросами, например, о коллекционировании антиквариата. Они нашли их неуместными и издевательскими, поэтому опрос проходить не стали.
#3 Некорректный способ связи
Давать сотрудникам анкеты домой неуместно и неэтично. Опрос является частью рабочего процесса и должен проходить на служебном месте. Если человек работает с компьютером, попросите его пройти онлайн-версию опроса. Если нет, подготовьте бумажную. На производстве обеспечьте рабочим перерыв и место для вдумчивого ответа на вопросы.
#4 Слишком много вопросов
Принцип «хотим знать сразу всё» – частая ошибка в случае с оценкой персонала. Сотрудникам трудно заполнять анкету с длинными открытыми вопросами. Вряд ли они станут долго размышлять над всеми пунктами. Поэтому вероятность релевантных результатов исследования катастрофически снижается пропорционально увеличению количества вопросов. Оптимальное время для заполнения – 15-20 минут.
#5 Отсутствие мотивации
Почему бы не начать с показательного примера в лице руководителей. Они могут выступить амбассадорами исследования, тем самым донести до каждого работника его важность. Цель – вовлечь персонал, рассказать о задачах бизнеса и важности мнения каждого сотрудника для их решения.
#6 Проблемы с безопасностью
Страх перед нарушением конфиденциальности – вполне реальный. Несмотря на то, что анкетирования и фокус-группы анонимные, многие участники не верят в это. Любого можно вычислить по IP, а в бумажных вариантах легко угадать по почерку – эти опасения перечеркивают любую надежду на честность ответов и достоверность результатов исследования. Как с этим бороться? Можно заранее отработать возражения и подготовить убедительный ответ от лица руководства или привлечь незаинтересованных провайдеров для проведения анкетирования.
#7 Отсутствие обратной связи
Каждая опросная методика подразумевает выявление проблемы. И если после анкетирования, в котором сотрудники рассказали о своих проблемах, поделились идеями или выразили определённую позицию, в ответ – тишина, то доверие и лояльность будут потеряны. При таком раскладе следующее исследование можно даже не затевать.
Персонал должен понимать, что исследование проводилось не просто для галочки и не отправится в стол, а будет базой для развития и улучшения бизнес-процессов. Требуется объяснить, что, зачем и почему будет делаться.
Какую выбрать методику проведения исследования?
У современных компаний есть несколько вариантов для эффективной оценки персонала: услуги профессиональных провайдеров, внедрение опросных методик ведущих разработчиков (например, большой популярностью пользуются опросники Gallup), самостоятельная разработка анкеты с учетом корпоративной специфики.
Последний подход наиболее разнообразен по вариантам вопросов и форме, но он же и лидирует по числу организационных и методологических ошибок. Недостаточная проработка содержания опросника – большое упущение, которое может на корню зарубить все усилия. Нужно убедиться, что измеряется именно то, что нужно. Вот несколько советов, как минимизировать ошибки в составлении анкеты.
Шаг #1 Поставьте умную цель
Цель исследования – всегда одна. Вы должны чётко понимать, что вы хотите выяснить с помощью исследования. Задач может быть от 3 до 5. Они описывают то, как вы будете достигать цели.
Если вам сложно определить точную цель, запишите список всех вопросов и проблем, на которые хотите получить ответы, и расставьте их по приоритетам. Чтобы поставить умную цель, используйте технологию SMART.
Шаг #2 Определите целевую аудиторию
Ответьте на вопросы: люди какой профессии, пола, возраста, статуса должны отвечать на ваши вопросы? Сколько человек нужно опросить? Именно для них вы подбираете вопросы. Не нужно спрашивать линейных сотрудников, как они относятся к коллекционированию антиквариата, а топ-менеджеров – чтобы они улучшили в работе компании.
Шаг #3 Разработайте анкету
Анкета состоит из трёх блоков: вводная часть (приветствие), основная (вопросы) и «паспортичка». Порядок вопросов от простых (закрытых) к более сложным (открытым) и закачивается снова простыми – «паспортичкой». Этот блок всегда идёт в конце, в него входит информация о респонденте: пол, возраст, образование и пр.
Не перегружайте анкету дополнительными вопросами. Каждый вопрос должен служить для достижения цели. Оптимальное количество – 15-25 вопросов в зависимости от их типа. О том, какие вопросы включить в анкету, читайте в статье Yva.ai. Вопросы должны быть непредвзятыми, используйте глаголы.
Плохой пример: согласны ли вы, что это отличный фильм?
Хороший пример: что вы думаете об этом фильме?2
Избегайте специальных, научных, заумных терминов, которые респонденты могут не понять. Руководитель Школы бизнес-исследований в Минске Тамара Кулинкович приводит яркий пример из практики, иллюстрирующий эту проблему3.
В рамках одного из проектов они исследовали коммуникацию между отделами в IT-компании. И несколько разработчиков из коллектива рассказали на интервью, что их очень злит, когда HR-менеджеры копируют особенности языка и вставляют англицизмы в рассылках и опросах. Отсюда непонимание, нежелание заполнять анкеты и в итоге недостоверная информация на выходе.
Шаг #4 Устройте тест-драйв
Чтобы не превратить исследование в трату времени и средств, минимизировать ошибки и в целом, избежать потенциальной катастрофы, дайте коллегам или друзьям протестировать анкету. Зафиксируйте время на заполнение анкеты. Соберите от каждого обратную связь, как правильно её запрашивать и получать, вы можете прочитать здесь. После чего исправьте и доработайте детали.
Шаг #5 Подходящее время
В зависимости от цели анкетирования, подберите правильное время для опроса. Не нужно оценивать, например, вовлечённость и удовлетворённость сотрудников в высокий сезон. Время проведения опроса также может повлиять на полученные результаты исследования. Идентичные опросы, рассылаемые в 9 утра и 9 вечера одному и тому же человеку, могут дать разные ответы. Точно так же опрос о том, насколько сотрудник хочет бросить работу, даст разные ответы в понедельник и пятницу4.
Что касается внедрения уже готовых опросных методик ведущих разработчиков, например опросы Gallup или 100+ вопросов от Yva.ai, то они минимизируют искажение данных по части формулировки вопросов. Однако, HR-у всё ещё важно учитывать время проведения исследования, его цель, целевую аудиторию и другие факторы, которые могут повлиять на результаты опроса.
Сотрудник службы по персоналу продолжает отвечать за администрирование, сбор и обработку и интерпретацию результатов. Что делать, если штат вашей компании более 100 человек? Насколько проводить такие исследования ресурсоёмко и оправдано? Будет ли информация валидной и оперативной?
В этом случае большие компании подключают новые технологии HR-аналитики. Правильно подобранное решение обеспечивает ряд преимущества:
- экономит бюджет в долгосрочной перспективе,
- позволяет автоматически обрабатывать результаты,
- минимизирует ошибки в подсчётах ответов и их интерпретации,
- снимает нагрузку с HR, позволяя заниматься развивающими и важными задачами.
Платформа Yva.ai проводит умные опросы еженедельно. Созданная на базе искусственного интеллекта, она сама понимает кого и о чём спрашивать. Сотрудники тратят на вопросы не более 5 минут. А вопросы научно обоснованы и протестированы, что позволяет избежать методологических ошибок.
Платформа даёт каждому сотруднику персональный кабинет, в котором ему и его руководителю доступны данные об уровне выгорания, воволечённости, активности, оценка социального капитала и мн. др. Всё это уже визуально представлено на графиках, по которым легко можно наблюдать за изменениями в динамике.
Можно сказать, что теперь у HR-а есть личный помощник и возможность непрерывно проводить опросы одновременно всей команды без непосредственного участия. А самому остаётся только грамотно управлять эффективностью, работать с результатами и принимать решения на основе фактов. Подробнее об установке и возможностях Yva.ai, вы можете узнать на презентации платформы. Просто выберите удобные день и время!
- Психологическая диагностика в управлении персоналом // Учебное пособие для сотрудников кадровых служб. Климов Е. А. 1999.
- How To Conduct A Survey That You Can Trust In 6 Steps // Pollfish
- Ошибки анкетных опросов. 2 ошибка: формулировка анкеты. 13 случаев непонимания и манипуляций в опросе (1 часть) // Хабр. Т. Кулинкович
- How to conduct a survey in 4 simple steps // SurveyMonkey
yva.ai
Современный маркетинг предлагает бизнесу большое количество инструментов. Один из них — опросы. С их помощью маркетолог может найти целевую аудиторию нового продукта, оценить отношение потребителей к конкретному товару, обнаружить слабые места выпускаемого продукта и пр. От этого могут зависеть решения по развитию бизнеса.
Однако этот инструмент не всегда работает хорошо. Иногда он оказывается неэффективным, приносит ложные результаты и становится причиной неверных решений. Это чревато убытками, потерей денег и времени. Очень часто низкоэффективные опросы просто неправильно составлены. Рассмотрим 6 самых распространенных ошибок, которые встречаются в опросах.
Читайте по теме:
Как провести опрос и заставить всех тебя ненавидеть
Искусство опроса: как удержать внимание пользователя и получить честные ответы?
Ошибка №1: Отсутствие единой цели опроса
Часто составители опросов стараются использовать одну анкету для решения сразу нескольких задач. Например, пытаются найти целевую аудиторию нового продукта, а также оценить ее лояльность к товару, заодно и определить, какие качественные характеристики продукта имеют наибольшее значение для потребителей.
Такой подход в корне неверный. Для каждой цели необходимо создавать отдельный опрос и решать проблемы последовательно. Так, в нашем примере правильной будет следующая последовательность действий:
- Сначала определить целевую аудиторию продукта;
- Оценить, каким образом представители ЦА относятся к вашему продукту;
- Определить, какие характеристики имеют наибольшее значение для потребителей.
Для каждого пункта необходимо разрабатывать отдельную анкету. Если попытаться решить все вопросы с помощью одного опроса, то вы получите искаженный результат. А решения, принятые на основе таких итогов, приводят к убыткам.
Вот наши рекомендации, которые помогут вам избежать таких последствий:
- Разработайте программу исследований. Определите, какие вопросы нужно решить с помощью анкеты;
- Расставьте вопросы в порядке приоритетности;
- Создайте для каждого вопроса отдельную анкету.
После окончания первого опроса внимательно проанализируйте результат. И только затем приступайте к запуску второго.
Ошибка №2: Отсутствие внимания к различным сценариям
При создании опроса обязательно нужно продумать логические развилки — то есть решить, куда будет направлен респондент, который выберет тот или иной вариант ответа. Например, его можно направить на какой-нибудь другой вопрос или же на завершающую стадию.
Рассмотрим конкретный пример. Вы хотите оценить, как люди относятся к вашей новой услуге. Поэтому в опросе вы создаете пункт «Пользовались ли вы когда-нибудь нашей услугой?». Вариантов ответов может быть два: «Да» и «Нет».
Тут важно определить, куда будет направлен человек, который ответит «Нет». В ошибочных опросах этот момент не предусмотрен — респондент, выбравший отрицательный вариант, все равно попадает к следующим вопросам об услуге. Такая ошибка сильно снижает качество итогового результата — ведь если человек не пользовался вашей услугой, то, соответственно, и не сможет ничего рассказать о ней.
В этом примере правильнее было бы вывести такого респондента на итоговую страницу, поблагодарить за участие в опросе и попрощаться.
Можно ли как-нибудь избежать таких ошибок? Можно, для этого достаточно просто протестировать опрос. Отдайте анкету нескольким людям, после чего попросите их рассказать о сложностях при ее заполнении. Затем внесите поправки в опрос и проведите тесты еще раз. Только после устранения всех недочетов можно приступать к полноценному исследованию.
Ошибка №3: Некорректное использование разных типов вопросов
В анкетах используется несколько разновидностей вопросов. Составители часто не понимают, какой тип в каком случае стоит использовать.
Например, вы создаете вопрос «Какой продукт из нашего каталога вам нравится?» и даете варианты ответов: «ручки», «тетради», «книги» и пр. При этом у вас закрытый вопрос — то есть респонденты могут выбрать только один вариант.
В таком случае люди, которым нравятся, например, ваши ручки и тетради, просто будут в растерянности. Ведь они не смогут выбрать сразу два варианта. Эта ошибка очень часто приводит к некорректным результатам.
Поэтому, прежде чем приступить к разработке опросов, изучите существующие виды вопросов:
- закрытые — это вопросы, в которых респондентам требуется выбрать один из предложенных вариантов ответа;
- полуоткрытые — в этом случае респонденты могут выбрать один из существующих ответов или вписать свой, например, в окошке «Другое»;
- открытые — требуется вписать свой ответ в специальное поле.
Рассмотренные разновидности вопросов имеют и подвиды. Их много. Например, различают множественный выбор, единичный выбор, оценку по шкале и пр. Обязательно изучите все существующие разновидности вопросов и определите, какой вид нужно использовать в зависимости от ожидаемых данных.
Ошибка №4: Использование неясных вопросов
При составлении вопросов следует избегать использования неясных и размытых вопросов, на которые можно ответить двояко.
Например, вы создаете вопрос «Сколько времени в неделю вы тратите на развлечения?». Проблема здесь в том, что люди совершенно по-разному понимают слово «развлечения». Для одних это просмотр фильмов, для других — посиделки с друзьями, а третьи и вовсе могут рассматривать в качестве развлечения спорт.
Частое использование неясных и размытых вопросов приводит к следующим проблемам:
- увеличивается доля ответов «не знаю»;
- искажается результат опроса;
- увеличивается количество людей, которые отказываются от прохождения опроса.
Чтобы избежать таких проблем, рекомендуем задавать только внятные и конкретные вопросы. В идеале последние должны быть такими, чтобы респонденты могли давать четкие ответы. Избегайте двусмысленных вопросов.
Ошибка №5: Создание слишком длинного опроса
Заполнение анкеты требует времени. Если ваш опрос слишком длинный, то респондент быстро устанет отвечать на вопросы. В результате он начнет бездумно и равнодушно выбирать ответы «методом тыка». Это является одной из самых распространенных причин искажения результата. Решения, которые принимаются на основе таких итогов, часто приводят к серьезным убыткам, потерям средств и времени.
Читайте также: Получить обратную связь от клиентов с помощью опросов: советы
Вот наши рекомендации — они помогут сделать краткие опросы:
- Если ваш опрос длинный, то проверьте, не пытаетесь ли вы охватить сразу несколько целей. Помните, что одна анкета должна решать только одну цель.
- Обратите внимание на количество вариантов ответов в пределах одного вопроса. Их должно быть не более семи. Если требуется включить больше, попробуйте разделить этот вопрос на два.
- После составления опроса сначала пройдите его сами, а также отдайте знакомым. Прохождение анкеты в идеале не должно отнимать больше 15-20 минут времени.
Ошибка №6: Отсутствие внимания к внешнему исполнению опроса
Очень часто можно видеть опросы, которые составлялись на скорую руку: много грамматических ошибок и опечаток, неработающие ссылки, некачественные медиафайлы, которые вдобавок к этому еще и не загружаются. Такое исполнение опроса только отталкивает желание респондентов отвечать на вопросы в нем.
Рекомендуем тщательно проверить опрос на наличие опечаток. Обязательно проверьте работоспособность ссылок, а также качество фотографий и видеофайлов. Обратить внимание также на логику опроса. Сначала задавайте простые вопросы, затем — сложные.
Мы привели перечень наиболее распространенных ошибок, которые допускаются составителями опросов. После составления анкеты обязательно дайте людям из своего окружения пройти опрос. Затем попросите их рассказать о сложностях, которые возникли при прохождении анкеты. Это позволит посмотреть на опрос новым взглядом, быстрее обнаружить проблемные места и принять меры по их устранению.
Фото на обложке: Shutterstock / rfranca
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Опрос — распространенный инструмент маркетингового исследования, однако только грамотное использование делает его эффективным. Рассказываем, в результате каких ошибок создатели анкет чаще всего получают некачественные данные, и каких правил стоит придерживаться, чтобы не оказаться на их месте.
Попытка в одной анкете изучить несколько тем, часто не коррелирующих друг с другом
Нередко создатели анкет стараются с помощью одного опроса достичь сразу несколько целей. Например: найти целевую аудиторию своей компании, оценить ее лояльность, а заодно и проверить, какие характеристики продукта важны для потребителя. Однако для полного изучения проблемы необходимо каждое последующее исследование основывать на результатах предыдущего:
- определить свою целевую аудиторию;
- оценить ее отношение к компании;
- выявить значимые характеристики своего продукта для аудитории;
- оценить новый продукт.
Сжатие этого пути до одного единственного исследования приводит к искажению получаемых данных. Причем аномалия в результатах может быть даже принята за естественную тенденцию и привести компанию к убыткам.
Чтобы избежать подобной ситуации, постройте стратегию для программы исследований, пропишите задачи, гипотезы и порядок проведения опросов. Придерживайтесь правила «одно исследование — одна тема» и не приступайте к запуску следующего опроса без внимательного анализа результатов предыдущего.
Создатель анкеты забывает про различные сценарии прохождения опроса
Как правило, сценарии прохождения опроса формируются логическими развилками: это может быть дихотомический вопрос «да/нет», выбор сразу нескольких вариантов ответа, при этом включая и вариант «ничего из вышеперечисленного». Вам нужно заранее продумать, куда будет перенаправлен человек, выбравший любой из вариантов ответа: это может быть один из последующих вопросов (какой именно?) или завершающая страница анкеты.
Например, если вы хотите изучить, какие платформы для онлайн-образования выбирают респонденты, вам нужно проработать вариант сценария, который развивается как после положительного ответа на вопрос «Проходили ли вы какие-либо курсы онлайн?», так и после отрицательного. Если же респондент отвечает «нет», а алгоритм все равно выводит его на вопросы о сервисах онлайн-образования, это негативно скажется на качестве результатов исследования. Данные будут искажены, так как респонденты отвечают на те вопросы, на которые, по логике исследования, отвечать не должны. Также отсутствие проработки пользовательских сценариев ведет к тому, что анкету «технически» нельзя пройти: респондент попадает на вопросы, на которые не может ответить, а система не позволяет ему пропустить их.
Чтобы этого избежать, анкету нужно тестировать. Отправьте опрос нескольким разным людям и попросите их рассказать о любых сложностях, которые возникли при заполнении анкеты. Предварительное тестирование поможет выявить неясные вопросы, неподходящие варианты ответа и другие проблемы, прежде чем вы отправите анкету респондентам. Внесите в опрос поправки и протестируйте его еще раз. Только после этого стоит проводить полноценное исследование.
Неверное использование типов вопросов
Иногда создатели анкет путают, какой тип вопроса в каком случае нужно использовать. Например, на вопрос «Какую еду вы любите?» могут быть предложены варианты ответа: «пюре», «рис», «салаты», «котлеты» и «супы». При этом вопрос закрытый, без возможности выбрать несколько вариантов ответа или вписать свой. В результате любители котлет с пюре или шашлыков оказывается в растерянности и не знают, что выбрать. Такое несоответствие типов вопросов и задачи исследования повлечет за собой искажение данных, излишек информации в открытых вопросах и ее недостаток в закрытых.
Прежде чем составлять анкету, внимательно изучите существующие типы вопросов. Обычно они делятся на закрытые (с возможностью выбора из вариантов, указанных создателем опроса), полуоткрытые (можно выбрать вариант ответа или указать свой в дополнительном окошке «Другое») и открытые (нужно вписать свой ответ в специальную строку). Эти виды вопросов имеют подвиды, например, единичный выбор, шкала, матрица, множественный выбор и т. д. Определите, какие данные вы ожидаете получить в результате исследования, и выберите подходящий тип вопроса.
Формулировки вопросов непонятны или имеют двойственное значение
Порой в погоне за образностью речи теряется ее цель — донести основную мысль. «Когда вы в последний раз приобретали атлас?» — возникает двусмысленность из-за отсутствия ударения. «Позволяете ли вы себе выходить за границы?» — речь о личных границах, границах дозволенного или границах государства? Сбить с толку также могут неоднозначные термины.
Неясность формулировок увеличивает количество ответов «не знаю» и искажает общую картину исследования. Кроме того, респонденты могут отказаться от опроса, который заставляет впадать их в ступор. Чтобы этого избежать, помните правило «один вопрос — одно действие». Если вопрос вынуждает совершать два действия — разбейте его на два. Также избегайте наводящих вопросов, которые подталкивают к выбору определенного ответа. Исключите вопросы с неполными вариантами, когда выбор ответов недостаточен (добавьте в такие вопросы вариант «Другое» с полем для свободного ответа). Попросите своих тестировщиков проверить текст на предмет двусмысленных терминов. Главное — четко представьте, какой ответ вы ожидаете получить.
Слишком много вопросов в одной анкете
Большое количество вопросов вызывает у респондента «предсказанную усталость»: опрос еще не начался, а он уже утомился. Это влечет за собой бездумное прощелкивание вариантов ответа и равнодушие. Если ваш опрос разрастается, проанализируйте, не пытаетесь ли вы изучить сразу несколько разных проблем. Кроме того, вы можете попробовать разбить вопросы на несколько страниц, в таком случае вам будет нужно найти баланс между длиной страниц и количеством вопросов, которые на них расположены.
Также обращайте внимание на количество вариантов ответа в закрытых вопросах. Обычно принято использовать «правило семи»: когда нужно сравнивать варианты ответа между собой, их не должно быть более семи, так как среднестатистический человек может манипулировать в голове одновременно не более чем семью понятиями. Если необходимо добавить, например, десять вариантов, то их можно разбить уже на два вопроса. Попробуйте пройти анкету сами и помните, что опрос не должен отнимать у респондента более 15-20 минут.
Внешний вид, орфография и логика анкеты не проверяются перед началом опроса
В лучшем случае дело ограничивается грамматическими ошибками и опечатками. В худшем — в анкете будут битые ссылки или незагружающиеся изображения и видеофайлы.
Не ленитесь проверять анкету на грамотность перед публикацией. Не уверены в правильности написания слова? Сверьтесь со словарем или вовсе замените его синонимом. Сомневаетесь относительно знаков препинания в сложном предложении? Упростите его или разбейте на несколько простых, чтобы избежать использования неправильных знаков. Ну и обязательно проверьте корректность работы всех ссылок.
Поддерживать же логику в вопросах поможет правило воронки: сначала задаются простые вопросы, потом — сложные. Вопросы, классифицирующие опрашиваемых на группы, задают в последнюю очередь, так как они носят более личный характер и не так интересны отвечающим.
Мы перечислили далеко не все ошибки, которые совершают составители опросов, но надеемся, что и представленные в этом материале помогут вам посмотреть на свои анкеты новым взглядом, сделать их качественнее и в результате получить репрезентативные данные. Если же у вас нет возможности или желания разбираться в нюансах составления анкет, то вы можете обратиться к специалистам «Анкетолога», которые сделают все за вас.
-
Типы вопросов. Форматы ответа на вопрос закрытого типа. Последовательность вопросов в анкете. Типичные ошибки при формулировании вопроса.
Типы
вопросов.
Вопросы в социологической анкете могут
иметь различный вид и выполнять различные
функции.
По
функции вопросы можно разделить на
следующие:
• основные
— вопросы, направленные непосредственно
на решение поставленных задач;
• вспомогательные,
предназначенные что-то уточнить,
конкретизировать или дополнить;
• вопросы-фильтры,
ставящие цель разделить аудиторию
опроса на отдельные группы (например,
«На этот вопрос отвечают только
мужчины…»);
• вопросы-«переключатели»,
позволяющие перейти от одного смыслового
блока анкеты к другому.
По
форме анкетные вопросы можно разделить на:
• открытые,
предполагающие, что респондент ответит
на вопрос в свободной форме, самостоятельно
записав свой ответ (с последующей
формализацией через квантификацию и
кодировку в процессе первичной обработки
анкет);
• закрытые,
в которых формулировка вопроса содержит
готовые варианты ответов (альтернатавы),
из которых можно выбрать один или
несколько вариантов;
• полузакрытые,
представляющие собой фактически закрытые
вопросы, в которых добавляется
альтернативный вариант «другое». Это
дает респонденту возможность высказать
свое мнение, если среди готовых вариантов
нет такого, который совпадал бы с его
мнением;
• прямые,
которые формулируются в категорической
форме («Нравится ли вам учиться в данном
вузе?»);
• косвенные,
направленные на выявление искомого
признака через скрытые настроения и
установки респондента («Хотели бы вы
перевестись в другой вуз?);
• прожективные—
вопросы, которые предлагают некие
ситуации («Представьте себе, что вы на
один день обладаете возможностями
ректора… Какой бы вы приняли приказ в
первую очередь?»).
Последовательность вопросов в анкете.
В начале анкеты
обычно ставят вопросы, цель которых —
установить доверие и взаимопонимание
между респондентом и интервьюером.
Хорошо помогают в этом вопросы типа:
«Какого вы мнения о …». Расчет
делается на то, что большинство людей
любят высказывать свое мнение. Ответы
на эти вопросы нередко даже не
обрабатываются.
Остальные вопросы
анкеты принято делить на три группы,
которые, как правило, располагаются в
том порядке, в котором мы их перечислим.
Первая группа вопросов направлена на
сбор базовой
информации,
т.е. непосредственно относящейся к
исследуемой проблеме; вторая — на
сбор классификационной
информации:
социально-демографических, психологических
и других характеристик респондента;
третья — на сбор идентификационной
информации:
фамилии и имени, адреса, телефона
респондента и т.д. (Заметим: для обеспечения
анонимности опроса идентификационная
информация хранится отдельно от анкеты.)
Такое расположение групп связано с тем,
что личная тема может вызвать отчуждение
между интервьюером и респондентом.
Есть определенные
правила размещения вопросов внутри
каждой группы. Сложные, скучные и
чувствительные для респондентов вопросы
лучше задавать в конце каждой группы
вопросов. В частности, вопрос о доходе,
как правило, задается последним в группе
классифицирующих вопросов, а вопрос о
номере телефона — последним в группе
идентифицирующих.
Еще одно правило:
расположение вопросов в группе от общего
к частному (принцип воронки — «funnel
approach«).
Например, сначала нужно спросить о
наиболее важных для респондента критериях
выбора товара, а потом попросить оценить
по шкале степень важности каждого
критерия. Иногда применяется противоположный
принцип. Это делают в случаях, когда у
респондентов нет сложившейся точки
зрения по данному вопросу или они не
могут сформулировать свою точку зрения.
Вопросы внутри каждой
группы разбиваются по темам. Каждой
теме предпосылается короткая вводная
фраза, чтобы респонденту было легче
переключиться.
Что касается формулировки вопросов, то фразы должны быть возможно короткими, ясными посмыслу, простым, точными и однозначными.Хорошие вопросы должны удовлетворять обычным критериям надежности и валидности.
Логические ошибки при разработке
вопросов допускаются довольно часто.
Из всего множества и многообразия
ошибок, встречающихся в анкетах, выделим
наиболее типичные.
1.Множественные вопросы. Прежде
всего отметим большую группу ошибок,
когда в анкете под видом одного вопроса
задается несколько (два-три и более)
вопросов. «Знаете ли Вы, какие спортивные
секции работают в спортивном комплексе
и их расписание?» По существу здесь
задано два вопроса: «Какие спортивные
секции работают?» и «Знаете ли Вы
расписание работы спортивных секций?».
Задавая респонденту такой сдвоенный
вопрос, исследователь тем самым ставит
его в довольно трудное положение,
поскольку тот или иной ответ, может
соответствовать одному вопросу и не
соответствовать другому. Ошибка
множественности вопросов довольно
распространенна и вызвана стремлением
исследователя снять как можно больше
информации в одном вопросе, что приводит
к логическому нарушению, а следовательно
и к неверно поставленному вопросу.
2.Подмена понятий нередко осуществляется
в вопросах, когда социолог пытается
соединить в единое понятие два других,
близких по содержанию, и образовать
новое понятие. В вопросе: «Скажите,
пожалуйста, что, по Вашему мнению, следует
изменить в работе медицинских и
оздоровительных учреждений в городе?»
социолог пытался объединить два понятия,
близких по смыслу, «медицинские»
и «оздоровительные» учреждения —
в одно общее понятие «учреждения,
следящие за здоровьем человека».
Особенностью ответов на такие вопросы
является то, что положительный ответ
(как и отрицательный) хотя бы на один
подвопрос может быть распространен на
весь вопрос. Преимущество таких вопросов
заключается в том, что они позволяют
снимать более емкую информацию. Но
использование метода объединения
понятий оправдано только в том случае,
если новое понятие уже знакомо
опрашиваемым, а не только одному
социологу. Использовать этот тип вопроса
можно так же и в случае, если общее
понятие будет специально указано и дана
его расшифровка.
Типичные ошибки при
разработке анкеты:
• использование
нечетких, допускающих разную трактовку
понятии («много», «мало», «часто»,
«семенное положение» и т.д.);
•
вопросы личного характера, способные
насторожить, или такие, на которые обычно
не хотят отвечать (о доходах, возрасте
и т.п.):
• вопросы,
на которые практически невозможно
ответить (цифры, которые люди чаше всего
не помнят, например о сумме затрат о
прошлом году или о частоте посещений
книжного магазина);
•
вопросы, сформулированные слишком
прямолинейно (например: «Хотели бы вы,
чтобы в вашем микрорайоне было кафе?»;
положительный ответ вовсе не означает,
что респондент намерен посещать кафе
более или менее регулярно, а ведь именно
это нас интересовало):
•
лишние вопросы, не нужные для цели;
•
оценка в постановке вопроса (например:
«Известно ли вам, что продукция нашей
фирмы отличается высочайшим качеством?»);
•
неправильная последовательность
вопросов:
•
отсутствие вопросов, на которые следовало
бы обязательно получить ответы.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #