Ошибки при проведении фокус группы

Про фокус-группы знают все. Но далеко не все умеют их правильно готовить. А это опасно, потому что неправильно проведённое исследование даёт ошибочные результаты. И как следствие — отсутствие твёрдой базы для принятия решения.

Мы рассказали об особенностях проведения фокус-групп онлайн и офлайн, разобрали типичные ошибки и постарались дать максимально развёрнутый ответ на самый важный вопрос: «Сколько всё это стоит?»

С него и начнём.

Бюджет онлайн- и офлайн-исследований

Сделаем расчёт для живого углубленного интервью на 6 человек (длительность 2 часа) и онлайн-исследования с такой же длительностью и количеством участников.

Что нужно для живой фокус-группы:

• услуги модератора (ведущего) — 1500-3000 рублей;
• аренда помещения в день беседы — от 6000 рублей в Москве, от 3000 в регионах;
• видеозапись — примерно 5000 рублей, если снимает оператор со своей камерой, 1500-3000 — если вы просто берёте оборудование в аренду и ставите на штатив;
• составление портрета клиента и подготовка сценария — 1 рабочий день составителя (маркетолога), ориентировочно — 1000 рублей;
• рекрутинг — бесплатно, если в соцсетях, от 100 рублей за респондента при поисках в офлайне, обычно для исследования в 6 человек выбирают 10-12 рекрутов (должен быть резерв) и потом отсеивают «не пригодившихся»;
• вознаграждение не подошедшим рекрутам — 200-500 рублей на человека;
• вознаграждение выбранным участникам — от 500 до 5000 рублей на человека.

Чем объясняется такой разброс? Вашими требованиями. За 200 рублей на двухчасовую беседу даже в провинции никто не пойдёт, а платить за часовой опрос по 5000 рублей — по меньшей мере неразумно. Оптимальное решение — выплатить каждому из прошедших отбор на беседу примерную стоимость рабочего дня. Рассчитывают её обычно по средней зарплате в конкретном регионе + поправка на профессию. Если вы тестируете ПО для управления компанией и вам требуется мнение людей с доходом 200 000 в месяц, их время будет стоить дороже, чем время разнорабочих, которых выбрали для беседы о табачных изделиях.

Ещё затраты:

• расшифровка фокус-группы — от 1000 рублей;
• обработка результатов — 1 рабочий день аналитика (маркетолога), ориентировочно 1000 рублей.

Итоговая минимальная стоимость фокус-группы на 6 человек — 13 800 рублей (расчёт сделан по нижней планке, то есть по региональным ценам).

При онлайн-исследовании можно не учитывать следующие статьи расходов:

• аренда помещения — каждый респондент работает за своим компьютером;
• услуги модератора — вы раздаёте заполненные опросники, и дальше респондент работает самостоятельно;
• от сортировки участников и обработки результатов никуда не деться, но можно перепоручить их специалистам — тогда вы сэкономите время.

Для примера возьмём тариф «Стандартный» в «АскЮзерс» — комплексная организация углубленного интервью, не более 10 участников. От заказчика требуется только указать свою аудиторию и изучить отчёт.

Стоимость такого исследования (до 10 респондентов) — 11 250 рублей (с полной обработкой результатов и записями экрана пользователей).

#f8f8f8; padding: 10px 25px;»>
Совет. Если ваш бюджет не покрывает даже минимальную стоимость исследования, можно сузить предметную область или отказаться от обсуждения каких-то вопросов — например, не проводить оценку доверия или УТП.

Особенности и ограничения онлайн и офлайн фокус-групп

Преимущество офлайн-тестирования в том, что можно дать респондентам повертеть в руках реальный товар. Онлайн-исследования больше подходят для изучения прототипов, сайтов и интерфейсов.

	Онлайн	Офлайн
	При тестировании виртуальных продуктов (например, разных версий формы доставки), когда нужно либо выбрать более удобный вариант, либо последовательно отследить и зафиксировать проблемы на каждом этапе (сосредоточиться и подумать, когда никто не отвлекает). Когда требуется запись экрана с подробным отслеживанием действий пользователя. Когда нужно протестировать сайт, прототип или интерфейс в привычных условиях — у себя дома, на своём компьютере, в своём браузере. За счёт этого модель поведения пользователей максимально близка к естественной (если правильно подготовить вопросы). Когда исследование должно быть беспристрастным — чтобы на участников опроса не влияло чужое мнение.	При тестировании разных вариантов товара, который надо трогать, нюхать и крутить в руках — а это почти всё, что продается в офлайн-магазинах, от парфюмерии до ёлочных игрушек. При моделировании потребительского поведения — когда нужно исследовать все стадии выбора, от появления потребности до оплаты товара. Для этого в ходе беседы её участникам могут показывать рекламные видеоролики, различные элементы упаковки, макеты витрин с товарами и другие интересные вещи, непосредственно влияющие на выбор. При дегустации товара — это уже называется «холл-тест».

Если вам подходят оба варианта, их стоит приложить к своей ситуации и проанализировать. Почти наверняка вы найдёте однозначные объективные доводы в пользу того или другого формата. Чаще всего они связаны со спецификой, определёнными особенностями и ограничениями живого и удаленного исследования.

Офлайн

Это полноценная беседа, когда можно проследить не только за смыслом ответов. Здесь проявляются и невербальные реакции на разные варианты упаковки (дизайна), и споры между участниками по поводу разных версий, и совершенно спонтанные предложения по улучшению, дополнительному функционалу. При интересном повороте разговора можно развить тему. Заказчик наблюдает за живым интервью лично или путем видеосъёмки в реальном времени. Видео пригодится и потом — для последующей расшифровки и обработки результатов. После перевода в текст вычленяется важная и значимая для вас информация, которую можно учитывать при принятии решений.

К чему вы должны быть готовы при планировании офлайн-исследования?

К организационным сложностям. Вам нужно собрать в одном помещении от 6 до 10 человек на полтора-два часа, при этом выбрать удобные всем дату и время. Работающие в будни не могут. В конце декабря все заняты подготовкой к празднику, в начале мая все едут на природу, лето — это время отпусков, а в августе начинаются сборы в школу. Это всё нужно держать в голове и готовиться заранее: как минимум за две-три недели найти свободное помещение и начинать рекрутинг — поиск и отбор участников.

К возможному «смешению» мнений. На живой фокус-группе всегда есть участники с чёткими критериями выбора и потребители класса «что нравится другим, то нравится и мне». Иными словами, и очень внушаемые люди, и абсолютно не внушаемые, которые транслируют своё мнение остальным. Естественно, в какой-то миг ведомые поддадутся ведущим, их мнение будет меняться и подстраиваться. «Дистиллированных», то есть независимых друг от друга результатов вы в этом случае не увидите. Эту проблему помогает решить сценарий с объективными однозначными вопросами и хороший модератор, мягко добивающийся чёткости формулировок и пресекающий попытки отдельных респондентов повлиять на чужую точку зрения.

Онлайн

Удалённое углубленное интервью, на первый взгляд, кажется более простым в организации. Число участников то же, но их не нужно собирать в одном месте и следить, чтобы они не сбивали друг друга с толку. Вы (или ваш маркетолог) проводите рекрутинг, готовите вопросник, передаёте респондентам. Затем получаете ответы и систематизируете информацию (как вариант, обработку тоже можно заказать маркетологу, тогда вы получите выжимку — самую суть). Но есть и проблема.

Невозможность тестирования реального товара. А соответственно — отпадает целый пласт исследований, которые в обязательном порядке проводятся перед выводом продукта на рынок.

#f8f8f8; padding: 10px 25px;»>
Встречное преимущество: при выводе на рынок сайта, веб-сервиса или для тестирования прототипа живая фокус-группа даст меньше полезной информации.

Успех любого исследования на 30% зависит от его организации. И на 70% — от подготовки, а именно — от правильного выбора участников (они же респонденты, они же асессоры) и сценария беседы. Для этого нужно чётко сформулировать, кто ваша аудитория, и составить портрет клиента. И в ходе этой работы важно не упустить детали, способные загубить на корню любое, даже безупречно организованное исследование — вне зависимости от его формата.

Основные ошибки при проведении фокус-групп

Нереалистичные требования к респондентам

Интернет-магазин планшетов составляет портрет клиента для исследования.

Мужчины не старше 40 лет, с доходом от 50 000 рублей, ездящие только на иномарках и занятые интеллектуальным трудом.

Кажется, что всё логично. Но на самом деле марка машины с наличием планшета связана очень косвенно. Человек может купить «Ладу Гранту», «Весту» или УАЗ — и при этом иметь планшет за 20+ тысяч рублей. Установка на работников умственного труда тоже весьма надумана — любой отделочник, электрик, водитель даже со сравнительно небольшой зарплатой в 20-25-30 тысяч рублей может позволить себе планшет.

По первоначальным критериям выборка будет не репрезентативна относительно общей массы потенциальных покупателей.

Что делать? Если вы проводите исследование офлайн — пройдитесь по соцсетям и попробуйте найти кандидатов по утверждённым параметрам. Если их нет — повод поменять вводную. С онлайн-исследованиями всё проще, потому что ошибки в подборе целевой аудитории будут сразу видны на этапе отбора респондентов — никуда ходить не нужно.

Пропуск сегмента целевой аудитории

Яркий пример — фокус-группы по исследованиям потребительского поведения при выборе и покупке детских товаров. Чаще всего туда приглашают мамочек от 20 до 40 лет. И пропускают при этом два интересных сегмента.

1. Женщины старше 40 лет. Как раз таки возрастные мамы чаще всего хорошо обеспечены и могут потратить больше денег на своего ребёнка. Молодые бабушки также склонны баловать внуков.
2. Отцы, которые лично покупают своим детям одежду, обувь, еду и игрушки. Делают они это обычно куда более обстоятельно, чем женщины.

Что мешает маркетологам включить в исследование дополнительные сегменты потенциальных посетителей сайта?

• Неверная оценка целевой аудитории.
• Недооценка потребительских возможностей и влияния на спрос одной из групп.
• Ограниченный бюджет исследования.

Что делать? Детальнее прорабатывать портреты клиентов: можно ориентироваться на данные по продажам или демографические отчеты «Яндекс.Метрики» или Google Analytics. При проведении онлайн-исследования можно провести предварительный опрос: например, отобрать респондентов с детьми и спросить, кто купил или подарил ребенку самую дорогую вещь и что это было. Исходя из результатов — выделить дополнительные сегменты. При офлайн-исследовании провести такой опрос и получить достоверные данные — достаточно дорого и сложно.

Важно! В некоторых случаях сужение целевой аудитории оправдано. Если мы планируем таргетировать рекламу в социальных сетях только на молодых мамочек и под них же затачиваем лендинг и всё предложение — включение дополнительных сегментов даст избыточные данные.

Непродуманный сценарий

Плохой вопросник загубит исследование, даже если фокус-группа состоит из идеальных респондентов. Примеров плохих вопросов масса:

Нравится или не нравится вам сайт?
Какой товар вы бы выбрали для себя?
Чем наш сайт лучше сайта конкурентов?

С виду — обычные вопросы. Но если всмотреться, сразу видны ошибки: на закрытый вопрос можно ответить только «да/нет», и понимания эти ответы не дадут, равно как и субъективное мнение пользователя о товаре, основанное на прошлом опыте или сегодняшних потребностях. В последнем примере — прямо указание на то, что сайт должен быть лучше: как с такой установкой узнать о недочётах?

Что делать? При онлайн-исследовании важна детализация. Вы отдаёте вопросник, респондент приступает к работе. Вы не видите его и не можете уточнить детали по ходу. А значит, всё, что важно для вас, нужно предусмотреть и отметить в сценарии. Сформулировать открытые вопросы, подразумевающие подробный ответ, и логично их расположить, чтобы не перескакивать между пользовательскими сценариями.

При офлайн-исследованиях важна общая логика. Смысл сценария — направить беседу в нужное русло и провести через контрольные точки. Но не в том, чтобы написать 480 вопросов и маниакально проследить, озвучил ли ведущий их все. Если выбирать из двух крайностей, то подробный план, конечно, лучше, чем тезисный. Но в сотне хаотично расположенных частных вопросов запутается любой модератор, не говоря уж об участниках.

Общие выводы и рекомендации

Кроме объективных особенностей онлайн и офлайн-форматов, есть ещё и субъективные. Самый яркий пример — «закрытость» и «непрозрачность», которые часто вменяют удалённым интервью. 10 лет назад онлайн-исследованиям действительно тяжело было конкурировать с традиционными фокус-группами, так как механизм проверки достоверности был ещё не отработан. Вне интернета всё было просто: вот они, ваши респонденты, сидят перед вами, можно что-то переспросить, уточнить, понаблюдать за ходом беседы. Все это записывается на видео, и потом в любой момент можно пересмотреть, как они спорят или показывают смутившие их места на упаковке. Это настоящие, живые люди. Такое не подделаешь. И тех, кто привык к «осязаемости», сбивал с толку червячок сомнения — а что там, по ту сторону монитора? Правда кто-то есть? А как в этом убедиться?

Сейчас закрытость и «непрозрачность» удалённых интервью минимальна, а мы в AskUsers построили отлаженную систему предоставления социальных доказательств.

1. Показываем вам профили всех асессоров — с фотографией и развёрнутой информацией.
2. Отдаем анкеты с подробными ответами на ваши вопросы, и при сравнении легко убедиться, что это мнения разных людей.
3. Во время исследования производится видеозапись экранов всех участников, и можно проследить за каждым ходом их мыслей.

Это наглядный пример, как нивелировать противопоставление онлайн- и офлайн-форматов и добиться максимальной объективности при минимуме организационных трудностей.

#959595;»>Источник фото на тизере: #959595;»>Depositphotos

#959595;»>Мнение редакции может не совпадать с мнением автора. Если у вас есть, что дополнить — будем рады вашим комментариям. Если вы хотите написать статью с вашей точкой зрения — прочитайте #959595;»>правила публикации#959595;»> на Cossa.

1 704

◴ 4 мин.

В этой статье вы узнаете — почему метод фокус-групп подвержен ошибкам, сколько стоит запустить метод фокус-групп и как избежать ошибок в методе.

Несколько лет назад одна авиакомпания решила воспользоваться методом фокус-групп. Им нужно было выяснить, чего хотят клиенты. Поскольку они добавили мини-холодильники в секции для сидения первого класса, чтобы пассажиры могли перекусить во время длинных ночных полетов. Собрали несколько фокус-групп, чтобы определить, какие закуски будут интересны их пассажирам.

Согласно методу фокус-групп в приоритете оказались фрукты и салаты. И поэтому мини-холодильники были заполнены полезными фруктами и салатами.

Но одна стюардесса из фокус-группы возражала — после долгих лет работы в авиакомпании и наблюдения за тем, чего хотят клиенты на практике, она настояла на том, чтобы в холодильниках были также конфеты, пирожные и торты. В конце полета конфеты, пирожные и торты исчезли, а фрукты и салаты все еще были в холодильниках.

Метод фокус-групп: 5 ошибок

Почему метод фокус-групп так подвержен серьезным ошибкам? Потому что метод фокус-групп полагается на вопрос, а не на наблюдение.

Ошибка метода фокус-групп №1. Люди очень хорошо отвечают на вопросы, даже если они не знают ответа

Согласно исследованиям метода фокус-групп, когда людям на улице сообщают ложные новости и просят дать ответ. Не желая раскрывать, что они не знают, люди придумывают откровенную ложь, чтобы дать ответ интервьюеру.

Начать анализ

Ошибка метода фокус-групп №2. Люди не знают, почему им нравятся вещи, которые им нравятся

Часто у наших симпатий и предпочтений есть причины, которые мы на самом деле не понимаем. Мы знаем, что нам что-то нравится, но мы не можем сказать почему. Но когда люди требуют объяснений, мы скорее придумаем их, чем признаем, что не знаем.

Ошибка метода фокус-групп №3. Люди не общаются со своим подсознанием

Это объясняет, почему мы не знаем, почему нам нравятся вещи, а также почему мы плохо предсказываем свое поведение в гипотетических ситуациях. Большая часть этой информации лежит в нашем подсознании, влияя на наши решения в тот или иной момент. У нас просто нет доступа к нему.

Легко подумать, что вы захотите салаты в холодильнике, пока вы не проснулись в самолете посреди ночи.

Ошибка метода фокус-групп №4. Люди хотят выглядеть хорошо

Мы вряд ли дадим ответ, который рисует нас в плохом свете или заставляет нас выглядеть глупо, когда окружены другими людьми. Как правило, мы достаточно хорошо разбираемся в ответах, на которые другие будут отвечать положительно, или на те, которые им не нравятся. А затем выбираем наиболее популярные или безобидные ответы.

Самообман также играет большую роль: люди часто склонны говорить о себе так, как им хотелось бы, чтобы это было правдой, а не то, что действительно верно, изображая свою личность идеализированным образом.

Ошибка метода фокус-групп №5. Люди хотят порадовать модератора

Помимо коллег, участники метода фокус-групп также хотят порадовать модератора. Это означает угадывать ответы, которые модератор ожидает получить в ходе метода. Мы не хотим быть теми, кто сообщает плохие новости, поэтому мы играем на надежды и ожидания человека, задающего вопросы. Кроме того, люди могут иногда полагать, что их собственный ответ неверен, если спрашивающий знает больше о продукте и ожидает другого ответа.

В результате метода фокус-групп вы получаете ошибочные ответы, которые не имеют ничего общего с той ситуацией, когда человек окажется в ней.

Сколько стоит провести метод фокус-групп?

Метод стоит дорого и включает в себя:

• Стоимость подбора участников.
• Стоимость аренды помещения.
• Стоимость доставки участников.
• Стоимость покупки закусок и блюд.
• Стоимость найма модератора.
• Стоимость видеозаписи и ведения заметок.
• Стоимость оплаты участников за их время.

Для получения полезных результатов необходимы, как минимум две группы. Таким образом, если вы проводите метод групп только по одной теме в квартал, то стоимость метода 2 240 000 руб. в год.

Помимо цены, есть затраты времени и усилий — персонал должен потратить много времени на подбор, доставку группы, а затем наблюдение за ней. Все это за 2 часа искаженного, сомнительного результата.

Вы хотите нанять такое же количество людей, чтобы получить ответы без сбоев метода групп и значительных затрат времени персонала? Используйте метод — удаленное юзабилити-тестирование.

Данный метод (удаленное юзабилити-тестирование) сократит бюджет на 90%, устранит хлопоты по набору, транспортировке и кормлению участников, а также сэкономит время персонала. Вы сможете значительно увеличить количество участников и частоту проведения.

Метод групп дает поверхностное понимание. Чтобы по-настоящему понять, чего хотят пользователи, вы должны убрать барьер между вами и пользователем и полагаться на ненавязчивое, нейтральное наблюдение групп.

Как избежать ошибок в методе

Выведите ваших участников из комнат, подальше от других людей. Туда, где они могут действовать и отвечать независимо от влияния других. Освобождение ваших участников от их социальных и психологических ловушек — это лучшее, что вы можете сделать для получения правильных ответов.

МЕТОДОЛОГИЯ И МЕТОДЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ

О ЗНАЧИМОСТИ ОШИБОК, ВОЗНИКАЮЩИХ ПРИ ИСПОЛЬЗОВАНИИ МЕТОДА ФОКУС-ГРУПП (по результатам поискового исследования)

И.В. Чеховский

Кафедра социологии Российский университет дружбы народов ул. Миклухо-Маклая, 10/2, Москва, Россия, 117198

Описывается поисковое эмпирическое исследование ошибок и трудностей, встречающихся при использовании метода фокус-групп в конкретных социологических и маркетинговых исследованиях. Также приводится иерархическая классификация возможных ошибок и даются краткие рекомендации, которые помогут избежать их возникновения в процессе применения метода на практике.

Ключевые слова: поисковое эмпирическое исследование, метод фокус-групп, ошибки.

Качественные методы в социологических и маркетинговых исследованиях, несмотря на длительную историю применения, в известной мере дискредитированы не только в глазах заказчика, но и в профессиональной среде. Такая ситуация сложилась в силу нескольких причин, среди которых можно выделить высокую долю субъетивизма в качественной методологии; изобилие исследований, проведенных некомпетентными специалистами; многообразие как в характере целей исследований, так и в непосредственных исследовательских практиках, которые препятствуют эффективной коммуникации даже социологов-качественников, если они работают в разных «жанрах»; использование качественных методов для решения несоответствующих задач, в результате чего достижение запланированных целей становится невозможным; несоответствующий поставленным целям метод исследования, ведущий к неверной реализации полевого этапа исследования.

Все это в полной мере касается и фокус-групповых исследований, что и делает столь актуальным исследование ошибок, возникающих в процессе применения метода фокус-групп. Несмотря на свою актуальность, проблема ошибок применения социологических методов на практике практически не затрагивается в социологической литературе.

Метод фокус-групп активно применяется при проведении маркетинговых и социологических исследований наряду с другими методами эмпирических ис-

следований. Особенности использования метода фокус-групп широко описаны в литературе [1—11; 13—17]. Вместе с тем существует ряд проблем, которым исследователи данной тематики практически не уделяют внимания. К ним, например, относятся проблемы, связанные с ошибками, возникающими в процессе реализации метода, и значимостью их влияния на результаты исследования. Отсутствие теоретического описания и классификации ошибок в специальной литературе вынуждает провести поисковое исследование, направленное на выявление возможных ошибок и степени их влияния на результат исследования. Ошибки — это те или иные отклонения от общепринятой процедуры исследования, которые влекут за собой значительное искажение результатов исследования или даже его срыв [1; 2; 4; 6; 9—11; 15; 17].

Исследование проводилось в два этапа. На первом этапе (март—апрель 2004 г.) была поставлена задача выявления возможных ошибок. Для ее решения использовался экспертный опрос и контент-анализ научной литературы по соответствующей проблематике. Так как исследование носило поисковый характер, мы ограничились опросом пяти экспертов, в качестве которых выступили модераторы, имеющие опыт работы не менее двух лет.

На втором этапе исследования (март—апрель 2006 г.) была поставлена задача определения степени влияния той или иной ошибки (группы ошибок) на конечные результаты исследования. Для этого использовался метод парных сравнений Л. Терстоуна с привлечением шести других экспертов — практикующих модераторов (опыт практической деятельности от двух до семнадцати лет). Выбор этого метода обусловлен возможностью определения дистанции между объектами ранжирования [12], в качестве которых выступили ошибки, что позволило решить задачу типологизации ошибок по значимости их влияния на результат исследования.

Следует особо подчеркнуть, что все эксперты, принявшие участие в исследовании, имеют высшее социологическое или психологическое образование и опыт работы в крупных исследовательских организациях.

В результате первого этапа был получен список возможных ошибок, который включал ошибки, возникающие на протяжении полного исследовательского цикла (от постановки целей и задач исследования до сдачи отчета). Ниже этот список представлен в систематизированном виде. Основанием классификации ошибок выступают этапы проведения исследования.

Ошибки, возникающие при использовании метода фокус-групп

Ошибки подготовительного этапа

Неверный выбор стратегии сбора данных (количественная vs качественная) Неправильный выбор метода исследования для решения поставленных задач Неправильная постановка целей и задач исследования Неверная постановка вопросов для рассмотрения на фокус-группе Некорректное определение выборки для фокус-группы Неправильное определение состава групп

Неадекватное исследованию количество фокус-групп (слишком много/мало) Неправильное определение географических мест проведения фокус-групп Неточности в скрининговой анкете

Перегрузка гайда и/или исследования целями и задачами Неверная структура гайда

Ошибки при наборе респондентов (рекрутменте)

Неадекватный выбор времени для проведения фокус-группы Неадекватный выбор места для проведения фокус-группы Неадекватная исследованию продолжительность работы фокус-группы

Организационно-технические

Ненадежная работа звуко- и видеозаписывающей аппаратуры Плохая организация встречи респондентов Непродуманное угощение участников фокус-группы

Отсутствие демонстрационных стимулов (если они предусмотрены исследованием) и их готовность к демонстрации Недостаточная материальная мотивация респондентов Отсутствие достаточного количества мест для участников фокус-группы Отсутствие достаточного количества канцелярских принадлежностей

Ошибки модератора

Неточное понимание целей и задач исследования Неверный выбор тактики работы с группой Влияние на мнения респондентов Недостаточное внимание при работе с группой

Неправильная формулировка вопросов (непонимание языка респондентов) Нелогичная последовательность вопросов

Неудачное/неравномерное распределение времени для высказываний среди респондентов

Проблема «сложных» (или трудных) респондентов «Сложные» по проведению фокус-группы

Ошибки респондентов

Преднамеренные Стремление респондента фальсифицировать свои ответы Отказ респондента отвечать на вопросы

Непреднамеренные Ошибочный ответ респондента Недостаток внимания при ответах на вопросы Недостаточная вовлеченность респондентов в работу группы

Логические ошибки

Ошибки противоречия

Ошибки в повествованиях и описаниях

Ошибки индукции и дедукции

Ошибки анализа

Анализ данных, которые вызывают у исследователя опасения относительно их надежности

Субъективизм интерпретации, вытекающий из односторонности анализа объекта

Поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая

Пренебрежение проверкой надежности информации всеми доступными способами

Пренебрежение проблемой памяти людей в изложении прошлых событий Поспешность выводов, основанных на первом впечатлении после фокус-группы

Для проведения процедуры ранжирования (второй этап исследования) было предварительно осуществлено агрегирование сорока пяти ошибок, вошедших в полный список. В результате сформировалось 16 объектов ранжирования. Необходимость агрегирования возникает из-за невозможности оценки значимости большого числа объектов ранжирования экспертами. С ростом числа объектов (Щ резко возрастает число парных сравнений (Щ(Щ — 1)/2). В итоге объектами ранжирования выступили следующие ошибки:

1) неверно поставленные цели и задачи исследования;

2) в группе присутствуют не те респонденты (по причине некорректного определения выборки и/или ошибок в скринере и/или ошибок в процессе рекрутмента и т.д.);

3) слишком продолжительная по времени фокус-группа (по причине перегрузки исследования задачами и/или различных ошибок модератора и т.д.);

4) проблемы, связанные с организационными моментами (например, встреча респондентов, их угощение, вознаграждение, место проведения, канцелярские принадлежности, аудио-, видеозапись, стимульный материал и т.д.);

5) модератор плохо понимает цели и задачи исследования, в результате чего он может неправильно формулировать свои вопросы и/или будет задавать уточняющие вопросы не там, где это необходимо, и/или последовательность вопросов будет нелогична и т.д.;

6) модератор выбирает неверную тактику работы с группой (либо слишком авторитарно, либо слишком либерально);

7) модератор влияет на мнения респондентов;

модератор недостаточно внимателен при работе с группой;

9) проблемы, связанные со «сложными» респондентами (доминирующий респондент; робкий респондент; респондент-эксперт; многословный респондент; неадекватный респондент; стеснительный респондент; слишком позитивный респондент; негативно настроенный респондент; враждебный респондент; прерывающий респондент; спрашивающий респондент и т.д.);

9) проблемы, связанные со «сложными» по проведению фокус-группами (группы с мужчинами 40—50 лет; группы с высокостатусными респондентами;

группы с непотребителями; группы, перегруженные задачами; группы, тематика которых имеет узкоспециальный характер и т.д.);

10) ошибочные ответы респондентов на вопросы модератора (могут быть как преднамеренными, так и непреднамеренными);

11) недостаточная вовлеченность респондентов в работу группы (по причине отсутствия мотивации, усталости и т.д.);

12) анализ данных, которые вызывают опасения относительно их надежности;

13) субъективизм интерпретации данных, вытекающий из односторонности анализа объекта;

14) поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая;

15) пренебрежение проблемой памяти людей при анализе данных (даты, детали событий, хронология и т.д.).

Процедура ранжирования осуществлялась следующим образом. Экспертам объяснялись цели и задачи проводимого исследования, затем предъявлялись две карточки с нанесенными на них объектами ранжирования и предлагалось ответить на следующий вопрос: «Скажите, пожалуйста, какая из этих двух ошибок, по вашему мнению, может оказать более негативное влияние на результаты исследования, проводимого методом фокус-групп?» Каждый эксперт произвел 120 парных сравнений.

Результаты по всем экспертам объединялись и вычислялись значения показателя ^-средняя по всем экспертам «значимость влияния» ошибки, затем определялся ранг ошибки (табл.).

Таблица

Значимость ошибок

Показатель Ранг ошибки

1 2 3 4 5 6 7 8 9 10 11 12 13 13 14 15

Значимость ошибки (К) 17,3 16,1 15,9 11,9 11,1 10 9,9 9,6 9,2 8 5,8 5,7 5,1 5,1 1,7 1,6

Номер ошибки п 1 п5 п2 п6 п14 п8 п15 п7 п13 п4 п10 п9 п3 п12 п16 п 11

Графически дистанции между ошибками по значимости их влияния на результаты представлены на рис., из которого видно, что все ошибки образуют четыре группы по степени влияния на конечный результат:

л11 л16 п 12 пЗ п9л10 п4 л13 п7 п8 п14 лб п2 л5 л1

І І І І І І І І І І І І І І І І І І І I

О 5 10 15

Таким образом, в результате по парного сравнения ранжирования и анализа рисунка можно заключить, что ошибки, возникающие при проведении исследований методом фокусированных групповых интервью, объединяются в четыре группы по степени их значимости.

В первую и наиболее значимую группу вошли три ошибки:

— неверно поставленные цели и задачи исследования (п 1);

— модератор плохо понимает цели и задачи исследования (п5);

— на группе присутствуют не те респонденты (п2).

Следует отметить, что п1 значительно (на 1,2 ед.) опережает п5 и п2, что вполне закономерно и логично, поскольку правильно поставленные цели и задачи имеют ключевое значение при проведении исследований с использованием любых методов [1. С. 110], а неверная их постановка приводит к тому, что в результате исследователь не получает ответов на интересующие его вопросы [9. С. 63— 68]. Избежать проблем на данном этапе может помочь тщательный анализ объекта и предмета исследования, специальной литературы, схожих по тематике исследований, а также подробное обсуждение всего проекта с коллегами, экспертами и/или заказчиком исследования, если таковой имеется.

Если же модератор плохо понимает правильно поставленные цели и задачи исследования (п5) [13] или на группе присутствуют не те респонденты (п2) [10. С. 121], то эффективность и результативность проводимой фокус-группы может снизиться практически до нуля [1. С. 134; 9. С. 79]. Уменьшить риск возникновения подобных ситуации можно, уделив особое внимание подбору и инструктажу модератора, а также набору респондентов на всех этапах этого процесса.

Вторую группу составили семь ошибок:

— модератор выбирает неверную тактику работы с группой (п6);

— субъективизм интерпретации данных, вытекающий из односторонности анализа объекта (п14);

— модератор недостаточно внимателен при работе с группой (п8);

— поспешное обобщение данных, основывающееся на малом количестве случаев или неглубоком анализе каждого случая (п15);

— модератор влияет на мнения респондентов (п7);

— анализ данных, которые вызывают опасения относительно их надежности (п13);

— проблемы, связанные с организационными моментами (п4).

Данная группа, самая крупная из четырех имеющихся, состоит из ошибок модератора (п6, п8, п7), ошибок этапа анализа и интерпретации данных (п14, п15, п13) и проблем, связанных с организационными моментами исследования (п4).

Чтобы минимизировать риск возникновения этих ошибок, модератор должен верно выбрать тактику работы с конкретной группой (п6) [1. С. 158; 8; 10. С. 110;

13], правильно распределять внимание в процессе работы и оптимально рассчитывать свои силы (п8) [1. С. 158—163; 13], а также стремиться минимизировать свое влияние на мнения респондентов (п7) [1; 10. С. 115].

Для исследователя важно помнить о необходимости остерегаться субъективизма интерпретации полученных данных (п14) [10. С. 290], например, путем триангуляции. Недопустимо поспешное обобщение данных исследователем, основывающееся на малом количестве случаев или неглубоком анализе каждого случая (п15) [3. С. 136], и анализ данных, которые вызывают опасения у исследо-

вателя относительно их надежности (и 13) [10. С. 97]. Это означает, что исследователь обязан тщательно и кропотливо проверять полученную от респондентов информацию всеми доступными ему средствами и всеми возможными способами.

Замыкает вторую группу, образуя отдельную часть (с отрывом в 1,2 ед.) п4 — организационные моменты исследования. Проблемы, связанные с организационными моментами, имеют важное значение в процессе исследования [1. С. 100— 109]. Однако, как показало исследование, эксперты не придают ему первостепенного значения, поскольку, даже если трудности и возникли, всегда можно найти выход.

Достаточно большой опасностью, на наш взгляд, могла являться частичная или полная потеря аудио- и/или видеозаписей фокус-группы. Тем не менее, и данная проблема разрешима, поскольку чаще всего модератору помогает ассистент, который делает заметки или полностью конспектирует фокус-группу, а сам модератор может восстановить некоторые части фокус-группы по памяти. Таким образом, потеря записей одной из серии фокус-групп не представляет большой опасности для исследования в целом.

Организационным моментам исследования следует уделять особое внимание, так как они являются важной составной частью успеха всего полевого этапа исследования. Например, если исследователь не будет проверять качество записи после каждой группы, то существует риск потери всего материала, что не может не повлиять на итоговый результат исследования и выразится в значительном искажении результатов.

Третью группу образовали следующие ошибки:

— связанные со «сложными» по проведению фокус-группами (п10);

— связанные со «сложными» респондентами (п9);

— слишком продолжительная по времени фокус-группа;

— недостаточная вовлеченность респондентов в работу группы (п12).

Эта группа образована четырьмя ошибками, две из которых связаны со «сложными» фокус-группами (п10) и со «сложными» респондентами (п9) [9. С. 55— 58]. Эти ошибки имеют вес 5,8 и 5,7 ед. и различаются в весе всего на 0,1 ед., из чего можно сделать вывод, что эксперты не видят в этих моментах большой разницы и большой опасности для исследования в целом. Однако успешная работа со «сложными» респондентами и группами возможна только в случае участия в исследовании опытных и компетентных модераторов.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Две следующие ошибки в данной группе, имеющие одинаковый вес (5,1 ед.): слишком продолжительная по времени фокус-группа (п3) [3. С. 134] и недостаточная вовлеченность респондентов в работу группы (п12) [1. С. 214; 9. С. 85; 10. С. 63]. Ошибка п3 может возникать в двух случаях: во-первых, когда при планировании полевого этапа исследования не учитывается баланс между задачами исследования и его масштабом, что обязательно приведет к перегрузке фокус-групп задачами, а следовательно, к затягиванию их во времени. Здесь необходимо помнить, что результативная работа респондентов возможна в течение 1,5—2 часов. Более длительные группы не дадут достаточно качественного для анализа мате-

риала. В случае крайней необходимости возможно увеличение продолжительности группы при более тщательном отборе респондентов, подготовке и внесению значительных изменений в процедуру метода (перерывы, расслабляющие блоки в гайде, различные двигательные упражнения и т.д.). В ином случае ситуация затягивания фокус-группы во времени может быть связана с неквалифицированной работой модератора, о чем уже упоминалось.

Четвертая группа состоит из двух наименее важных, по мнению экспертов, ошибок: пренебрежение проблемой памяти людей при анализе данных (я 16); ошибочные ответы респондентов на вопросы модератора (п 11). По мнению экспертов, проблемы, связанные с правдивостью ответов респондентов, менее значимы по той причине, что проконтролировать искренность практически невозможно [9. С. 59]. Проблема искренности ответов респондентов существует в любом социологическом исследовании, однако она практически неразрешима (парадокс Ла-Пьера). Данные ошибки необходимо постараться минимизировать на подготовительном этапе исследования или исправить их в процессе интерпретации и анализа полученных данных, например, путем использования аналитической триангуляции.

Результаты проведенного исследования наглядно показывают, что при использовании метода фокус-групп первостепенное значение имеют правильно поставленные цели и задачи исследования (что в принципе соотносится с любыми исследовательскими методами). Следует уделить особое внимание взаимодействию с модератором (т.е. правильно выбрать модератора и/или точно проинструктировать его) и набору респондентов на фокус-группу. И это действительно ключевые моменты в исследовании методом фокус-групп, поскольку все последующее можно скорректировать в процессе работы.

ЛИТЕРАТУРА

[1] Белановский С.А. Метод фокус-групп: Учебное пособие. — М., 2001.

[2] Богомолова Н.Н., Фоломеева Т.В. Фокус-группы как метод социально-психологического исследования. — М., 1997.

[3] Дмитриева Е.В. Метод фокус-групп: проблемы подготовки, проведения, анализа // Социологические исследования. — 1999. — № 8.

[4] Дмитриева Е.В. Фокус-группы в маркетинге и социологии. — М.: Центр, 1998.

[5] Колбин Г.А., Фросина И.В. Фокус-группы на предприятии // Социологические исследования. — 1999. — № 2.

[6] Крюгер Р., Кейси М.Э. Фокус-группы. Практическое руководство. — М., 2003.

[7] Левинсон А.Г., Стучевская О.И. Фокус-группы: эволюция метода (обзор дискуссии на конференции ESOMAR) // Мониторинг общественного мнения. — 2003. — № 1.

[8] Маслова С. Роли модератора фокус-групп. Возможности и границы // Прикладной маркетинг. — 2001. — № 2.

[9] Мельникова О.Т. Фокус-группы в маркетинговом исследовании: Методология и техники качественных исследований в социальной психологии: Учеб. пособие. — М., 2003.

[10] Мельникова О.Т. Фокус-группы: Методы, методология, модерирование: Учеб. пособие. — М., 2007.

[11] Мертон Р., Фиске М., Кендалл П. Фокусированное интервью / Пер. с англ. / Под ред. С.А. Белановского. — М., 1991.

[12] Татарова Г.Г. Методология анализа данных в социологии. — М.: NOTA BENE, 1999.

[13] Фоломеева Т.В. Вклад модератора в эффективность фокус-группы // Маркетинг и маркетинговые исследования. — 2001. — № 2.

[14] Фоломеева Т.В. Использование проективных методик для повышения эффективности фокус-групп // Социология: 4М. — 2003. — № 17.

[15] Handbook of qualitative research / Denzin N., Lincoln Y. (eds.). — Thousand Oaks, 1994.

[16] Krueger Richard A., Casey Mary Anne. Focus groups: a practical guide for applied research / Sage Publications, Inc. — Thousand Oaks-London-New Delhi, 2000.

[17] Silverman D. Doing qualitative research. А practical handbook. — London, 2000.

THE SIGNIFICANCE OF ERRORS INDUCED BY THE FOCUS GROUP METHOD IMPLEMENTATION (the results of the survey research)

I.V. Chekhovskii

Sociology Chair Peoples’ Friendship University of Russia

Miklukho-Maklai str., 10/1, Moscow, Russia, 117198

The paper examines the empirical survey research devoted to the analysis of errors and difficulties emerging in the process of the focus group method implementation in case sociological and marketing research. The possible errors hierarchical classification is provided as well as schematic guidelines are outlined which can be instrumental in preventing their rise in the process of the practical implementation of the method.

Key words: empirical survey research, focus group method, errors.

Кейс 1. Йога-массаж.

Один из наших клиентов рассказвл нам о своем опыте проведения фокус-групп. Ему лично пришлось столкнуться с неэффективным проведением такого исследования.

Современный медицинский центр в крупном областном центре (более миллиона жителей) запланировал введение в спектр услуг процедуры йога-массажа. Новое направление представляет собой один из способов реабилитации после травм, снятия болевых синдромов при различных нарушениях опорно-двигательного аппарата. А еще, как говорят практики этой методики, такой вид массажа позволяет нормализовать работу внутренних органов, стабилизировать нервную систему. Сеанс представляет собой занятия пассивной йогой. Пациент полностью расслабляется, а массажист производит с ним различные упражнения на все группы мышц, скручивания, сгибания рук и ног.

Имеет ли право на существование задумка или ничего прибыльного из этого не выйдет, руководство медцентра решило узнать с помощью фокус-группы. Было нанято агентство, которое разработало перечень вопросов и пригласило людей, которые пользовались ранее услугами частных клиник. Перед началом обсуждения всех участников ознакомили с новым потенциальным направлением.

В группе оказался «неформальный» лидер, который имел ярко-выраженное отрицательное мнение по вопросу обсуждения. Он вел себя активно, предлагал массу аргументов, что направление йога-массажа не имеет отношения к официальной медицине, что его открытие скажется негативно на имидже центра, что разного рода восточные практики могут навредить не только физическому, но и психическому здоровью пациентов. «Сколько людей ушло в буддизм из-за йоги!» — восклицал он.

В результате большинство присутствующих по итогам обсуждения высказалось, что вряд ли когда-нибудь воспользуются такой услугой. При том, что в начале диалога многие из них были довольно лояльны и не отрицали возможности попробовать новый массаж.

Когда клиника обратилась в наше агентство, то понятно, что к предложению провести фокус-группу они первоначально отнеслись скептически. Однако мы предложили возможные пути решения подобных ситуаций. Каждый случай в бизнес-практике индивидуален, но общие рекомендации можно свести к нескольким важным действиям, которые помогают преодолеть фактор субъективности.

Вредные советы для тех, кто не любит фокус-группы и кто хочет их провалить.

Бытует мнение, что когда у человека есть проблема, то ее нужно искать в себе. В исследовательском мире, к сожалению, не всегда бывает так. Можно обвинить и искать проблему в методе, прежде чем разобраться в собственных действиях. А после найти метод попроще и поудобнее.

К фокус-группам вообще отношение неоднозначное. Несмотря на их эффективность для продуктовых исследований, ими, скорее пренебрегают. То ли боятся самого инструмента, то ли не умеют вести.

Мы в creative community уже долго ведем группы: когда-то мы начинали с рутинных тестов концепций и упаковок, сейчас открываем для заказчика креативные группы. Тех, кого мы приводим за руку в мир групповых исследований, начинают их ценить, уважать и любить.

Но заказчику, действительно, тяжело сделать первый шаг. Это может быть обусловлено горьким опытом своим или коллег/знакомых по цеху.

Действительно, групповые исследования даются не всем. А главное, что не все заказчики понимают, что группа проведена плохо. И на основе нее создают продукты, которые не взлетают.

Мы хотим это исправить. И дать базовые вводные для тех, кто хочет провести классную фокус-группу. Но чтобы было веселее, мы используем формат «вредных советов».

Поехали.

1. Будь плохим модератором

Первое, что обязательно нужно сделать — быть уверенным, что если ты умеешь вести интервью, то и групповое интервью на 8 человек у тебя обязательно получится.

Главное помнить, что в группе главный — ты. Ведь, это они к тебе пришли. Это они — лишь пользователи, а ты — Исследователь в … (название компании вставить).

Не узнавай людей. Вообще. Пусть представятся, а дальше говори сразу по делу. Мы сюда работать пришли или что?

Чтобы не париться, можно просто задать вопрос. Пусть участники по очереди (по кругу) ответят на него. Понимающе кивни, обведи всех взглядом. И задай следующий вопрос. Иногда задавай вопрос «Почему?», но не переборщи. Но, на всякий случай, лучше не задавай. Никакой групповой динамики тебе не нужно.

Обязательно голосуй. Пусть участники поднимают руки. Ты потом сможешь посчитать и понять, сколько человек ответили «мне нравится», а сколько «не нравится». Ведь фокус-группы — это про количество.

Пусть люди устанут. Дай им как можно больше материала. Пусть они отработают это время. Не давай им раскрываться. Пусть четко ответят «мне это нравится» или «я этим воспользуюсь». Большего тебе ненужно.

Не создавай доверия в группе. Зачем оно тебе? Только лишнее общение и лишняя информация. Говорим только по теме исследования. А то вдруг участники начнут общаться между собой, а это опять трата времени.

Не спрашивай их о будущем. Не проси решить свою проблему. Они ведь не в теме. Все, что они предложат — вранье.

Проведя фокус-группу, выдохни. Эти ровно полтора часа… Вспомни снова, что ты снова не любишь людей.

Примечание.

На самом деле, хороших модераторов, которые могут поговорить с 6-8 людьми, а не просто технично отвести группу — мало. Перед тем, как заказать группу, лучше навести справки о модераторах, предварительно с ними встретиться и пообщаться.

Если вам не нравится человек — не берите его в модераторы.

2. Никакого творчества. Забудь.

До того, как проводить фокус-группу, почитай книги. Можешь, по социологии. Можешь более современные, про интервью.

Спроси маму, как тебе проводить фокус-группу.

У любого фреймворка есть шаблон. И группу тоже можно отвести по шаблону. Шаг вправо, шаг влево — расстрел.

Всегда помни про время. Ты не имеешь права отклониться от тайминга. Если на 25-й минуте ты не задал тот вопрос, который хотел, все пойдет наперекосяк. Это же гайд!

Только вопросы. Большие, сложные. Постарайся вытянуть из участников правду.

Творческие задания? Пфф.

Примечание.

Несмотря на то, что фокус-группы более сложный метод, с ним легче экспериментировать. Мы обычно предлагаем заказчикам варианты заданий и заранее говорим, как тот или иной вопрос/задание поможет нам решить бизнес-задачу.

Хороший модератор правда знает лучше, как провести группу. Это его внутренняя кухня, но он заранее обеспечит вас информацией, после которой вы будете смотреть группу спокойно.

3. Пригласи лояльных пользователей. Бесплатно.

У тебя получалось пригласить на интервью пользователей бесплатно. И на фокус-группу обязательно получится. Ведь собрать 6-8 человек в одном месте… может быть проблемой. Ну ничего. Нам же важно, чтобы группа состоялась.

Поэтому пригласи всех к себе в офис и выбери лояльных. Они любят твою компанию и согласятся прийти.

Просто поверь, с лояльными ТЕБЕ будет легче. Модерировать, общаться, предлагать. Они полюбят все идеи, которые ты им сможешь предложить.

Главное — бюджетно. Ведь фокус-группы — дорогое удовольствие.

Примечание.

Фокус-группы и правда стоят дорого.

Но их стоимость оправдана усилиями и результатом. Качественный рекрут входит в эту стоимость. Рекрутом участников на исследование занимаются или частные рекрутеры, или специальные компании. Не пожалейте денег на хороших участников. Эти деньги вам вернутся, когда вы запустите продукт и он взлетит. А если продукт не понравится участникам, то эта сумма — малая кровь, которой вы обошлись до запуска.

На самом деле, информации по этой теме — море. Может быть, мы ее разовьем еще на пару-тройку вредных советов. Но сейчас дали самое основное.

Итак, чтобы завалить фокус-группу и потом сказать, что она не сработала и это плохой метод, важно:

P.S. Я очень надеюсь, что вы правильно поняли идею. И прочитали так, как надо.

P.P.S. Если что, мы поможем.

Успехов!