Ошибки иногда приводящие к переоценке а иногда недооценке фактического значения называются

Глава восемнадцатая.

СБОР ДАННЫХ:
РЕАЛЬНЫЕ ПРОЦЕДУРЫ И СИСТЕМАТИЧЕСКИЕ
ОШИБКИ

Одна из основных
проблем, с которой мы сталкиваемся при
маркетинговых исследованиях, — это
проблема сбора данных. На этой стадии
исследования используется персонал,
занятый полевым, телефонным или почтовым
опросом. В этой главе речь будет идти
главным образом о возможных ошибках
при проведении опросов и об их причинах.
Если вы будете осознавать потенциальные
источники ошибок, возникающих при сборе
данных, вы сможете надлежащим образом
оценивать исследовательскую информацию,
на основе которой должны приниматься
те или иные решения.

Влияние
и значение систематических ошибок

ОШИБКА
В ВЫБОРКЕ

Разность
между наблюдаемыми значениями
количественного признака и их долгосрочным
средним значением при повторении
измерений.

СИСТЕМАТИЧЕСКАЯ
ОШИБКА

Ошибка
исследования, не связанная с выборкой;
может быть вызвана концептуальными или
логическими ошибками, неправильной
интерпретацией ответов, а также
статистическими, арифметическими,
табуляционными, кодовыми или отчетными
ошибками.

Ошибки, возникающие
при обследовании, можно разделить на
два основных типа: ошибки
в выборке и
систематические
ошибки.
Концепция
ошибки в выборке
широко использовалась в главах 15, 16 и
17. Основой для ее рассмотрения была
концепция выборочного распределения
некой статистики, например выборочного
среднего, выборочной доли и тому подобное.
Само понятие выборочного распределения
неразрывно связано с понятием ошибки
в выборке. Названное распределение
существует благодаря тому, что различные
выборки, сформированные в соответствии
с принятым планом обследования, дают
разные оценки параметра. Статистика
меняется от выборки к выборке в силу
того, что в каждом случае выборочному
отбору подвергается лишь часть генеральной
совокупности. Соответственно мы можем
определить ошибку в выборке как «разность
между наблюдаемыми значениями
количественное» признака и их долгосрочным
средним значением при повторении
измерений». Как мы видели, ошибка в
выборке может быть уменьшена путем
увеличения объема выборки. Концентрация
распределения выборочной статистики
возле долгосрочного среднего значения
возрастает, а выборочная статистика
выравнивается при увеличении количества
наблюдений.

Систематические
ошибки
являются отражением ошибок иного рода,
которые, вообще говоря, могут возникать
и не при выборочных обследованиях. Они
подразделяются на случайные
и неслучайные.
Неслучайные систематические ошибки
имеют более тяжкие последствия. Случайные
ошибки дают оценки, отличные от истинного
значения; они могут приводить к отклонениям
и в большую, и в меньшую сторону и имеют
при этом случайный характер. Неслучайные
же систематические ошибки приводят к
односторонним отклонениям. Соответственно
для них характерна тенденция к смещению
выборочного значения относительно
параметра совокупности. Систематические
ошибки могут являться следствием
концептуальных или логических ошибок,
неправильной интерпретации ответов, а
также статистических, арифметических,
табуляционных, кодовых или отчетных
ошибок. Они столь вездесущи, что один
из авторов не смог сдержать своих чувств
и написал:

«Перечень
возможных бед и напастей с увеличением
наших познаний только расширяется.
Многолетняя работа в определенной
области позволяет приобрести известный
методологический опыт, который, к
сожалению, практически никогда не
становится доступным другим. Подлинной
уверенности в правильности выработанных
подходов нет и быть не может (выделено
нами)».

Систематические
ошибки не только вездесущи, но они и не
столь подконтрольны, как ошибки в
выборке. При увеличении объема выборки
ошибки в выборке уменьшаются. Сказать
то же самое о систематических ошибках
нельзя. В этом случае они могут как
уменьшаться, так и возрастать. Помимо
прочего, ошибки в выборке при использовании
вероятностных методов могут быть
оценены. В случае же систематических
ошибок, как направление, так, тем более,
и величина ошибки могут оказаться
совершенно непредсказуемыми.

Систематические
ошибки приводят к смещению выборочного
значения относительно параметра
совокупности, но в ряде случаев мы не
можем судить даже о том, к чему именно
они приведут, — к переоценке или к
недооценке параметра. Систематические
ошибки влияют и на достоверность
выборочных оценок. Вызванное ими смещение
может увеличить ошибку оценки определенных
статистик до такой степени, что оценка
доверительного интервала окажется
ошибочной.

Одно из обследований,
призванное оценить уровень накоплений
потребителей, проведенное Иллинойским
университетом, может служить наглядным
свидетельством сказанного. В ходе этого
обследования исследователи сравнивали
полученные от потребителей сведения
об их финансовых средствах и долгах с
известной информацией.

«Опытное
обследование неожиданно показало, что
систематические ошибки существуют не
только в теории, оказалось, что именно
они являются основной причиной замеченной
тенденции к занижению агрегированных
показателей…

Эта ошибка не
просто присутствовала в данных
обследования, в ряде случаев роль
систематических ошибок была столь
велика, что
определение доверительных интервалов
по известным формулам статистики теряло
всяческий смысл… Следует
особо отметить, что
при увеличении объема выборки величина
этой ошибки только возрастала (выделено
нами)».

В некоторых
ситуациях даже самые изощренные выборки
не могут избавить нас от систематических
ошибок.

«Значимость
полученных в ходе этого обследования
данных весьма специфична, они лишний
раз говорят о том, что исследователь
постоянно должен стремиться к выявлению
и устранению систематических ошибок.
Особенно критичными они становятся при
работе с широкомасштабными, хорошо
продуманными вероятностными выборками,
поскольку при увеличении эффективности
проектирования выборки и уменьшении
выборочной дисперсии, эффект систематических
ошибок усиливается. Поскольку
систематические отклонения практически
не зависят от объема выборки, мы
сталкиваемся с парадоксальной ситуацией:
чем эффективнее составлена выборка,
тем большую роль играют систематические
ошибки и тем меньшим смыслом обладают
вычисления по определению доверительного
интервала, в основе которых лежат обычные
формулы».

В случае обследования,
проведенного Иллинойским университетом,
мы могли определить систематическую
ошибку, поскольку в распоряжении
исследователей находились не только
результаты опроса, но и реальные данные,
отражающие финансовое положение
потребителей. Предположим, что мы не
обладаем подобными данными. Исследователи
смогут предположить, что полученные
ими ответы не совсем точны, но как они
смогут определить хотя бы направление
вызванного такими ошибками смещения?
То ли респонденты сознательно завышали
уровень своих сбережений, желая впечатлить
интервьюера, то ли занижали их, боясь,
что реальные цифры могут вызвать
повышенный интерес у сотрудников
Налогового управления. Предположим,
что сам факт неточности приведенных
сведений не вызывает у нас сомнений.
Возникает еще один вопрос: какова
величина этой «неточности»? Завышение
реальной суммы на 10000 долларов или ее
занижение на 2000? Или наоборот?

Как вы, вероятно,
уже начинаете осознавать, зачастую
проблема систематических ошибок
оказывается

центральной. Два
типа систематических ошибок, отсутствие
ответов одних и некорректные ответы
других участников обследования, могут
обратить результаты обследования
буквально в ничто. Наглядной иллюстрацией
этого является исследовательское окно
18.1. В результате специальных исследований,
проведенных Бюро переписей, выяснилось,
что такие систематические ошибки могут
в десять раз превышать ошибку выборки.
В этом результате нет ничего неожиданного.
Помимо прочего, оказалось, что
систематическая ошибка составляет
большую часть ошибки обследования, в
то время как случайная ошибка выборки
сведена к минимуму. Систематические
ошибки могут быть уменьшены, но уменьшение
их связано не столько с увеличением
объема выборки, сколько с использованием
специальных методов. Для того чтобы
исследователь имел такую возможность,
ему необходимо прежде всего осознавать
их причины.

ОШИБКА
НЕНАБЛЮДЕНИЯ

Систематическая
ошибка, возникающая вследствие неполучения
данных от ряда элементов, входящих в
обследуемую выборку.

Типы систематических ошибок

На рис. 18.1 представлены
основные типы систематических ошибок.
Они делятся на два основных типа:

ошибки, связанные
с неполучением данных, и ошибки наблюдения.
Ошибки ненаблюдения
возникают вследствие невозможности
получения данных от части элементов
обследуемой совокупности. Ошибки
ненаблюдения могут быть вызваны тем,
что часть обследуемой совокупности не
была представлена в выборке, или же
элементы, отобранные для включения в
выборку, не представили данных.
Ошибки наблюдений
возникают вследствие некорректной
информации, полученной от элементов
выборки, они могут возникнуть и на стадии
обработки данных или формулирования
итогового вывода. По ряду характеристик
они представляются еще более неприятными,
чем ошибки ненаблюдения. В случае
последних мы по крайней мере знаем, что
ошибки этого вида обусловлены неполным
охватом или неполучением данных. О
существовании же ошибок наблюдения мы
даже и не подозреваем. Само понятие
ошибки наблюдения основывается на
предположении о том, что для количественного
признака или признаков существует некое
«истинное» значение. Соответственно
ошибка наблюдения является разностью
объявленного и «истинного» значения.
Вы уже понимаете, что определение Ошибки
наблюдения ставит исследователя в
ужасно неудобное положение, поскольку
при этом он задается той самой величиной,
определение которой является целью
обследования.

ОШИБКА
НАБЛЮДЕНИЯ

Систематическая
ошибка, либо возникающая при обработке
данных или формулировании заключений,
либо являющаяся следствием некорректности
информации, получаемой от элементов
выборки.

ОШИБКИ НЕНАБЛЮДЕНИЯ

Как вы видите на
рис. 18.1, существуют два типа ошибок
ненаблюдения: ошибки неохвата и ошибки
неполучения данных. Любая из этих ошибок
может привести к существенным неточностям,
однако аналитик, знакомый с сутью
проблемы, может существенно уменьшить
возможную ошибку.

ОШИБКА
НЕОХВАТА

Систематическая
ошибка, являющаяся следствием того, что
определенные части или целые блоки
генеральной совокупности не были
включены в основу выборки.

Ошибки неохвата.
Неохват может стать источником серьезных
неточностей, при этом
ошибка неохвата относится
только к ошибочно выпавшим из рассмотрения
частям совокупности, но никак не к
частям, исключенным намеренно. Таким
образом, проблема неохвата имеет
отношение к основе выборки.

Например, при общем
обследовании ошибка неохвата может
возникнуть при использовании телефонного
справочника в качестве основы выборки.
Телефоны есть далеко не у всех семей, и
не все номера телефонов включены в
справочник. Помимо прочего, существует
целый ряд демографических отличий между
лицами, имеющими телефоны и не имеющими
их.

При почтовом
опросе, где основой выборки служит
рассылочная ведомость, ошибка неохвата
может быть следствием того, что рассылочная
ведомость не дает адекватного представления
о различных группах популяции. Опытные
исследователи знают, сколь редко подобные
ведомости бывают удачными, пусть даже
речь идет о весьма специфичных группах
населения (смотри табл. 18.1).

В тех случаях,
когда данные должны собираться методом
обхода квартир, респондентов сводят в
своеобразную территориальную выборку.
В этом случае основой выборки становится
скорее не список респондентов, а
определенные районы, кварталы или дома.
Тем не менее это не снимает проблемы
неполноты основы выборки. Городские
карты могут устареть, вследствие чего
районы новой застройки полностью выпадут
из рассмотрения. Помимо прочего,
инструкции, данные интервьюерам, могут
оказаться недостаточно детальными.
Указание «начните обследование с
северо-западной оконечности означенного
района, избрав начальный пункт случайным
образом и подвергая обследованию каждый
пятый жилой дом» может оказаться
неполным, если в этом районе существуют
многоквартирные дома. Практика показывает,
что при проведении обследования
интервьюеры предпочитают обходить
стороной ветхие или запущенные строения.
Вместе с тем интервьюеры предпочитают
общаться с максимально доступными
членами семей, что противоречит положению
инструкции о случайном характере опроса.
Все это приводит к недостаточному
представлению определенной части
популяции при одновременном избыточном
представлении другой, наиболее доступной
ее части.

Проблемы с основой
выборки существуют и при проведении
опросов в торговых центрах. С одной
стороны, здесь отсутствует список
элементов совокупности. С другой стороны,
попасть в число обследуемых могут только
те люди, которые привыкли совершать
здесь покупки, при этом чем чаще они это
делают, тем выше вероятность того, что
они станут респондентами. Именно по
этой причине при обследованиях такого
рода часто используются пропорциональные
выборки.

Тем не менее
использование пропорциональных выборок
не снимает проблем, связанных с ошибками
неохвата. Свобода же выбора респондентов
интервьюером буквально распахивает
двери для таких ошибок. «Недобор»
характерен как для лиц с самыми низкими,
так и для лиц с самыми высокими доходами.
Руководитель проекта может не осознавать
этого, поскольку исполнители зачастую
склонны к фальсификации результатов,
позволяющей скрыть это обстоятельство.
Чем более сложной и развитой будет такая
пропорциональная выборка, тем более
критичным становится названный момент.
Если некоторые элементы выборки будут
задаваться набором, состоящим из трех
или четырех признаков, интервьюер,
испытывающий в этой связи определенные
затруднения, может «немного слукавить»,
приписав требуемые характеристики тем,
кто ими не обладает.

Ошибка перебора
может возникать вследствие возникновения
повторов в сводке элементов выборки.
Единицы с множественными входами в
основу выборки, например семьи, имеющие
несколько телефонных номеров, имеют
более высокую вероятность включения в
выборку, чем единицы, соответствующие
только одной позиции списка. Впрочем,
для большинства обследований ошибки
неохвата представляют куда большую
опасность.

ОШИБКА
ПЕРЕБОРА

Систематическая
ошибка, возникающая вследствие повтора
позиций в сводке элементов выборки.

Ошибка неохвата
представляет проблему далеко не для
любого обследования. В ряде случаев
исследователь имеет в своем распоряжении
четкую, ясную и полную основу выборки.
Скажем, если администрация универмага
решит провести обследование покупателей,
приобретающих товары в кредит, проблем
с определением основы выборки у нее не
будет. Основа выборки, очевидно, будет
совпадать со списком таких кредитов по
открытым счетам. Возможны разве что
какие-то затруднения при распознавании
активных и неактивных счетов, но указанная
проблема может быть разрешена уже на
подготовительном этапе обследования.

—

Таблица
18.1

Количество		Цена (долл.)	Количество		Цена (долл.)
12900	Розничная продажа детской одежды	45/1000	135	Книжные клубы	85
800	Торговля баранками	85	6300	Издательства	45/1000
30200	Розничная продажа хлеба	45/1000	1725	Издательства (крупнейшие)	45/1000
2400	Хлебопеки	45/1000	850	Оптовые торговцы книгами	85
600	Балетные труппы	85	24000	Бухгалтерский учет	45/1000
2450	Владельцы воздушных шаров	45/1000	20100	Книжные магазины	45/1000
10500	Руководители оркестров	45/1000	588	Книжные магазины, сети	85
16100	Ипотеки, руководство	45/1000	3100	Книжные магазины, учебная литература	45/1000
4100	Ипотеки, фирмы	45/1000	3300	Книжные магазины, религ. литература	45/1000
13790	Банки главные офисы	45/1000	132	Ботанические сады	85
324	Банки с капиталом свыше 1 млрд.	85	2700	Ботаники	45/1000
538	Банки с капиталом свыше 500 млн.	85	2600	Розлив безалк. напитков	45/1000
1278	Банки с капиталом свыше 200 млн.	85	4600	Магазины женской одежды	45/1000
3582	Банки с капиталом свыше 75 млн.	45/1000	7500	Кегельбаны	45/1000
8835	Банки с капиталом свыше 25 млн.	45/1000	6000	Производство тары	45/1000
12400	Банки с капиталом свыше 10 млн.	45/1000	530	Советы бой-скаутов	85
13245	Банки с капиталом свыше 5 млн.	45/1000	2400	Производство хлебопекарной продукции	45/1000
200	Банки с капиталом менее 5 млн.	85	14500	Каменщики	45/1000
40100	Отделения банков	45/1000	8290	Магазины для новобрачных	45/1000
20000	Банковские кассиры	45/1000	30100	Работники радиовещания	45/1000
209600	Банковские служащие	45/1000	4798	Радиостанции СВ-диапазона	45/1000
66700	Банковские служащие, женщины	45/1000	4428	Радиостанции FM-диапазон	45/1000
3490	Сбербанки, кредитование	45/1000	1050	Телевизионные станции	85
16800	Сбербанки, кредитование, филиалы	45/1000	211000	Брокеры и агенты, страхование	45/1000
6000	Работники траст-отдела банков	45/1000	207200	Брокеры и агенты, страхование (офисы)	45/1000
11030	Работники отдела кредитования	45/1000	3600	Брокеры (бизнес)	45/1000
243	Судьи по делам о несостоятельности	85	300000	Брокеры и агенты недв., инд.	45/1000
8400	Поставщики продукции для салонов красоты	45/1000	170000	Брокеры и агенты недв. (офисы)	45/1000
64200	Парикмахерские	45/1000	47000	Брокеры, ценные бумаги, оф. представ.	45/1000
81900	Бары, закусочные	45/1000	28400	Брокеры, ценные бумаги, офисы	45/1000
2800	Школы моделей	45/1000	17000	Брокеры, ценные бумаги, оф. представ.	85/1000
200000	Салоны красоты	45/1000	276000	Строительные подрядчики	45/1000
315	Пчеловоды	85	53900	Стройматериалы, дилеры	45/1000
90	Пивовары	85	46600	Стройматериалы, оптовики	45/1000
11900	Поставщики пива	45/1000	31300	Уборка помещений и офисов	45/1000
37000	Ученые-бихевиористы	45/1000	13600	Установка противоуг. систем	45/1000
170	Бюро консультаций в сфере бизнеса	85	19000	Печи (жидкое и тв.), дилеры	45/1000
4000	Розлив и постановка прохлад. напитков	45/1000	9000	Автобусные компании (все)	45/1000
26000	Производство прохлад. напитков	45/1000	5200	Автобусные компании (заказы)	45/1000
11700	Продажа и ремонт велосипедов	45/1000	3550	Автобусные компании (междугор.)	45/1000
2500	Бильярдные и залы для игр в пул	45/1000	4700	Автобусные компании (админ.)	45/1000
1380	Компании Billion Dollar	85	3600	Профессиональные брокеры	45/1000
5700	Биохимики	45/1000	3100	Профессиональные экономисты	45/1000
23700	Биологи	45/1000	2000000	Профессиональные администраторы	договорная
3900	Центры контроля за рождаемостью	45/1000	200000	Проф. администр. (дом. адреса)	договорная
6400000	Семьи афро-американцев	договорная	60000	Проф. адм., макс. окл. (адреса)	50/1000
4600	Банки крови	45/1000	4600	Производство коммер. бланков	45/1000
3000000	Производственные рабочие	договорная	9300	Конторские машины, дилеры	45/1000
5250	Гавани (морские)	45/1000	1000000	Бизнесмены (адреса)	договорная
12350	Торговцы судами	45/1000	2000000	Бизнесмены (мелкий бизнес)	договорная
21 000	Снабжение судов	45/1000	525	Школы бизнеса (академические)	85
567400	Владельцы судов (тип, длина, мощность)	50/1000	2000	Школы секретарей	45/1000
10000	Верфи, строительство и ремонт судов	45/1000	3700	Торговые организации	45/1000
14000	Отделы образования	45/1000	4530	Публикации на тему торговли	45/1000
67700	Ремонт кузовов автомобилей	45/1000	20400	Мясные лавки	45/1000
5000	Паровое оборудование	45/1000	8900	Мясо, оптовые поставки	45/1000

Подобным же образом
общество взаимного кредита в некой
фирме вряд ли столкнется с ошибкой
неохвата при обследовании потенциальных
клиентов. Здесь целевой совокупностью
будут сотрудники фирмы; список же их,
по всей вероятности, не будет нуждаться
в уточнении, поскольку он лежит в основе
платежной ведомости.

Ошибки неохвата
ставят перед исследователем два вопроса:
(1) насколько они серьезны? (2) каким
образом возможно их уменьшить? Основная
проблема состоит в том, что их величина
может быть оценена только при сравнении
результатов выборочного обследования
с некими независимыми внешними
показателями. Внешний же показатель в
свою очередь может быть либо определен,
посредством дополнительной проверки
качества части результатов, либо получен
в ходе другого надежного обследования,
результаты которого не утратили своей
актуальности, например, последней
переписи населения. Возможность сравнения
результатов с результатами переписи
или обследования выборки большого
объема предполагает общность операционных
определений элементов выборки. Если
исследователь планирует проведение
таких сравнений, он должен учитывать
это обстоятельство при выборе обследуемых
объектов (например, квартир или индивидов).

Предположим, ошибка
неохвата весьма велика. Что должен
делать исследователь для того, чтобы
уменьшить ее влияние? Разумеется, самый
очевидный шаг состоит в улучшении
качества основы выборки. Улучшение это
может заключаться в обновлении карт, в
выборочной проверке качества и
репрезентативности ведомости и т. д.
Проблема отсутствия ряда элементов,
характерная для телефонных обследований,
может решаться путем набора случайных
цифр или дополнительными звонками, хотя
такой способ не дает адекватного
представления о лицах, не имеющих
телефона:

Несовершенная
основа выборки может быть улучшена лишь
до определенного предела. Когда этот
предел будет достигнут, исследователь
может попытаться уменьшить ошибку
неохвата посредством отбора элементов
выборки или уточнением результатов.
Скажем, при формировании выборки по
списку аналитики часто сталкиваются с
тем, что в нем содержатся повторы,
неподходящие элементы и пропуски. Первым
шагом, направленным на исправление
ситуации, должно стать обновление и
уточнение списка, для чего могут
использоваться дополнительные источники.
Впрочем, подобные меры могут привести
разве что к сокращению количества
пропусков, но никак не к выявлению
повторов или неприемлемых элементов.
При отборе элементов выборки неприемлемые
элементы должны исключаться из
рассмотрения. Не поддайтесь искушению
заменить неприемлемый элемент элементом,
следующим в списке за ним, поскольку
использование подобного приема может
оказать серьезное влияние на характер
выборки. Если отбор осуществляется
случайным образом, следует просто-напросто
перейти к следующему отобранному
случайным образом элементу. Если же
отбор производится систематически, при
появлении неприемлемых элементов
следует прежде всего отрегулировать
выборочный интервал.

Проблема повторов
обычно решается методом корректировки.
Обычно результаты получают вес обратный
вероятности попадания элемента в
выборку. При обследовании, базирующемся
на регистрационной ведомости автомобилей,
каждому респонденту будет задан вопрос:
«Сколько у вас машин?» Обладатель двух
машин получит весовой коэффициент 1/2,
обладатель трех машин соответственно
1/2 .

Выбор надлежащих
процедур отбора элементов корректировки
и отстройки, компенсирующей неадекватность
основы выборки, при проведении серьезных
выборочных обследований имеет особую
значимость и во многом определяется
квалификацией исследователя. Мы не
станем вдаваться в детали, отметим лишь
то, что ошибки неохвата:

1) относятся к
разряду систематических ошибок и потому
не входят в стандартные статистические
зависимости;

2) как правило, не
могут быть устранены посредством
увеличения объема выборки;

3) могут иметь
существенный размер;

4) могут быть
уменьшены (но не обязательно устранены)
при осознании их наличия посредством
улучшения основы выборки и принятия
ряда специальных мер, позволяющих до
определенной степени компенсировать
остаточное несовершенство основы.

Ошибки неполучения
данных. Другой возможный источник
систематического отклонения ненаблюдения
— ошибка
неполучения данных.
Она порождается отсутствием информации
о некоторых элементах, которые должны
были войти в состав выборки. Попытка
контакта с выделенным респондентом
может оказаться неудачной, — об этом
никогда нельзя забывать. Например, на
рис. 18.2 представлены различные исходы
предполагаемого телефонного контакта.
Количество этих исходов столь велико,
что даже условная оценка серьезности
проблемы неполучения данных может
оказаться весьма и весьма затруднительной.

ОШИБКА
НЕПОЛУЧЕНИЯ ДАННЫХ

Систематическая
ошибка, порождаемая отсутствием
информации о некоторых элементах,
которые должны были войти в состав
выборки.

ДОЛЯ
ОТВЕТИВШИХ

Отношение
количества проведенных с респондентами
интервью к количеству приемлемых
респондентов в выборке.

В конце семидесятых
несколько исследователей осознали, что
в практике маркетинговых исследова­ний
не существует стандартной процедуры
для определения соотношения полученных
и неполученных ответов. Поскольку
различные исследовательские организации
использовали при определении показателя
неполучения данных разные определения
и методики, эта проблема не получала
точного и однозначного разрешения.
Пытаясь найти выход из этой ситуации,

аналитики провели
исследование, в котором участвовали
представители Совета исследовательских
организации Америки с (CASRO)
и ведущих заказчиков. Каждому участнику
обследования был выслан опросный лист,
на котором были представлены данные
трех реальных телефонных опросов по
контактам и ответам — выборки по
телефонному справочнику, выборки по
методу случайных чисел и списочной
выборки. Респондентов просили определить
долю ответивших, контактов, выполненных
работ и отказов для каждого из трех
обследований. (Ниже будут даны определения
для каждой из этих долей). Отличие
результатов друг от друга оказалось
разительным. В верхней части табл. 18.2
представлены необработанные данные
для выборки, основанной на телефонном
справочнике. Используя эти данные, одна
организация пришла к выводу, что
доля ответивших
(отношение количества интервью к
количеству контактов) составляет 12%, в
то время как другая организация нашла
ее равной 90%. Ответы других участников
опроса были столь же разноречивыми.
Всего 3 фирмы из 40 пришли к одному и тому
же ответу, но при этом они пользовались
различными определениями. В нижней
части табл. 18.2 представлены три наиболее
часто используемых определения, а также
определения, дающие минимальные и
максимальные значения доли ответивших.

Разнообразие
определений не только приводило к
множественности значений доли
неответивших, но и осложняло разрешение
проблемы, связанной с ошибкой неполучения
данных. Последняя могла зависеть как
от эффективности используемых методов,
так и от того, насколько удачно были
выбраны определения. Пытаясь оптимизировать
и стандартизировать практику обследований,
CASRO
предложил следующее стандартное
определение доли ответивших:

Главное условие
для правильного определения доли
ответивших — надлежащее использование
критерия приемлемости. В табл. 18.3 показан
порядок определения доли ответивших
при наличии и при отсутствии требования
приемлемости.

Неполучение данных
представляет проблему для любого
обследования, при котором оно возникает,
поскольку возникает закономерный
вопрос: не существует ли серьезных
отличий между ответившими и неответившими?
Естественно, мы не можем однозначно
ответить на этот вопрос, пусть даже
предыдущие обследования свидетельствуют
о том, что между представителями двух
этих групп не существует особой разницы.

Две главные причины
ошибки неполучения данных — это
отсутствие и отказ от интервью. Ошибки
неполучения данных могут возникать при
обследованиях, использующих личный,
телефонный или почтовый опросы. При
проведении почтовых опросов проблема
отсутствия подменяется проблемой
неполучения опросного листа. Опросный
лист может просто-напросто затеряться
на почте, и в этом случае систематическую
ошибку можно считать случайной (если
только этой потере не подлежат некие
фундаментальные причины, такие как
выбытие или смерть адресата; последние
приведут к появлению систематической
ошибки.

Отсутствие.
Данные о некоторых элементах выборки
могут отсутствовать, поскольку в момент
звонка интервьюера респондентов может
не оказаться дома. Опытные данные
показывают, что процент
отсутствия
растет со временем. Очевидно, многое
зависит от респондента и времени суток,
в которое совершается звонок. Замужние
женщины с маленькими детьми в течение
дня (речь не идет о выходных) оказываются
дома чаще, чем мужчины или бездетные и
незамужние женщины. Вероятность того,
что вам ответят, выше для семей с низким
достатком или для сельских семей. Этот
показатель подвержен сезонным и недельным
(рабочие дни/выходные) колебаниям. Мало
того, куда проще застать дома «ответственного
подростка», нежели нужного вам респондента,
соответственно проблема отсутствия
может оказаться действительно серьезной.

ОТСУТСТВИЕ

Систематическая
ошибка, возникающая вследствие неполучения
ответов от заранее определенных
респондентов, отсутствующих дома в
момент звонка регистратора.

Для
снижения эффекта отсутствия может быть
принят ряд мер. Например, при некоторых
обследованиях интервьюер может заранее
договориться с респондентом о времени
своего звонка. Этот подход будет особенно
эффективным при обследовании
административных работников, но может
оказаться неоправданным при обследовании
обычных потребителей. В последнем случае
принято использовать повторный звонок
(или повторные звонки), который должен
производиться в другой час. На деле
неполучение данных, обусловленное
отсутствием респондентов, имеет очень
большое влияние на точность большинства
обследований. Один ведущий эксперт
пришел к заключению, что небольшие
выборки с 4-6 повторными звонками
оказываются более эффективными, чем
большие выборки без повторных звонков,
если только процентное значение доли
ответивших существенно не превышает
нормальный уровень. Некоторые данные
свидетельствуют о том, что для осуществления
контакта с тремя четвертями выборки
семей необходимо совершить от 4 до 5
звонков (смотри табл. 18.3).

Альтернативой
прямому
повторному звонку
может являться модифицированная
попытка контакта.
Если после первой попытки контакта и
нескольких повторных звонков интервьюеру
так и не удастся вступить в контакт с
нужным лицом, он может послать ему
опросный лист с конвертом или оставить
этот лист у его двери. Если же отсутствие
обусловлено «отсутствием нужного лица»,
а не «отсутствием кого-либо дома»,
регистратор может узнать у домашних
время, когда респондент обычно бывает
дома.

Неопытные
исследователи наивно пытаются решить
проблему отсутствия посещением соседней
квартиры или звонком по номеру, следующему
в списке за нужным. Подобную тактику
следует признать крайне неудачной.

Интервьюер подменяет
«присутствующими» (которые могут
существенно отличаться от отсутствующих
по ряду характеристик) часть обследуемого
сегмента популяции. При этом доля
«присутствующих» увеличивается, но
проблема не разрешается, а лишь
усугубляется.

Доля отсутствующих
зависит как от искусности интервьюера,
так и от принятой процедуры первичных
контактов и повторных попыток контакта.
Соответственно ошибка отсутствия может
быть уменьшена до некоторой степени
надлежащим обучением персонала, при
котором особенное внимание должно
обращаться на повышение эффективности
повторных попыток контакта.

Указанная зависимость
доли отсутствующих от профессионализма
интервьюера позволяет ввести меру для
оценки и сравнения самих интервьюеров:
для этого определяется
доля контактов (К)

ДОЛЯ
КОНТАКТОВ

Мера,
используемая для оценки и сравнения
работы интервьюеров при установлении
ими контакта с избранными респондентами;
К
= отношению установленных контактов к
общему количеству приемлемых элементов
выборки, с которыми надлежит вступить
в контакт.

Доля контактов
может служить мерилом настойчивости
интервьюера. Сравнение работы интервьюеров
и принятие корректирующих мер может
производиться по соответствующим
контактным уровням.

Контролера может
заинтересовать причина низких контактных
уровней у тех или иных интервьюеров.
Возможно, интервьюер работает в зоне с
традиционно высокой долей отсутствующих,
например в районе, где проживают люди
с высоким уровнем доходов. При анализе
отчетов, в которых приводится время
попыток контакта, может быть выявлена
и обусловленность низких результатов
неадекватностью дополнительных процедур.
В любом случае организаторам обследования
имеет смысл провести дополнительное
обучение персонала (этим может заняться
и сам контролер). Доля контактов может
использоваться и для оценки потенциальной
ошибки неполучения данных, обусловленной
отсутствием респондентов.

Ошибка неполучения
данных, обусловленная отсутствием
респондентов, может быть учтена и в
схеме статистической корректировки
результатов Политца-Симмонса. Эта схема
строится не на повторных, а на единичных
попытках контакта с каждым членом
выборки в момент времени, определенный
случайным образом. При этом контакте
респонденту задается вопрос, находился
ли он (или она) дома в это же время в
течение пяти предыдущих дней. Пять
соответствующих ответов и время самого
интервью дают информацию о том, когда
же респондент бывал дома в течение шести
последних дней. Ответам каждого информанта
присваивается соответствующий
(вероятность нахождения дома может
сообщаться интервьюеру и самим
респондентом) обратный весовой
коэффициент: например, для информанта,
присутствовавшего дома в это время
только один раз, весовой коэффициент
будет равен 6. Идея, подлежащая этой
схеме, состоит в том, что люди, редко
бывающие дома, не получают при обследовании
должного представления. Соответственно
чем реже респондент бывает дома, тем
выше должен быть соответствующий ему
весовой коэффициент.

Отказы от интервью.
Почти всегда при проведении обследования
находятся люди, которые отказываются
принять в нем участие. В одном из самых
массированных исследований серьезности
этой проблемы «Ваш голос» принимали
участие 46 исследовательских фирм,
проведших почти 1,4 миллиона телефонных
и персональных интервью. Обследование
показало, что около 38% опрошенных
отказались от участия в опросе, причем,
количество людей, отказавшихся участвовать
в нем до проведения или в ходе
предварительного собеседования
составляло 86%. Остальные отказались от
участия непосредственно в ходе
обследования. Исследовательское окно
18.2 дает представление о динамике и
специ­фике отказов от участия в
обследовании.

ОТКАЗЫ
ОТ ИНТЕРВЬЮ

Систематическая
ошибка, возникающая вследствие того,
что часть респондентов отказывается
принимать участие в обследовании.

Доля
отказов
зависит, помимо прочего, от особенностей
респондентов, организаций, осуществляющих
финансовое обеспечение обследования,
обстоятельств контакта, темы обследования
и искусства интервьюера. На долю отказов
может повлиять даже культура данной
территории. Скажем, в некоторых
государствах, таких как Саудовская
Аравия, обследовать женщин практически
невозможно.

Имеет значение и
метод сбора информации. Опытные данные
свидетельствуют о том, что наиболее
эффективными являются персональные, а
наименее эффективными — почтовые методы
опроса. Телефонные интервью занимают
промежуточное положение.

Хотя существуют
особые техники, позволяющие вовлекать
в обследование отдельные группы
населения, в общем случае наименее
«отзывчивыми» оказываются женщины,
представители цветного населения и
лица с невысоким уровнем образования
и низким уровнем доходов.

На количество
отказов может повлиять и характер
организации, производящей обследование.
Многие люди определяют свое участие
или неучастие в опросе именно этим
обстоятельством»

Порой к отказу
приводят какие-то внешние обстоятельства.
Респондент может быть занят, может
испытывать усталость или чувствовать
себя не лучшим образом. На долю отказов
влияет и предмет исследования. Лица,
интересующиеся данным предметом, охотнее
принимают участие в опросе. В общем
случае действует следующий закон: более
щекотливые темы вызывают большее
количество отказов.

И наконец, сама
личность интервьюера может оказать
существенное влияние на количество
отказов. Его подход, манеры и даже
демографические характеристики могут
повлиять на решение потенциального
респондента.

Каким образом
возможно скорректировать такую ошибку?
Рекомендуется использование трех
стратегий:

1. Увеличение доли
первичных ответов.

2. Повторные попытки.

3. Экстраполяция
полученной информации.

Увеличение доли
первичных ответов.
Улучшение условий проведения интервью
и углубленное обучение интервьюеров —
очевидные пути увеличения доли ответивших;
однако особенности респондента могут
оказаться фактором, неподвластным
контролю исследователя. Целевая популяция
определяется поставленной задачей, и
популяция эта может содержать семьи с
различным образовательным уровнем и
уровнем доходов, культурой и профессиональной
принадлежностью и т. д. Тем не менее
поставленная нами цель вполне достижима.
Как будет показано далее, при рассмотрении
нами взаимодействия интервьюера—интервьюируемого
можно заранее задать «нужный» тип
интервьюера.

Надлежащему
сотрудничества может способствовать
и убеждение респондентов в ценности
проводимого обследования и важности
их участия в нем. Может сыграть свою
роль и предварительное уведомление.

Если идентификация
организации, финансирующей обследование,
может привести к уменьшению количества
ответивших, исследователям надлежит
либо скрыть эту информацию, либо
обратиться к профессиональной организации,
занимающейся проведением подобных
обследований. Именно по этой причине
некоторые компании, имеющие в своем
составе исследовательские департаменты,
пользуются услугами специализированных
исследовательских фирм.

Чем больше информации
о сути и цели обследования сообщают
интервьюеры потенциальным респондентам,
тем большей становится доля ответивших
как при персональном, так и при телефонном
обследовании. Гарантия конфиденциальности
также способствует увеличению доли
ответивших, так как многие участники
опроса не хотят, чтобы их ответы
ассоциировались с их именами. При
проведении почтовых обследований
позитивную роль может сыграть и
материальный стимул. Интересен тот
факт, что подобный же стимул не эффективен
при персональных опросах, если только
они не проводятся в торговых центрах.

Использование
одной и той же техники повышения уровня
сотрудничества может давать для различных
обследований существенно отличающиеся
друг от друга результаты. Просмотр
результатов различных обследований
проясняет картину, пусть роль побудительного
стимулирования и разнится от случая к
случаю. Это может быть отчасти обусловлено
как самим предметом обследования, так
и соответствующим ему временным периодом.
На рис. 18.3 показаны результаты одного
из самых массовых недавних исследований
техник стимулирования участия в
корреспондентских опросах. Средний
эффект от применения соответствующих
техник представлен взвешенным
коэффициентом корреляции для обследования,
где веса отражают объем различных
выборок, на которых основываются
отдельные корреляции. Чем выше корреляция
взвешенного среднего, тем более
эффективной является данная техника.
Приведенные на рис. 18.3 результаты
свидетельствуют о том, что самыми
успешными техниками повышения
эффективности почтовых опросов являются
использование поощрений, уведомление
о предстоящем опросе и повторные почтовые
отправления.

Повышение доли
ответивших путем повтора попытки
контакта. В
некоторых случаях причиной отказа
участвовать в обследовании могут стать
некие обстоятельства. Поскольку последние
могут оказаться изменчивыми или
временными, повторная попытка установления
контакта может привести к успешному
исходу и позитивно повлиять на общий
показатель доли ответивших. Если
респондент отказался от участия в
обследовании, сославшись на болезнь
или на усталость, вы вправе надеяться
на успешный исход повторной (аналогичной
или несколько видоизмененной) попытки.
При почтовом опросе эта попытка выразится
в отправке повторного почтового
отправления. Успех подобных мероприятий
во многом зависит от уровня компетентности
персонала.

Если же источником
ошибки, обусловленной неполучением
данных, является сам предмет исследования,
ситуация становится куда более сложной.
Обследование, не представляющее для
респондентов особого интереса или же
представляющееся им сомнительным,
скорее всего, будет сопровождаться
большим количеством отказов. Соответственно
исследователь должен использовать все
возможности для того, чтобы заинтересовать
респондента,— например, он может ввести
в опросный лист не относящиеся к делу
вопросы.

Если респондент
отказался от участия в персональном
или телефонном опросе не в силу неких
сложившихся в данный момент обстоятельств,
а по каким-то иным причинам, повторные
попытки окажутся не столь успешными.
Почтовый опрос в этом смысле является
исключением. Многие люди склонны отвечать
только на второй или даже третий запрос.
Разумеется, в таком случае необходимо
провести идентификацию лиц, не ответивших
на предыдущие запросы, или, что то же
самое, ответивших на них, нежелание же
подвергнуться таковой идентификации,
как уже отмечалось, заставляет многих
людей отвечать отказом. Таким образом,
идентификация респондентов, призванная
уменьшить одну составляющую ошибки
неполучения данных, может привести к
увеличению другой ее составляющей.
Альтернативный же подход, при котором
повторные почтовые отправления будут
разосланы всем участникам обследования,
будет раздражать иных респондентов и
может оказаться излишне дорогостоящим
для организации, проводящей обследование.

Коррекция
результатов, призванная учитывать
эффект неполучения данных.
Третья стратегия состоит в оценке
возможного эффекта, обусловленного
неполучением данных, и в соответствующей
коррекции результатов обследования.
Предположим, что при определении среднего
уровня доходов для некой популяции
регистратору удалось получить ответы
только части лиц, входящих в обследуемую
выборку
.
Долю неответивших обозначим.
Если
,
— средний
уровень доходов ответивших, а

— средний
уровень дохода не ответивших, общий
средний уровень будет равен

Разумеется, при
этом предполагается, что значение

известно или по крайней мере может быть
оценено. В ряде случаев для оценки этой
величины предпринимаются интенсивные
повторные попытки контакта с выборкой
нереспондентов. Указанные попытки могут
иметь форму видоизмененного повтора,
о котором говорилось ранее. Поскольку
же ситуация, при которой в ходе повторного
обследования будут получены ответы
всех респондентов, достаточно редка,
можно говорить только о приблизительной
оценке. Игнорирование первичного
неполучения информации эквивалентно
принятию того, что

равно
,
что обычно неверно.

Второй метод
корректировки результатов состоит в
отслеживании количества ответивших на
первичный запрос, на первый повтор,
второй повтор и т. д. По этим данным
определяется среднее значение
количественного признака (или другая
приемлемая статистика), после чего
производится сравнение подмножеств,
призванное ответить на вопрос, приводит
ли проблема неполучения ответа к
статистически значимым последствиям.
Если нет, среднее значение количественного
признака для нереспондентов принимается
равным аналогичному значению для
ответивших. Если же выявляется определенный
тренд, то возникает необходимость в
соответствующей экстраполяции
результатов. Данный метод особенно
ценен при проведении почтовых опросов,
при которых идентификация лиц, ответивших
на первый запрос, второй запрос и т. д.,
не вызывает особых трудностей.

Опыт, накопленный
в ходе предыдущих опросов, также может
служить основой для уменьшения эффекта
неполучения данных. Организации, часто
проводящие однотипные выборочные
обследования, сочтут этот подход наиболее
действенным. Ни один из названных методов
оптимизации не может быть назван
совершенным, однако лучше воспользоваться
любым из них, чем не использовать никакого
и уравнять характеристики нереспондентов
и респондентов. Именно это и происходит
в тех случаях, когда мы не пытаемся
ослабить эффект неполучения данных.

Частичное
неполучение данных.
До сих пор мы говорили о полном
неполучении данных. Частичное неполучение
данных,
которое также может приводить к
возникновению серьезных проблем, состоит
в том, что респондент, согласившийся
принять участие в опросе, не хочет или
не может ответить на некоторые вопросы
вследствие специфики их формы или
содержания или вследствие нежелания
обременять себя поиском нужной информации.
Как уже говорилось ранее, при разработке
опросных листов исследователи пытаются
сделать все возможное для того, чтобы
подобных проблем не возникало. Тем не
менее полностью исключить появление
таких вопросов невозможно.

Возможность
исправления ситуации во многом зависит
от размера частичного неполучения
данных. Здесь мы должны различать
катастрофическое или случайное, частичное
неполучение данных. Если слишком большое
количество вопросов остается без
ответов, последние теряют смысл, и мы
приходим к ситуации полного неполучения
данных от ряда респондентов. Если же
количество таких вопросов относительно
невелико, ответ остается осмысленным.
В любом случае при обработке результатов
варианты «не знаю» и «отсутствие ответа»
должны идти отдельными позициями. Этот
подход представляется оптимальным,
поскольку явлению частичного неполучения
данных в этом случае может быть дана
должная оценка. В некоторых случаях
недостающая информация по какому-то
пункту или пунктам может быть восполнена
путем анализа иных пунктов заполненного
опросного листа. Это относится прежде
всего к тем

случаям, когда
одной теме или предмету посвящено сразу
несколько вопросов. Полученные ответы
анализируются, и на этой основе заполняется
пропущенная позиция. Если подобная
согласованность отсутствует, возможно
прибегнуть к регрессивному
анализу,
посредством которого устанавливается
взаимосвязь нескольких показателей.
Отсутствующий пункт рассматривается
как целевой количественный показатель.
С помощью регрессивного анализа
устанавливается его априорная
функциональная зависимость от других
показателей (по результатам обследований,
в которых были получены ответы на все
вопросы). Установленная зависимость
позволяет неким образом оценить
недостающие ответы опросных листов.

Последний, третий
способ восполнения частичного неполучения
информации состоит в подстановке
среднего значения, определенного для
полученных ответов. Разумеется, при
этом мы исходим из предположения, что
лица, не ответившие на вопросы, ничем
не отличаются от лиц, ответивших на них.
Подобная подстановка среднего весьма
рискованна, — ею следует пользоваться
с большой осторожностью.

ДОЛЯ
ПОЛНЫХ ОТВЕТОВ

Мера
оценки и сравнения работы интервьюеров
по их умению получать от респондентов
всю требуемую информацию.

Доля ответивших
и доля полных ответов.
Подобно тому, как доля контактов может
использоваться для оценки и сравнения
работы регистраторов по количеству
отсутствующих респондентов, для сравнения
их работы по количеству отказов могут
использоваться два показателя: доля
ответивших R,
и доля полных
ответов С.
Как уже объяснялось ранее, доля ответивших
равна отношению количества ответивших
к общему количеству приемлемых
респондентов в выборке. Доля ответивших
может использоваться для оценки
определенных аспектов работы интервьюера.

Доля полных ответов
имеет существенно иное значение. Обычно
этот показатель используется для оценки
способности интервьюеров получать
ответы на ключевые вопросы обследования,
такие как уровень доходов респондента,
наличие у него долгов и тому подобное,
хотя его можно использовать и для оценки
всего обследования. Доля полных ответов
позволяет судить о полноте представленного
ответа.

ОШИБКИ НАБЛЮДЕНИЯ

Ошибки наблюдения,
определенные ранее, могут быть менее
очевидными, чем ошибки ненаблюдения,
вследствие чего наблюдатель может даже
не догадываться об их существовании.

ОШИБКИ
СБОРА

Систематическая
ошибка, возникающая при сборе данных.

Ошибки сбора.
Наиболее распространенной ошибкой
наблюдений является
ошибка сбора,
которая возникает уже после того, как
нужный индивид согласится принять
участие в обследовании. Вместо того
чтобы идти на полное сотрудничество,
он отказывается отвечать на одни и дает
неправильные ответы на другие вопросы
интервьюера. Такие ошибки принято
именовать соответственно ошибками
пропуска и
ошибками
свидетельства.
В предыдущей части мы рассматривали
ошибки пропуска и неполного получения
информации. Теперь мы хотим привлечь
ваше внимание к ошибкам свидетельства,
которые принято относить к ошибкам в
ответах.

При рассмотрении
ошибок в ответах следует понимать смысл
процедуры опроса. Во-первых, респонденту
надлежит понять суть вопроса. Во-вторых,
ему необходимо обдумать свой ответ.
Респондент пытается найти требуемую
информацию и восстанавливает в сознании
соответствующие факты, события и
ощущения. Он или она пытается неким
образом организовать свой ответ исходя
из этой информации. В-третьих, респондент
понимает, что его ответ должен быть
точным. В-четвертых, он должен
руководствоваться и иными соображениями:
стремлением произвести на интервьюера
должное впечатление и тому подобное. И
наконец, он должен вербализовать
результаты представленного ментального
процесса. Целью опроса является реализация
последней стадии. Нарушить же этот
процесс возможно на любом этапе,
следствием чего будет неточный ответ
или, что то же самое, ошибка в ответе.

Рис.
18.4.
Опрос — модель возникновения ошибок

Факторы, способные
вызвать ошибки в ответах, столь
многочисленны, что практически не
поддаются классификации. Тем не менее
при работе с ошибками сбора данных можно
воспользоваться схемой Кана— Кэннела
(рис. 18.4). Данная модель исходит из
нескольких предположений. Во-первых,
каждая личность имеет свойственные ей
характеристики и психологические
предпочтения, которые могут повлиять
на отношение к опросу. Некоторые
характеристики (такие, как возраст и
пол) очевидны, другие (такие, как
психологическое состояние) могут
оставаться неизвестными интервьюеру.
В любом случае интервьюер и респондент
вступают в определенную систему
взаимоотношении, обусловленных как
названными факторами, так и данными
непосредственного чувственного
восприятия. Во-вторых, интервью является
интерактивным процессом, детерминантами
которого являются как интервьюер, так
и респондент. Каждая из сторон отрабатывает
специфическое поведение другой стороны.
Заметьте, однако, что между поведенческими
блоками нет непосредственной связи.
Эта связь имеет более сложный характер.
«Поведение интервьюера и респондента
определяется восприятием поведения
противной стороны, когнитивной или
социально обусловленной реакцией и,
наконец, результирующим стимулом,
подлежащим той или иной модели поведения.
Только на этой стадии поведенческий
акт принимает свойственную ему
определенность, которая воспринимается
и отрабатывается вторым участником
взаимодействия».

Восприятие поведения
может быть неадекватным, точно так же
как неадекватным может быть само
восприятие сторон. И интервьюер, и
респондент должны сделать определенные
усилия, для того чтобы стало возможным
их полноценное общение в ситуации
опроса. На его результат влияет не только
специфика поведения участников интервью,
но и их характеристики, и психологические
особенности.

Модель взаимодействия
интервьюера-респондента имеет ряд
привлекательных особенностей. Во-первых,
она соответствует эмпирическим данным.
Во-вторых, она позволяет судить о том,
как можно было бы свести к минимуму
ошибки в ответах (а также ошибки
неполучения данных, вызванные отказами).
Данная модель приложима не только к
персональному, но и к телефонному и
почтовому методам опроса, что еще больше
повышает ее ценность. Приведем пример.
Специфическое восприятие данным
респондентом характеристик и модели
поведения телефонного интервьюера, вне
всяких сомнений повлияет на его,
респондента, ответы. Это касается как
личности самого интервьюера, так и
возможных подозрений респондента,
считающего истинные цели обследования
иными, сомневающегося в конфиденциальности
беседы и т. п. Факторы такого рода могут
свести все попытки интервьюера на нет,
причем ложность ответов будет уже
неслучайной.

Личные особенности
(характеристики).
Опытные данные свидетельствуют о том,
что личные особенности могут серьезно
повлиять на ответы. Если интервьюер и
респондент имеют много общего, их
взаимодействие становится куда более
легким и успешным. В первую очередь это
относится к таким очевидным характеристикам,
как национальность, возраст и пол, но
это же правило приложимо и к менее
очевидным особенностям: принадлежности
к определенному классу или группе
населения. Имеет смысл подбирать
интервьюера таким образом, чтобы он как
можно меньше отличался от респондента,
в этом случае вероятность позитивного
исхода интервью существенно возрастает.

К сожалению,
использовать этот принцип на практике
крайне сложно. В роли интервьюеров в
большинстве случаев выступают домохозяйки,
пытающиеся повысить доходы семьи.
Сказать, что в деятельности такого рода
принимают участи представители различных
групп и слоев населения, можно было бы
только с очень большой натяжкой. Каким
же образом исследователь может повлиять
на соответственные ошибки? Можно
определить степень изменчивости
интервьюеров, можно поменять график и
стиль их работы, но самым эффективным
способом, как уже было отмечено выше,
является подбор интервьюеров, принадлежащих
к различным социальным группам.

Психологические
факторы.
Опытные данные говорят о том, что
результаты работы интервьюеров имеют
явную обусловленность их взглядами,
позициями и стремлениями. Естественно,
подобную психологическую обусловленность
имеет любой человек. Возможно ли вообще
как-то контролировать эти факторы, и
если да, то как это сделать? Прежде всего
следует обратить особое внимание на
обучение персонала. Сами психологические
склонности интервьюеров некритичны,
поскольку этот психологический фактор
остается скрытым от респондента. Главное,
чтобы они не влияли на ход интервью и
соответственно не искажали бы ответов.

Именно по этой
причине большинство обследова­ний
проводится по жесткой фиксированной
схеме, которой должны неукоснительно
придерживаться все интервьюеры.
Необходимо наличие ясной письменной
инструкции. Она должна четко определять
цель обследования и содержать описание
используемых материалов: опросных
листов, карт, нормативов и т. п. Должно
даваться развернутое описание процедуры
опроса, типы приемлемых формулировок,
способы и нормы проверок (если таковые
производятся). В инструкциях должны
задаваться количество и тип респондентов,
с которыми интервьюеру следует вступить
в контакт, а также временные рамки
обследования. Инструкции должны быть
упорядоченными и однозначными.

Важно, чтобы
содержание и язык инструкций были
доступны каждому интервьюеру. Эта цель
может быть достигнута в ходе занятий с
ними. В некоторых случаях имеет смысл
экзаменовать потенциальных интервьюеров
на предмет понимания ими цели обследования
:

и владения методами,
позволяющими получать объективные, не
обусловленные позицией самого интервьюера
ответы.

Поведенческие
факторы.
Биографические данные, мнения, позиции,
намерения респондента также могут
являться источником ошибок. Их наличие
или отсутствие зависит от характера
взаимодействия интервьюер—респондент.
Иными словами, ошибки такого рода
возникают непосредственно в ходе этого
взаимодействия.

К сожалению, опытные
данные говорят о том, что даже при
относительной простоте опросных листов
и жесткости правил проведения опроса
интервьюеры зачастую не соблюдают
требований инструкции, что влечет за
собой ошибки. В одном классическом
обследовании 15 интервьюеров, окончивших
колледж, производили опрос одного и
того же респондента, которому была дана
инструкция дать одинаковые ответы всем
пятнадцати интервьюерам. Все интервью
были записаны и впоследствии
проанализированы. Самой большой
неожиданностью стало количество
допущенных ошибок. Было сделано 66
неудачных попыток прояснить суть явно
неадекватных ответов дополнительными
вопросами; общее же количество ошибок
в расчете на одного респондента колебалось
между 12 и 36. При другом обследовании
было установлено, что «треть интервьюеров…
часто допускает ошибки и пренебрегает
требованиями действующей инструкции,
не умея ясно выразить суть основных
понятий, искажая их, сокращая вопросы
или не понимая ответов».

Три модели поведения
интервьюеров приводят к появлению
ошибок: (1) ошибки при формулировке
вопросов и неумение задавать уточняющие
вопросы, (2) ошибки при записи ответов,
(3) подтасовка данных.

Ошибки при
формулировке вопросов могут сопутствовать
вопросам любого типа, наиболее же острой
эта проблема становится при работе с
вопросами, допускающими различные
толкования, предполагающими продолжение
опроса. Разные интервьюеры будут задавать
разные уточняющие вопросы. Могут
отличаться как смысл, так и продолжительность
дополнительного опроса. Соответственно
различие ответов может вызываться как
«истинным» отличием позиций респондентов,
так и различием подходов при проведении
дополнительного опроса.

Немаловажное
значение имеет и то, как будет сформулирован
исходный вопрос. Интервьюеры склонны
перефразировать его, дабы сделать суть
вопроса более понятной для респондента.
При этом они могут «вчитывать» в него
собственное понимание или собственную
позицию, тем самым предрасполагая
респондента к тому или к иному ответу.

Как ни странно,
альтернативные вопросы сопряжены с
высокой вероятностью появления ошибки.
Эта ошибка может возникать, например,
вследствие того, что при постановке
вопроса интервьюер может сделать особый
акцент на одной из альтернатив. Небольшого
изменения тона достаточно для того,
чтобы изменить смысл всего вопроса. В
одном из недавних исследований,
посвященных проблеме ошибок интервьюеров
при формулировке вопросов, было
установлено, что в зависимости от типа
среднее количество ошибок, приходящихся
на один вопрос, составляет

• ошибки чтения
0,293;

• варианты
вербализации 0,116;

• уточняющие
вопросы 0,140;

• обратная связь
0,161.

Одна из главных
задач интервьюера — удержание внимания
и интереса респондента. Одновременно
интервьюер должен фиксировать
неоднозначные ответы респондента или
перепроверять их соответствие друг
другу. Одновременное решение двух этих
задач в ряде случаев может приводить к
ошибкам. Занятый своим делом интервьюер
может «не услышать» респондента. Причиной
этого может стать как неразборчивость
сказанного, так и сосредоточенность
интервьюера на чем-то ином. Последний
может услышать именно то, что он хотел
услышать, и воспринять именно то, что
он хотел воспринять. К ошибкам такого
рода склонен любой человек, их может
совершить каждый. Если же мы будем
слишком требовательными, работа может
показаться интервьюерам непосильной,
вследствие чего они откажутся от ее
исполнения.

Подтасовка данных
также может стать источником ошибки.
Эта подтасовка может относиться как ко
всему опросному листу, так и к отдельным
его пунктам. Фонд рекламных исследований
(АКР) порой проводит проверочные повторные
обследования выборок, уже подвергавшихся
обследованию. Сотрудники фонда хотят
убедиться в том, что опрос действительно
имел место, и что были заданы все нужные
вопросы. При проведении одного из таких
обследований оказалось, что 5,4% опросных
листов 33 различных обследований не
находят подтверждения, а 7,9% имеют не
менее двух серьезных противоречий. Даже
Бюро переписей, которое можно было бы
назвать самым скрупулезным и аккуратным
сборщиком информации в мире, постоянно
сталкивается со сфабрикованными
опросными листами. Исследовательское
окно 18.3 может служить иллюстрацией к
сказанному.

Большинство
коммерческих исследовательских фирм
проверяет достоверность 10-20 % опросных
листов путем проведения контрольного
почтового или телефонного опроса. При
этом проверяется следующее:

1. Метод опроса —
проверяется соответствие использованного
метода заданному (например, действительно
ли проводился персональный, а не
телефонный опрос).

2. Поставленные
вопросы — проверка того, не были ли
выпущены из рассмотрения важные вопросы
(демографического или классификационного
характера).

3. Демонстрация
продукции — проверка того, действительно
ли была произведена потребная для
проведения опроса демонстрация продукта
или информационного листа.

4. Знакомство
респондента с интервьюером — проверка
того, не занимался ли интервьюер опросом
своих знакомых или друзей.

5. Реакция на
проведение опроса — проверка «качества»
работы интервьюера.

Другой разновидностью
обмана, не являющейся ошибкой в ответах,
но серьезно влияющей на все систематические
ошибки, могут быть раздутые счета.
Интервьюер может указать завышенное
расстояние или завышенную продолжительность
обследования. Проблема эта имеет весьма
широкое распространение вследствие
специфики работы интервьюера. Прямой
контроль над интервьюером отсутствует,
оплачивается же его труд весьма скромно.
Оплата труда инспектора обычно зависит
от зарплаты интервьюера, чем выше
последняя, тем больше первая. Раздутые
счета отвлекают средства от других
статей обследования и снижают его
эффективность, поскольку стоимость
информации возрастает.

Как уже говорилось
ранее, ошибки в ответах сложнее поддаются
коррекции, чем ошибки неполучения
информации. Их знак и их величина
неизвестны, поскольку их невозможно
определить, не зная истинного значения.
Исследователю надлежит стремиться к
их недопущению, ибо они не поддаются
устранению. Источники ошибок могут быть
различными, соответственно различными
могут быть и меры их предотвращения.
Скажем, обучение позволяет сократить
количество ошибок при формулировании
вопросов и записи ответов. Подобным же
образом с подтасовкой данных можно
бороться надлежащим отбором персонала
и определением уровня оплаты интервьюеров
и системы контроля. Квалификация
интервьюера может оцениваться по
качеству его работы, ее стоимости, типам
ошибок, способности следовать инструкциям
и т. п. Мы не будем останавливаться на
этом вопросе, поскольку это потребовало
бы написания отдельной книги. Нам
достаточно помнить о существовании
ошибок в ответах, о причинах, их
порождающих, и об их деструктивном
характере. Модель взаимодействия
интервьюер—респондент способствует
наглядному представлению этих причин
и нахождению методов их предотвращения.

Офисные ошибки.
Систематические ошибки могут возникать
не только при сборе информации. Они
могут появляться при редактировании,
кодировании, составлении таблиц и
анализе данных. В большинстве случаев
эти ошибки могут быть устранены частично
или полностью введением надлежащего
контроля над процессом обработки данных.
Эти вопросы обсуждаются в главах,
посвященных анализу полученных
результатов.

Систематическая ошибка (bias) исследования — это фактор, который приводит к неверной оценке ассоциации между изучаемым воздействием и эффектом. Даже самое строгое планирование условий исследования не избавляет от влияния ошибок, связанных с принципом отбора пациентов, сбора, передачи и интерпретации информации. Вот почему в ходе оценки полученных результатов необходимо критически анализировать возможность того, что выявленные ассоциации связаны с влиянием систематической ошибки, и дать оценку вероятности такого объяснения. В отличие от вероятности случайности ассоциации, которая может получить количественную оценку, эффект влияния систематической ошибки трудно поддается оценке, а нередко может просто оказаться неучтенным. В этой связи ключевым моментом в планировании любого исследования является создание таких условий, в которых любое возможное влияние систематической ошибки было бы заранее принято во внимание и сведено к минимуму. Однако даже при соблюдении этих условий на этапе планирования, на заключительном этапе необходимо оценить: не могла ли систематическая ошибка все-таки закрасться в исследование, каков вероятный источник этой ошибки, в каком направлении она могла повлиять на полученные результаты?

Имеются многочисленные классификации систематических ошибок, однако принципиально можно выделить два вида, в рамках которых есть отдельные варианты.

Первый вид можно обозначить как ошибку отбора (selection bias), источник которой — принцип отбора субъектов для участия в исследовании.

Второй вид обозначается как обсервационная, или информационная, ошибка (observation or information bias), и данный вид систематической ошибки связан с оценкой информации, касающейся патогенного воздействия и его эффекта (Shadish W. R. [et al.], 2001; Rossi P. H. [et al.], 2004; Rothman K. J. [et al.], 2008; Straus S. E., 2011).

Ошибка отбора. Отбор индивидуумов для участия в большинстве аналитических исследований проводится с учетом имевшего место патогенного воздействия (в когортных исследованиях) либо имеющегося эффекта этого воздействия, например развившегося заболевания (в исследованиях типа «случай — контроль»). Принципиально важно, чтобы на этапе отбора пациентов изучаемое воздействие и изучаемый эффект этого воздействия не учитывались одновременно и не могли одновременно влиять на принятие решения об отборе пациентов для участия в исследовании. Несоблюдение этого условия является источником ошибки отбора. Ошибка отбора возможна, если в исследовании «случай — контроль» отбор испытуемых каким-то образом связан с имевшим место патогенным воздействием, а в ко-гортных исследованиях — с установленным фактом развития заболевания. Ошибка отбора представляет наибольшую опасность для исследований «случай — контроль» и ретроспективных когортных исследований, так как к началу тех и других уже имеется информация о патогенном воздействии и развитии заболевания. Напротив, ошибка отбора маловероятна при осуществлении проспективных когортных исследований, когда на начальной стадии имеется лишь информация о воздействии, но отсутствуют сведения о его эффекте (Кельмансон И. А., 2002).

Ошибку отбора могут спровоцировать многочисленные обстоятельства, влияющие на подход к отбору пациентов для участия в исследовании:

• различия в медицинском наблюдении за отдельными лицами;
• частота обращений пациентов за медицинской и психологической помощью;
• качество диагностики и т. п.

Кроме того, в исследованиях типа «случай — контроль» причиной ошибки отбора могут быть различия в высказывании согласия участвовать в исследовании лиц, относящихся к двум сопоставляемым группам. Например, семьи, характеризуемые низким социальным статусом, по ряду причин могут с большей вероятностью отказаться от участия в исследовании в качестве контрольных наблюдений, если целью такого исследования является изучение ассоциации между социальным неблагополучием и риском какого-либо заболевания.

Обсервационная (информационная) ошибка возникает в связи с систематическими различиями в способах получения информации об имевшемся предполагаемом патогенном воздействии или развитии заболевания в сопоставляемых группах. Если собранные данные являются неполными или неточными и в сопоставляемых группах эта неточность варьирует, не исключена возможность выявления ложной ассоциации. В зависимости от источника происхождения различают несколько вариантов обсервационных ошибок:

Ошибка воспроизведения (recall bias) возникает:

• когда лица, страдающие анализируемым заболеванием, способны воспроизвести информацию о предполагаемом патогенном воздействии в предшествующий период иначе, нежели лица, не страдающие этим заболеванием. Такая ситуация особо вероятна в исследованиях «случай — контроль»;
• когда лица, подвергшиеся изучаемому воздействию, способны предоставить информацию о потенциальных последствиях этого воздействия иным образом, чем те обследуемые, которые не испытали на себе патогенного воздействия (в проспективных когортных исследованиях).

Естественно, сказанное относится не только к самим обследуемым, но и к их окружению: родителям, другим родственникам, медицинскому персоналу. Ошибка воспроизведения может приводить как к недооценке, так и к переоценке выраженности предполагаемой ассоциации в зависимости от того, как наличие патологического состояния у обследуемых лиц влияет на получаемую информацию.

Ошибка интервьюера (interviewer bias) возникает в связи с систематическими различиями в методике сбора, регистрации и интерпретации интервьюерами информации, полученной у отдельных участников исследования независимо от дизайна исследований:

• В исследованиях «случай — контроль» возникает особая опасность: осведомленность интервьюера о наличии или отсутствии заболевания у обследуемых может способствовать большей склонности к поиску и обнаружению предшествующих патогенных воздействий у лиц, страдающих заболеванием.
• В ретроспективных когортных исследованиях существует та же опасность осведомленности интервьюера и опасность информационной ошибки в форме ошибки интервьюера.
• В интервенционных исследованиях может наблюдаться ошибка интервьюера, если не используется плацебо-контроль и слепой метод .

Источником систематической информационной ошибки в когортных исследованиях может послужить фактор потери обследуемых (loss to follow-up) в ходе динамического наблюдения , особенно если процент таких потерь существенно различается в зависимости от отношения обследуемых к изучаемому воздействию и его эффекту.

Еще одним вариантом информационной ошибки является неверная классификация (misclassification), при которой неверно оценивается факт имевшегося патологического воздействия или его эффекта. Ошибки классификации неизбежно возникают в ходе любого исследования, однако их опасность становится наиболее значимой, если наличие изучаемого патологического состояния у пациента в определенном направлении влияет на качество распознавания предшествовавшего патогенного воздействия, или, напротив, факт патогенного воздействия в определенном направлении влияет на распознавание патологического состояния, связанного с этим воздействием , Такая ситуация именуется дифференцированной ошибкой, которая может существенно искажать результаты исследования.

Важнейшим принципом, которым следует руководствоваться для предотвращения систематической ошибки, является тщательное планирование исследования. В некоторых случаях можно усмотреть ошибку в ходе исследования и принять меры к ее минимизации или устранению, однако при наличии ошибки отбора ее устранение может представляться маловероятным. Вот почему стадия планирования исследования является в этом отношении критичной.

Можно отметить несколько ключевых позиций, учет которых позволяет избежать систематических ошибок. В их числе принцип формирования обследуемой выборки, требования к источникам информации, методики сбора и анализа данных. Имеются многочисленные факторы, которые предопределяют, в какой мере подходы к формированию выборки повлияют на снижения вероятности систематической ошибки , Например, использование госпитальных контрольных наблюдений в исследованиях «случай — контроль» позволяет улучшить сопоставимость обследуемых с точки зрения их желания принять участие в исследовании, нивелировать влияние факторов, предопределивших выбор медицинского учреждения, куда были госпитализированы пациенты и где они были обследованы. Указанные обстоятельства позволят снизить вероятность ошибки, связанной с отказом пациентов от участия в исследовании, избежать ошибки отбора и воспроизведения , Для когортных исследований и клинических испытаний, когда принципиальна возможность следить за судьбами обследуемых в течение заданного промежутка времени, основой отбора нередко является наличие точных сведений о месте жительства и занятости испытуемых. Кроме того, включение в исследование тех лиц, которые имеют повышенный риск развития изучаемого заболевания, позволяет ожидать большей заинтересованности в сотрудничестве с исследователем и более регулярных контактах.

Во многих аналитических исследованиях методика сбора информации может оказать принципиальное влияние на полученные результаты. С практической точки зрения минимизировать влияние систематической информационной ошибки удается, если обеспечены:

• создание специального инструментария сбора информации в форме тестов, опросников, стандартных бланков и т. п.;
• разработка такого протокола исследования, который позволит оптимально использовать выбранный инструментарий. Независимо от того, какова методика исследования, она должна последовательно реализовываться в процессе сбора информации в каждой из сопоставляемых групп (Кельмансон И. А., 2002).

Инструментарий. Наиболее существенным резервом снижения влияния систематической ошибки является использование максимально стандартизованных и объективных методик. Если предметом исследования являются показатели артериального давления, информацию обеспечивают данные анкетирования пациентов и данные нескольких измерений, проведенных квалифицированным медицинским персоналом с соблюдением техники измерения; очевидно, второй способ является более объективным и, следовательно, более предпочтительным. Если же источником информации является опрос обследуемых, следует стремиться к максимальной точности формулировок вопросов и однозначности их интерпретации анкетируемыми.

Протокол. Важнейшим подходом к минимизации потенциальной ошибки является стремление к сбору информации «вслепую». Персонал, который осуществляет сбор данных или обследование пациентов, не должен быть осведомлен о том, испытал ли пациент изучаемое воздействие, если проводится проспективное когортное или интервенционное исследование. Персонал не должен быть осведомлен о том, имеется ли у пациента изучаемое заболевание, предполагаемый эффект воздействия, если изучается возможное влияние предшествовавшего патогенного воздействия в ходе исследования «случай — контроль» . Более того, весьма желательно, чтобы сами обследуемые лица, по возможности, были минимально осведомлены о том, каков их собственный статус в исследовании, а также о том, какова суть гипотезы исследования. Очевидно, пределы неосведомленности во многом определяются этическими соображениями. Хотя эффективность исследования «вслепую» является доказанной с точки зрения снижения риска систематической информационной ошибки, полное соблюдение этого принципа не всегда представляется возможным.

Регламентация. Не менее важным подходом, позволяющим снизить потенциальный риск информационной ошибки, является обучение персонала стандартной и строгой методике сбора данных, использование четко регламентированного протокола исследования. Иногда берутся на вооружение специальные приемы, позволяющие заподозрить нарушения протокола, несоблюдение идентичности подхода к сбору информации в двух сопоставляемых группах. Так, возможно сопоставление частоты, с которой лица, относящиеся к двум группам, указывают на наличие у них фиктивных переменных (dummy variables), никак не связанных ни с предполагаемым патогенным воздействием, ни с изучаемым заболеванием или, напротив, имеющих с ними доказанную, четко определенную связь.

Пример
При исследовании возможной ассоциации между приемом матерью транквилизаторов во время беременности и риском нарушений сна у ребенка первого года жизни можно попросить обследуемых женщин дать ответ на вопрос: принимали ли они во время беременности, кроме транквилизаторов, иные лекарственные препараты, в частности такие лекарства, для которых доказано отсутствие связи с последующим риском нарушений сна у ребенка. Например, можно попросить ответить на вопрос о приеме ими слабительных препаратов. Если сопоставление частоты употребления лекарственных препаратов во время беременности женщинами, дети которых имели нарушения сна, и женщин, дети которых не имели нарушений сна, выявит более частое использование транквилизаторов у женщин из первой группы, но не выявит различий в использовании слабительных, можно думать о том, что ассоциация действительно является значимой. Напротив, наличие достоверных различий между двумя сопоставляемыми группами в частоте использования и транквилизаторов и слабительных позволит заподозрить, что они связаны с влиянием ошибки воспроизведения или ошибки интервьюера. С другой стороны, в опросник можно было бы включить сведения о курении матери во время беременности — доказанном факторе риска нарушений сна у ребенка первого года жизни (Kelmanson I. A., 2009). Если в ходе исследования одновременно с выявлением ассоциации между использованием матерью транквилизаторов во время беременности и риском нарушений сна у ребенка будет также воспроизведена и доказанная ассоциация между курением матери во время беременности и риском нарушений сна у ребенка, это может послужить дополнительным аргументом в пользу валидности исследования.

Дублирующие вопросы. В опросник включают несколько вопросов, сформулированных по-разному, но принципиально направленных на поиск одной и той же ассоциации. Различия в выявленных ассоциациях, оцениваемых на основе ответов на дублирующие друг друга вопросы, могут навести на мысль о существовании систематической ошибки. Учет времени, потраченного интервьюером на беседу с пациентом, позволяет определить, не тратит ли интервьюер систематически больше или меньше времени на получение информации у представителей той или иной группы, что также может явиться источником систематической ошибки.

Наконец, может быть полезным включение в опросник шкалы, позволяющей интервьюеру дать собственную субъективную оценку того, насколько конкретный пациент адекватно воспринимает задаваемые ему вопросы и дает на них ответы. В дальнейшем субъекты с неудовлетворительными оценками качества своих ответов могут быть исключены из исследования или проанализированы отдельно.

Источник информации оказывает существенное влияние и на вероятность систематической ошибки. Сведения об имевшемся патогенном воздействии и о наличии заболевания могут быть получены в результате непосредственного опроса обследуемых лиц, анализа медицинской документации, статистики рождаемости и смертности, а также в результате непосредственного измерения интересующих показателей. Наиболее надежным источником информации следует признать медицинскую документацию, оформленную до начала исследования, как наименее подверженную влиянию субъективных оценок, связанных с целями и задачами исследования, и максимально свободную от влияния информационной ошибки. В то же время такие архивные документы могут не содержать сведений о ряде признаков, непосредственно интересующих исследователя. Более того, степень информационных пробелов может существенно различаться в отдельных сопоставляемых группах наблюдений.

Пример
Анализ архивных документов, относящихся к детям из отдельных категорий риска (недоношенные, маловесные, имеющие врожденные пороки развития и т. п.), убеждает в более пристрастном отношении медицинских работников к активному выявлению отягощающих моментов акушерско-гинекологического анамнеза, чем в случае рождения ребенка без явных клинических признаков патологии (Кельмансон И. А., 2002). Данный пример иллюстрирует необходимость по мере возможности использовать и сопоставлять различные источники информации.

Исследования, основанные на анализе медицинской документации, могут предполагать использование стационарных историй болезни, патологоанатомических протоколов, а также амбулаторных данных. Сведения, полученные с помощью опросников и анкетирования обследуемых субъектов, могут дополняться и верифицироваться данными анализа медицинской документации. Следует понимать, что потребность в верификации данных о наличии патогенного воздействия или заболевания во многом зависит от самой природы изучаемого заболевания. Все анализируемые воздействия и вероятные исходы этих воздействий должны иметь четкие критерии для их констатации. В случаях распознавания отдельных заболеваний (патологических состояний) нередко говорят о существовании принятого «золотого стандарта», и качество исследования во многом определяется тем, использовался ли этот стандарт для верификации диагноза. Нередко в качестве «золотого стандарта» выступают критерии, разработанные экспертами ВОЗ или иными авторитетными экспертами на основе консенсуса.

Несмотря на усилия избежать систематической ошибки на стадии планирования исследования, всегда существует вероятность ее наличия. Вот почему на стадии анализа и обсуждения полученных результатов требуется дать критическую оценку:

• Какая ошибка и в какой мере могла повлиять на полученные результаты?
• В каком направлении — маскирования истинной ассоциации или ее гиперболизации — систематическая ошибка могла повлиять на полученные результаты?
• Какова возможная степень этого искажения?

Такие оценки не имеют количественного выражения и не могут быть проверены с использованием какого-то статистического критерия: они основаны лишь на здравом смысле и понимании конкретной клинической ситуации, сопряженной с исследованием.

Следует также иметь в виду, что отдельные варианты исследований в разной мере подвержены влиянию систематических ошибок конкретных видов:

—    Исследования «случай — контроль». В максимальной степени возможна ошибка, связанная со следующими обстоятельствами:

• сведения о статусе обследуемого в отношении наличия или отсутствия у него заболевания могут влиять на принятие решения в отношении имевшегося патогенного воздействия (ошибка воспроизведения);
• сведения об имевшемся или отсутствовавшем патогенном воздействии могут повлиять на выявление распознаваемого заболевания (ошибка отбора) (Кельмансон И. А., 2002).

—    Когортные исследования, Особую тревогу вызывает ошибка, связанная с потерями обследуемых в ходе динамического наблюдения .

—    Интервенционные исследования. Вероятность обсервационной ошибки зависит во многом от характера сопоставляемых групп, использования плацебо и степени объективности оценки результатов.

В любом исследовании возможна ошибка классификации. При этом принципиально важно следующее:

• дифференцированная ошибка может приводить как к занижению, так и к завышению реальной ассоциации;
• недифференцированная ошибка приводит лишь к занижению ассоциации .

VI–2 РУКОВОДСТВО ПО ГЛОБАЛЬНОЙ СИСТЕМЕ НАБЛЮДЕНИЙ 6.1.1 Уровни применения процедур контроля качества Данные наблюдений следует подвергать контролю качества на различных уровнях предварительной и последующей обработки и передачи данных как в оперативном, так и в неоперативном режимах с использованием различных процедур. Уровни процедуры контроля качества следующие: a) площадка наблюдений, начиная с получения данных автоматическими или обслуживаемыми метеорологическими станциями; b) центры сбора данных, перед передачей данных наблюдений по Глобальной системе телесвязи; c) центры ГСТ (стандартные процедуры телесвязи, например контроль своевременности и формата данных); d) центры ГСОДП и другие имеющиеся средства. В рамках Глобальной системы наблюдений контроль качества ограничивается пунктами (а) и (b) выше; поэтому предоставляемые в Руководстве инструкции и руководящие указания касаются только площадок наблюдений и центров сбора данных. Хотя Глобальная система наблюдений касается только данных уровня I и их приведения и преобразования в данные уровня II, контроль качества следует проводить на всех этапах до передачи данных по Глобальной системе телесвязи. К обсуждаемым вопросам контроля качества относятся надежность и точность данных метеорологических наблюдений, причины ошибок наблюдений и методы предотвращения таких ошибок. В случае контроля качества данных наблюдений в масштабе реального времени существуют два уровня проверки: a) Контроль качества необработанных данных (данные уровня I) — основной контроль качества, осуществляемый на наблюдательной площадке. Этот уровень контроля качества является соответствующим во время сбора данных уровня I и призван устранить ошибки технических устройств, включая датчики; ошибки измерений (систематические или случайные); а также ошибки, присущие процедурам и методам измерений. Контроль качества на этом этапе включает следующие задачи: проверку грубых ошибок, основные временные проверки и основные проверки внутренней согласованности. Применение этих процедур имеет исключительно важное значение, поскольку некоторые ошибки, появившиеся в процессе измерения, невозможно устранить на более поздней стадии. b) Контроль качества обработанных данных — это расширенный контроль качества, частично выполняемый на наблюдательной площадке, но главным образом в национальном метеорологическом центре. Этот уровень контроля качества является соответствующим во время приведения и преобразования данных уровня I в данные уровня II и самих данных уровня II. Он связан с всесторонней проверкой временной и внутренней согласованности, оценкой погрешностей и долгосрочных дрейфов датчиков и модулей, неисправности датчиков и т. п. Схема уровней контроля качества может быть следующей: a) Основные процедуры контроля качества, которые должны осуществляться на станции: i) Автоматический контроль качества необработанных данных a. проверка вероятного значения величины: проверка грубых ошибок в измеренных величинах; b. проверка вероятной скорости изменения: проверка временной согласованности в измеренных величинах; ii) Автоматический контроль качества обработанных данных a. проверка вероятного значения; b. проверка временной согласованности: i. проверка максимально допустимой изменчивости мгновенного значения (ступенчатая проверка); ii. проверка минимальной необходимой изменчивости мгновенных значений (проверка инерционности); iii. расчет стандартного отклонения; c. проверка внутренней согласованности; d. технический мониторинг всех жизненно важных частей станции. b) Процедуры расширенного контроля качества, предназначенные для осуществления в национальном метеорологическом центре: i) проверка вероятного значения величины; ii) проверка временной согласованности: a. проверка максимально допустимой изменчивости мгновенного значения (ступенчатая проверка); b. проверка минимальной необходимой изменчивости мгновенных значений (проверка инерционности); c. расчет стандартного отклонения; iii) проверка внутренней согласованности. Процедуры контроля качества данных уровня II и данных уровня III следует выполнять в национальном метеорологическом центре для проверки и установления достоверности целостности данных, т. е. полноты,

ЧАСТЬ VI VI–3 правильности и согласованности данных. Проверки, которые были проведены на станции наблюдений, должны быть повторены в метеорологическом центре, но в более тщательной и сложной форме. Это должно включать всесторонние проверки путем сравнения с физическими и климатологическими пределами, проверки временной согласованности для более длительного периода измерений, проверки логических связей между рядом переменных (внутренняя согласованность данных) и статистические методы анализа данных. Процедуры и методы контроля качества, проверки перед обработкой, проверки приземных данных, а также аэрологических данных, маркировка, разработка компьютерных программ и комбинированный контроль качества для уровней данных II и III подробно описаны в Руководстве по Глобальной системе обработки данных (ВМО-№ 305). Контроль качества может осуществляться ручными, а также автоматическими методами; в принципе все необходимые процедуры контроля качества могут осуществляться вручную, однако необходимое для этого время обычно является недопустимо долгим. Контроль качества не должен быть причиной каких-либо ощутимых задержек, поскольку для оперативного использования данные должны передаваться в масштабе реального времени. Контроль качества в масштабе реального времени в пункте наблюдений имеет, однако, огромное значение, поскольку многие из ошибок, внесенных в процессе наблюдений, невозможно устранить на более поздней стадии. При осуществлении контроля качества в масштабе реального времени в рамках Глобальной системы наблюдений охватываются данные со сроком до одного месяца для наземных или морских станций. Особенно это относится к ежемесячным сообщениям CLIMAT и CLIMAT TEMP и сводкам BATHY/TESAC. 6.1.2 Ошибки наблюдений Весь диапазон ошибок наблюдений можно разделить на три основные группы: a) ошибки технических устройств, включая приборы; b) ошибки, присущие процедурам и методам наблюдений; c) субъективные случайные или систематические ошибки со стороны наблюдателей и операторов по сбору данных. В случае данных измерений могут произойти несколько типов ошибок: a) Случайные ошибки распределяются более или менее симметрично вокруг нуля и не зависят от измеряемой величины. Иногда они приводят к переоценке, а иногда недооценке фактического значения. В среднем ошибки взаимно исключают друг друга. b) Систематические ошибки, с другой стороны, распределяются ассиметрично вокруг нуля. В среднем эти ошибки характеризуются тенденцией внесения погрешностей в измеряемую величину либо в сторону увеличения, либо уменьшения фактического значения. Одной из причин систематических ошибок является долгосрочный дрейф датчиков или датчик с неправильной калибровкой. c) Крупные (грубые) ошибки вызываются неисправностью измерительных устройств или ошибками, совершенными во время обработки данных; эти ошибки легко обнаруживаются при помощи проверок. d) Микрометеорологические ошибки (репрезентативности) являются результатом мелкомасштабных возмущений или метеорологических систем (например, турбулентность), влияющих на наблюдения за погодой. Эти системы не могут быть всецело охвачены системой наблюдений из-за ее временного или пространственного разрешения. Тем не менее в тех случаях, когда подобное явление происходит во время регулярного наблюдения, результаты могут выглядеть странными по сравнению с наблюдениями, которые проводятся в близлежащих точках в то же время. e) Ошибки измерений при проведении наблюдений невозможно устранить полностью; проблема заключается в их приведении к приемлемому уровню. Ошибку измерений можно рассматривать в качестве суммы вышеперечисленных типов ошибок. Дополнительная информация содержится в Руководстве по метеорологическим приборам и методам наблюдений (ВМО-№ 8), часть I, глава 1, разделы 1.6.1.2 и 1.6.2. 6.2 ПРОЦЕДУРНЫЕ АСПЕКТЫ КОНТРОЛЯ КАЧЕСТВА 6.2.1 Ответственность и стандарты Основная ответственность за проведение контроля качества данных наблюдений и определение их качества лежит на национальной метеорологической службе, из которой поступают данные. Поставщик данных должен обеспечить следующее: a) процедуры контроля качества выполнены и осуществлялись во время сбора данных; b) данные и качество данных должным образом и точно задокументированы; c) проверки достоверности регулярно проводятся по всем данным наблюдений; d) проведенные проверки достоверности полностью задокументированы;

Кейс 1. продолжение

Практически все перечисленные параметры являются настолько общими, что их даже сложно связать с ведением конкретного вида бизнеса. Зачем озвучивать то, что понятно по определению? В России можно открывать бизнес. Это факт, который можно было включить в подобный анализ в начале 90-х, когда процесс развития предпринимательства только начинался и такое заявление было хотя бы немного актуальным.

Второй пункт не менее обобщенный. Косвенно потенциальная смена руководства страны может повлиять на малый и средний бизнес. Но наш аналитик предрекает стабильность, а значит, отсутствие революционных перемен в работе любых видов бизнеса.

Пожалуй, только третья позиция списка имеет реальное значение для бизнеса локального значения. Но и этот пункт напоминает секрет полишинеля. Скорее, такое заявление нужно делать для иностранца, который совершенно далек от российских провинциальных реалий и для него информация о коррупции во властных структурах станет открытием.

Тогда бизнесмен не принял работу сотрудника и через некоторое время обратился к нам. Мы провели комплексное исследование рынка элементом которого стал PESTEL-анализ (мы выбрали расширенный вариант, чтобы подробно разобрать законодательные акты об индивидуальном предпринимательстве в регионе), а логичным итогом — SWOT. Наш партнер получил ответы на свои вопросы.

Аналогичные ошибки допускаются и в SWOT. Излюбленная фишка маркетологов вставлять в описание угроз фразу примерно следующего содержания: высокая конкуренция на рынке. Это довольно пустая формулировка, если она не подкреплена фактами или цифрами. Низкоконкурентным назвать в наше время какой-то рынок довольно сложно. Угроза ли это, внезапно появившийся фактор? Вопрос довольно спорный. В большей степени это естественное состояние любого рынка. Актуальным такой параметр будет, если на ранее свободной территории вдруг обострилась конкуренция.

Предложите, как улучшить StudyLib

(Для жалоб на нарушения авторских прав, используйте

другую форму
)

Таблица 2

№ пробы	<-> величина ошибки	>-< величина ошибки	I-I величина ошибки
1
	-54
	-38
		-21
	-33
			-11
	-104
	-16
	-33
			-56
	-16
	-17
	-25
	-13
			-26
			-32
среднее	|34,9|	|30,2|	|18,3|

<-> ведёт к переоценке (отрицательные значения), >-< ведёт к недооценке (в основном положительные значения), I-I ошибка глазомера, причем в обе стороны (и переоценка и недооценка)

Выводы:

1.  Величина иллюзии в первом опыте

2.  Величина ошибки при трех разных условиях.

3.  Сравнение первого и второго опыта

  В величине иллюзии (≈44) ошибка глазомера составляет примерно 18. Скажем, что чистая иллюзия составляет 26. Переоценка и недооценка примерно равны, хотя переоценка чуть больше, на ≈ 5 у.е. Разница небольшая, так что сказать, что играет большую роль в иллюзии сложно