Ошибки смещение бывает преднамеренные

В выборочном наблюдении используются понятия «ге-нералъная совокупность» – изучаемая совокупность единиц, подлежащая изучению по интересующим исследователя признакам, и «выборочная совокупность» – случайно отобранная из генеральной совокупности некоторая ее часть. К данной выборке предъявляется требование репрезентативности, т. е. при изучении лишь части генеральной совокупности полученные выводы можно применять ко всей совокупности. Характеристиками генеральной и выборочной совокупностей могут служить средние значения изучаемых признаков, их дисперсии и средние квадрати-ческие отклонения, мода и медиана и др.

Исследователя могут интересовать и распределения единиц по изучаемым признакам в генеральной и выборочной совокупностях. В этом случае частоты называются соответственно генеральными и выборочными.

Система правил отбора и способов характеристики единиц изучаемой совокупности составляет содержание выборочного метода, суть которого состоит в получении первичных данных при наблюдении выборки с последующим обобщением, анализом и их распространением на всю генеральную совокупность с целью получения достоверной информации об исследуемом явлении.

Репрезентативность выборки обеспечивается соблюдением принципа случайности отбора объектов совокупности в выборку. Если совокупность является качественно однородной, то принцип случайности реализуется простым случайным отбором объектов выборки. Простым случайным отбором называют такую процедуру образования выборки, которая обеспечивает для каждой единицы совокупности одинаковую вероятность быть выбранной для наблюдения, для любой выборки заданного объема.

Таким образом, цель выборочного метода – сделать вывод о значении признаков генеральной совокупности на основе информации случайной выборки из этой совокупности.

6.2. Ошибки выборочного наблюдения

Между признаками выборочной совокупности и признаками генеральной совокупности, как правило, существует некоторое расхождение, которое называется ошибкой статистического наблюдения. При массовом наблюдении ошибки неизбежны, но возникают они в результате действия различных причин. Величина возможной ошибки выборочного признака происходит из-за ошибок регистрации и ошибок репрезентативности. Ошибки регистрации, или технические ошибки, связаны с недостаточной квалификацией наблюдателей, неточностью подсчетов, несовершенством приборов и т. п.

Под ошибкой репрезентативности (представительства) понимают расхождение между выборочной характеристикой и предполагаемой характеристикой генеральной совокупности. Ошибки репрезентативности бывают случайными и систематическими. Систематические ошибки связаны с нарушением установленных правил отбора. Случайные ошибки объясняются недостаточно равномерным представлением в выборочной совокупности различных категорий единиц генеральной совокупности.

В результате первой причины выборка легко может оказаться смещенной, так как при отборе каждой единицы допускается ошибка, всегда направленная в одну и ту же сторону. Эта ошибка получила название ошибки смещения. Ее размер может превышать величину случайной ошибки. Особенность ошибки смещения состоит в том, что, являясь постоянной частью ошибки репрезентативности, она увеличивается с увеличением объема выборки. Случайная же ошибка с увеличением объема выборки уменьшается. Кроме того, величину случайной ошибки можно определить, тогда как размер ошибки смещения практически определить очень сложно, а иногда и невозможно, поэтому важно знать причины, вызывающие ошибку смещения, и предусмотреть мероприятия по ее устранению.

Ошибки смещения бывают преднамеренные и непреднамеренные. Причиной возникновения преднамеренной ошибки является тенденциозный подход к выбору единиц из генеральной совокупности. Чтобы не допустить появление такой ошибки, необходимо соблюдать принцип случайности отбора единиц.

Непреднамеренные ошибки могут возникать на стадии подготовки выборочного наблюдения, формирования выборочной совокупности и анализа ее данных. Чтобы не допустить появление таких ошибок, необходима хорошая основа выборки, т. е. та генеральная совокупность, из которой предполагается производить отбор, например список единиц отбора. Основа выборки должна быть достоверной, полной и соответствовать цели исследования, а единицы отбора и их характеристики должны соответствовать действительному их состоянию на момент подготовки выборочного наблюдения. Нередки случаи, когда в отношении некоторых единиц, попавших в выборку, трудно собрать сведения из-за их отсутствия на момент наблюдения, нежелания дать сведения и т. п. В таких случаях эти единицы приходится заменять другими. Необходимо следить, чтобы замена осуществлялась равноценными единицами.

Случайная ошибка выборки возникает в результате случайных различий между единицами, попавшими в выборку, и единицами генеральной совокупности, т. е. она связана со случайным отбором. Теоретическим обоснованием появления случайных ошибок выборки является теория вероятностей и ее предельные теоремы.

Сущность предельных теорем состоит в том, что в массовых явлениях совокупное влияние различных случайных причин на формирование закономерностей и обобщающих характеристик будет сколь угодно малой величиной или практически не зависит от случая. Так как случайная ошибка выборки возникает в результате случайных различий между единицами выборочной и генеральной совокупностей, то при достаточно большом объеме выборки она будет сколь угодно мала.

Предельные теоремы теории вероятностей позволяют определять размер случайных ошибок выборки. Различают среднюю (стандартную) и предельную ошибку выборки. Под средней (стандартной) ошибкой выборки понимают такое расхождение между средней выборочной и генеральной совокупностями (~ —), которое не превышает ±. Предельной ошибкой выборки принято считать максимально возможное расхождение (~ —), т. е. максимум ошибки при заданной вероятности ее появления.

В математической теории выборочного метода сравниваются средние характеристики признаков выборочной и генеральной совокупностей и доказывается, что с увеличением объема выборки вероятность появления больших ошибок и пределы максимально возможной ошибки уменьшаются. Чем больше обследуется единиц, тем меньше будет величина расхождений выборочных и генеральных характеристик. На основании теоремы, доказанной П.Л. Чебышевым, величину стандартной ошибки простой случайной выборки при достаточно большом объеме выборки (n) можно определить по формуле

– стандартная ошибка.

Из этой формулы средней (стандартной) ошибки простой случайной выборки видно, что величина зависит от изменчивости признака в генеральной совокупности (чем больше вариация признака, тем больше ошибка выборки) и от объема выборки n (чем больше обследуется единиц, тем меньше будет величина расхождений выборочных и генеральных характеристик).

Академик A.M. Ляпунов доказал, что вероятность появления случайной ошибки выборки при достаточно большом ее объеме подчиняется закону нормального распределения. Эта вероятность определяется по формуле

В математической статистике употребляют коэффициент доверия t, значения функции F(t) табулированы при разных его значениях, при этом получают соответствующие уровни доверительной вероятности (табл. 6.1).

Таблица 6.1

Коэффициент доверия t и соответствующие уровни доверительной вероятности

Коэффициент доверия позволяет вычислить предельную ошибку выборки,

т. е. предельная ошибка выборки равна t-кратному числу средних ошибок выборки.

Ошибки выборочного наблюдения

Информация, получаемая в результате
любого статисти­ческого наблюдения,
имеет расхождение с реальной
действитель­ностью. Такое расхождение
получило название ошибок стати­стического
наблюдения. При массовом наблюдении
ошибки не­избежны, но возникают они
в результате действия различных причин
(см. гл. 4).

В данной главе рассматривается только
ошибка репрезен­тативности и причины
ее возникновения. Под ошибкой
репре­зентативности (представительства)
понимают расхождение между выборочной
характеристикой и предполагаемой
характе­ристикой генеральной
совокупности. Причиной образования
этой ошибки является то обстоятельство,
что обследуются не все единицы генеральной
совокупности, а лишь их некоторая часть,
и различия между единицами, попавшими
в выборку, не соот­ветствуют различиям
единиц, не попавших в выборку. Вслед­ствие
этого выборочная совокупность становится
непредстави­тельной по отношению к
генеральной совокупности. Ошибка
ре­презентативности может возникнуть
по двум причинам: из-за нарушения научных
принципов отбора —систематическая
ошибка — и в результате случайности
отбора —случайная ошибка. В результате
первой причины выборка легко может
оказаться смещенной, так как при отборе
каждой единицы до­пускается ошибка,
всегда направленная в одну и ту же
сто­рону. Эта ошибка получила названиеошибки смещения. Ее раз­мер может
превышать величину случайной ошибки.
Особен­ность ошибки смещения состоит
в том, что, представляя собой постоянную
часть ошибки репрезентативности, она
увеличива­ется с увеличением объема
выборки. Случайная же ошибка с увеличением
объема выборки уменьшается. Кроме того,
ве­личину случайной ошибки можно
определить (см. ниже), тогда как размер
ошибки смещения непосредственно
практически оп­ределить очень сложно,
а иногда — невозможно. Поэтому необ­ходимо
знать причины, вызывающие ошибку смещения
и меры, способствующие её устранению.

Ошибки смещения бывают преднамеренные
и непреднаме­ренные. Причиной
возникновения преднамеренной ошибки
яв­ляется тенденциозный подход к
выбору единиц из генеральной совокупности.
Мерой устранения этой ошибки может быть
только исключение тенденциозности.
Выявить эту ошибку можно только путем
проведения повторного отбора с
обязательным соблюдением принципа
случайности.

Непреднамеренные ошибки могут
возникать на стадии под­готовки
выборочного наблюдения, формирования
выборочной совокупности и анализа ее
данных. Чаще всего создаются условия
для возникновения ошибок смещения на
стадии подготовки выборочного наблюдения.
Недостаточно хорошо продуманные и четко
сформулированные взаимоувязанные
вопросы плана организации и проведения
выборочного обследования могут дать
информацию, не соответствующую цели
исследования или, что еще хуже, вводящую
в заблуждение. Если при сплошном
наблюдении это возможно только при
преднамеренном искажении фактов, то
при выборочном это связано с
непреднамеренными ошибками смещения.
При разработке плана организации и
про­ведения выборочного наблюдения
особое внимание следует уделятьединице
отбора, т. е. такой единице изучаемой
сово­купности, которая является
основанием самого процесса отбора.
Единицей отбора могут служить естественные
единицы изучае­мого явления, например
предприятие, рабочий, покупатель, семья
и т. д. В некоторых случаях необходимо
создать искус­ственные единицы, не
соответствующие естественному делению
изучаемой совокупности. Удачное
установление единицы отбора уменьшает
вероятность получить смещенную выборку.

Сокращению опасности возникновения
ошибок смещения во многом способствует
хорошая основа выборки, т. е. та
гене­ральная совокупность, из которой
предполагается производить отбор,
например список единиц отбора. Поэтому
при подготовке выборочного наблюдения
необходимо особенно тщательно
озна­комиться с тем, какова основа
выборки, пригодна ли она для производства
отбора, позволит ли она образовать
несмещенную выборку. Если готовой основы
выборки нет, то ее необходимо построить.

Основа выборки должна быть достоверной,
полной и соот­ветствовать цели
исследования, а единицы отбора и их
ха­рактеристики должны соответствовать
действительному их со­стоянию на
момент подготовки выборочного наблюдения.
Если основа выборки не отвечает
перечисленным требова­ниям, ее
необходимо либо существенно улучшить,
внеся соот­ветствующие изменения,
уточнения, дополнения, либо создать
заново.

На стадиях формирования выборочной
совокупности и про­изводства наблюдения
ошибки смещения особенно опасны, так
как их трудно заметить и исправить. При
формировании выбо­рочной совокупности
ошибку смещения чаще всего дает неточ­ное
соблюдение установленного порядка
отбора, предусматри­вающего отбор
вполне определенных единиц. Иногда
может показаться, что выборочная
совокупность «не пострадает», если,
например, вместо предусмотренной десятой
единицы по списку взять одиннадцатую
или двенадцатую; в действительности же
такое нарушение установленного порядка
отбора нередко при­водит к смещенной
выборке. Ошибки смещения при анализе
данных могут возникнуть из-за неправильных
приемов распространения выборочных
ха­рактеристик на генеральную
совокупность (см. 11.4).

Случайная ошибка выборки возникает
в результате случай­ных различий
между единицами, попавшими в выборку,
и еди­ницами генеральной совокупности,
т. е. она связана со слу­чайным отбором.
Теоретическим обоснованием появления
слу­чайных ошибок выборки является
теория вероятностей и ее предельные
теоремы.

Сущность предельных теорем состоит в
том, что в массовых явлениях совокупное
влияние различных случайных причин на
формирование закономерностей и обобщающих
характеристик будет сколь угодно малой
величиной или практически не зави­сит
от случая. Так как случайная ошибка
выборки возникает в результате случайных
различий между единицами выбороч­ной
и генеральной совокупностей, то при
достаточно большом объеме выборки она
будет сколь угодно мала. Этот вывод,
опирающийся на доказательства предельных
теорем, позволяет предполагать, что
характеристики выборочного наблюдения
мо­гут достаточно хорошо представлять
характеристики генераль­ной
совокупности.

Предельные теоремы исходят из закона
нормального рас­пределения, согласно
которому большая часть выборочных
средних сосредоточивается около
генеральной средней
.
Следо­вательно, закон нормального
распределения теоретически поз­воляет
установить, в какой мере изменяется
размер случайной ошибки выборки с
изменением вероятности ее появления.
Так как многие массовые явления
подчиняются закону нормального
распределения, то он служит основой при
оценке вероятности тех или иных
результатов выборочного наблюдения.

Предельные теоремы теории вероятностей
позволяют опре­делять размер случайных
ошибок выборки. Различают сред­нюю
(стандартную) и предельную ошибку
выборки. Под сред­ней (стандартной)
ошибкой выборки понимают расхож­дение
между средней выборочной и генеральной
совокупностей,не
превышающее.
Предельной ошибкой вы­борки принято
считать максимально возможное расхождение,
т. е. максимум ошибки при заданной
вероятности ее по­явления. На основании
теоремы, доказанной П. Л. Чебышевым,
ве­личину стандартной ошибки так
называемого собственно-случайного
отбора при достаточно большом объёме
выборки можно определить по формуле:

,

где
— стандартная ошибка.

Величина стандартной ошибки прямо
пропорциональна колеблемости признака
в генеральной совокупности и обратно
пропорциональна квадратному корню
объёма выборки. Величина
зависит также от способа и вида отбора.

Академик А.М.Ляпунов, продолжив разработки
П.Л.Чебышева, доказал, что вероятность
появления случайной ошибки выборки при
её достаточно большом объёме подчиняется
закону нормального распределения. Эта
вероятность определяется по формуле:

Значения функции
табулированы
при различных значенияхt.

Предельная ошибка выборки определяется
по формуле

,

где
-предельная
ошибка,t– заданный
коэффициент доверия.

Так, при t=1 величина
предельной ошибки составит,
гарантированную с вероятностью 0,683. Это
означает, что в 683 выборках из тысячи
подобных максимальная ошибка выборки
(предельная) не превысит.
Приt=2 с вероятностью
0,954 она не выйдет за пределыи
т.д. В практике выборочных наблюдений
массовых общественных явлений максимальный
предел ошибок, как правило, вполне
достаточен в пределах.

Однако приведённые формулы нахождения
ошибок выборки практически непригодны,
т.к. в них σ – это показатель колеблемости
признака в генеральной совокупности,
который неизвестен, как неизвестна и
генеральная средняя. Но в теории
вероятностей доказывается, что

.

Так как
при
достаточно большомn– величина, близкая к единице, то условно
принимается, что.
На основании этого утверждения в
вышеприведённых формулах вместо
генеральной дисперсии принимают значение
выборочной дисперсии.

Предельная ошибка выборки позволяет
определять предельные значения
характеристик генеральной совокупности
при заданной вероятности и их доверительные
интервалы:

.

Это означает следующее: с заданной
вероятностью можно утверждать, что
значение генеральной средней ожидается
в пределах от
до.

Наряду с абсолютной величиной предельной
ошибки выборки рассчитывают и относительную
ошибку, определяемую как процентное
отношение предельной ошибки выборки к
соответствующей характеристике
выборочной совокупности:

,,

Если при выборочном наблюдении изучению
подлежит альтернативный признак, то
случайная ошибка выборки для доли
определяется в соответствии с теоремой
Я.Бернулли. так
как вероятность расхождения между
частостью и долей тоже подчиняется
закону нормального распределения, то
стандартная ошибка выборки альтернативного
признака определяется по формуле:

,

где pq– дисперсия
доли альтернативного признака в
генеральной совокупности.

Так как pqнеизвестно,
то на практике её заменяют дисперсией
выборочной совокупностиw(1-w)
и формула принимает вид:

Соседние файлы в папке 14-05-2013_10-41-11

• #
• #
• #
• #
• #
• #
• #

Смещение в машинном обучении означает, что алгоритм дает ошибочные результаты из-за неточных предположений, сделанных на одном из этапов процесса.

Чтобы разработать любой процесс машинного обучения, специалисту по обработке данных необходимо выполнить ряд шагов: сбор и очистка данных, обучение алгоритма и его развертывание. Во время этого могут возникать ошибки. Если они случаются на любом из этапов, то оказывают влияние на оставшиеся, усугубляя ситуацию к концу.

Все подразделы науки о данных, будь то машинное обучение, обработка естественного языка или любая другая область, зависят от качества и количества наборов данных, используемых для построения, обучения и разработки их основных алгоритмов. Следовательно, данные низкого качества или ошибочные могут привести к неточным прогнозам и неудовлетворительным результатам в целом.

Существуют разные причины смещения в приложениях машинного обучения. Наша работа как специалистов по обработке данных  — сделать все возможное, чтобы уменьшить и предотвратить это. Лучший способ  —  полностью понять причину смещения. Дальше уже можно предпринимать действия для его устранения и нивелирования всех последствий.

В этой статье мы рассмотрим 5 основных причин смещения в машинном обучении и способы уменьшения их влияния.

№1: Ошибка в алгоритме

Одна из причин смещения возникает, когда алгоритм, лежащий в основе процесса машинного обучения, неисправен или не подходит для текущего приложения. Это можно обнаружить, когда оно начинает выдавать неверные результаты для определенной группы людей (входные параметры).

Если ваш алгоритм дает разные результаты для почти идентичных случаев, то вернитесь назад, перепроверьте его и убедитесь, что он подходит для решения поставленной задачи. Такое смещение бывает преднамеренным или непреднамеренным. Его могут вызвать технические проблемы в ядре алгоритма или изначально неправильный выбора алгоритма.

№2: Ошибка в выборке

Следующая причина смещения возникает из-за ошибки на ранних этапах разработки приложения, то есть при сборе и очистке данных. Данные  —  это ядро ​​любого приложения машинного обучения. Ведь алгоритм не может узнать то, чего не видел.

Если разработчик взял неправильную выборку  —  маленькую по размеру, содержащую много ошибочных точек данных или представляющую не весь пул данных для обучения модели  — результаты будут неточными для точек данных, которые от неё отличаются.

К счастью, такое смещение не очень сложно исправить. Попробуйте использовать более крупный и разнообразный набор данных для обучения своей модели. Вы можете тренировать ее несколько раз, наблюдать за поведением и настраивать параметры, чтобы получить лучший результат.

№3: Предвзятость

Допустим, у вас есть правильный алгоритм решения задачи, и вы сделали все возможное, чтобы использовать лучшую выборку данных, а результаты необъективны. Одна из причин, по которой могло произойти смещение  —  предвзятость.

Когда дело касается стереотипных и ошибочных суждений о каких-либо ситуациях, тогда чаще всего смещение обусловлено изначальной предвзятостью данных. В таком случае вы получите необъективные результаты, независимо от используемого алгоритма.

Это смещение довольно сложно устранить. Попробуйте использовать совершенно новый набор данных или изменить имеющиеся данные, чтобы устранить любую существующую предвзятость.

№4: Ошибка в измерениях

Смещение может возникать в самом начале процесса разработки: на этапе сбора данных. Если они неточны, а от них зависит функциональность и корректность модели, то весь остальной процесс окажется ошибочным.

Речь идет о данных, которые получаются в результате вычислений и измерений человека или компьютера и хранятся в базе данных. Если они неверны, значит точки данных для обучения модели будут ошибочные. Один из вариантов, как этого избежать,  —  использовать несколько измерительных устройств.

Выбор правильного набора данных для обучения и построения модели  —  это непростая задача. Одна из проблем, с которой вы можете столкнуться,  —  смещение в результате некорректных исключений. В этом случае важные точки данных удаляются, и, следовательно, полученная модель их не учитывает. Поэтому отбирайте данные тщательно.

Заключение

Технологии помогают нам принимать большинство решений: что покупать, какую школу выбрать для детей, в какой город безопаснее переехать, будет ли одобрена заявка на кредит и многое другое. Однако эти системы могут быть некорректны в зависимости от используемых данных и специалиста, который их строит.

И люди, и алгоритмы склонны к ошибкам и предвзятости. Но это не означает, что наши модели тоже должны быть такими. Поэтому важным этапом разработки любого приложения для машинного обучения является попытка уменьшить и устранить смещение, насколько это возможно. Для этого нужно понять, почему и на каком этапе разработки оно возникает.

Поиск и устранение причины смещения в приложениях машинного обучения  —  это не точная наука. Я предпочитаю думать об этом как о форме искусства. Или навыке, который становится лучше, по мере того как вы создаете больше проектов, взаимодействуете с большим количеством данных и устраняете различные смещения.

Читайте также:

• 5 минут на машинное обучение
• Когда ИИ или машинное обучение неуместны
• Машинное обучение. С чего начать? Часть 1

Читайте нас в Telegram, VK и Яндекс.Дзен

Перевод статьи Sara A. Metwalli: 5 Types of Machine Learning Bias Every Data Scientist Should Know.