Каких ошибок следует избегать при организации экспертизы

Экспертное оценивание

1) сущность и
специфические особенности экспертного
оценивания;

2) причины нарушение
достоверности результатов экспертизы
(на примере дидактического оценивания).

Эксперт– (от
лат. «опытный», «искушенный») — компетентное
лицо, имеющее специальный опыт в
конкретной области и участвующее в
исследовании в качестве источника
непосредственной информации. Его
задачей является выражение своего
мнения о качестве объекта или явления
по определенной шкале в соответствии
с предусмотренными для этого правилами.

Основное содержание
метода экспертных оценокзаключается
в рациональной организации работы
одного или нескольких специалистов
над поставленной проблемой с регистрацией
и последующей обработкой полученных
данных.

В психологическом
исследовании экспертное оценивание
может рассматриваться как в качестве
самостоятельного метода познания, так
и в виде существенного компонента
процедур наблюдения, опроса, эксперимента,
анализа продуктов деятельности, словом,
везде, где имеет место нестандартизированный
переход от признаков к выводам.

Более того, те или
иные разновидности экспертизы применяются
на любом этапе исследования: в определении
его целей и задач, в построении и проверке
гипотез, при выявлении проблемных
ситуаций, в ходе интерпретации понятийного
аппарата, для обоснования адекватности
используемого инструментария, в процессе
выработки рекомендаций и т.д.

Разумеется,
экспертное оценивание не ограничено
пределами психологической науки.
Промышленность, образование, медицина,
юриспруденция, спорт — поистине, трудно
найти ту область знания или сферу
деятельности, где оно не находило бы
применений с давних пор и по настоящее
время.

Особый интерес к
исследовательскому потенциалу данного
метода появился после успешной реализации
так называемого «Дельфийского проекта».
Суть его, как известно, состояла в
решении сугубо актуальной после Второй
мировой войны задачи для правительства
США: определении количества ядерных
зарядов, достаточных для обеспечения
безопасности страны и ее союзников. В
то время частная фирма «Ренд корпорейшн»,
предложив экспертное оценивание в
качестве способа решения проблемы,
превзошла по ряду параметров
(кратковременность процедур, их
сравнительно малая трудоемкость и
себестоимость) традиционные методики
добывания информации Пентагона и ЦРУ.
Вместо сотен секретных агентов и
десятков аналитиков, выявляющих
потенциальные цели на территории
противника, было задействовано семь
экспертов (четыре экономиста, специалист
по атомным взрывам, специалист по
системному анализу и инженер-электронщик).
Еще несколько человек снабжали их
разного рода информацией.

Само название
проекта возникло в кругах скептически
настроенных чиновников, утверждавших,
что достоверность его результатов
вполне соответствует качеству
предсказаний древнегреческих
прорицательниц в храме Аполлона в
Дельфах. Однако независимая проверка
сделанных экспертами обоснований стала
доказательством адекватности данного
метода исследовательской задаче.

Успех «Дельфийского
проекта» был обусловлен тщательностью
подбора экспертов, своевременным и
всесторонним их информированием, а
также эффективностью организации всех
этапов оценочной деятельности.

Рассмотрим наиболее
существенные особенности этой экспертизы.
К основным чертам организации
«Дельфийского проекта» следует отнести:

1) цикличность
процедуры, повторяемость ее стадий.
(Как известно, вначале каждый эксперт
выдавал свою оценку и обосновывал ее.
Затем составлялась итоговая сводка,
отражающая мнения всех участников
работы. Изучив эту информацию, эксперты
корректировали свои прежние оценки и
комментарии. Формулирование индивидуальных
мнений повторялось четыре раза. При
этом было отмечено значительное
сближение экспертных суждений между
собой);

2) отсутствие
прямого контакта экспертов друг с
другом, что гарантировало сведение к
минимуму интерсубъективных влияний
общения на качество результатов;

З) анонимность
участников работы, позволявшая им
принимать во внимание оценки и обоснования
других, но не их звания, регалии,
общественное положение или научный
авторитет;

4) оперирование
не только количественными оценками,
но и их аргументацией, что способствовало
повышению уровня обдуманности
индивидуальных суждений;

5) участие в работе
специальной группы, обеспечивающей
обработку и передачу экспертной
информации.

В последнем случае
имеется в виду так называемая мониторная
группа
, деятельность которой в
экспертном оценивании обычно включает
в себя формулирование исследовательской
задачи, подбор компетентных специалистов,
их инструктаж, разработку оценочных
параметров, обеспечение работы экспертов
(техническое, математико-статистическую
обработку данных, логико-семантическое
оформление суждений). Это своеобразные
«эксперты по организации экспертиз».

Недостатки в
осуществлении мониторной деятельности
самым пагубным образом сказываются на
качестве оценочных процедур. Дело в
том, что рассматриваемый нами метод
относится к категории субъективных.
Это, напомним, означает признание факта,
что результаты экспертного оценивания
в значительней мере зависят не только
от объекта исследования, но и от
характеристик тех лиц, которые это
исследование выполняют.

Иногда эксперта
сравнивают с измерительным «устройством»,
к сожалению, не всегда способным к
точной работе. С одной стороны, это
может быть связано с теми или иными его
качествами (некомпетентностью,
предвзятостью, недобросовестностью,
незаинтересованностью в успехе дела,
неуверенностью в себе и т.д.), с другой
стороны, быть следствием целого ряда
просчетов мониторной группы (например,
таких, как нечеткость в определении
целей работы, осуществление экспертного
опроса без специально разработанной
программы, невнятность инструкций по
оценке, недостаточный учет влияния
факторов искажения достоверности
результатов экспертизы, поверхностность
в обработке суждений экспертов).

Следует заметить,
что основной задачей мониторной
деятельности является максимальное
приближение оценок экспертов к истине.
Субъективность метода вовсе не означает
его неэффективности. Экспертное
оценивание становится способом получения
недостоверной информации только в тех
случаях, когда плохо подобраны специалисты
и некачественно организована их работа.

На данной схеме
представлена классификация типов
экспертиз
(по П.Б. Шошину):

оценивание

группой экспертов

одиночным экспертом

при очном взаимодействии

при заочном взаимодействии

без взаимодействия между собой

Перейдем к анализу
содержания оценочной деятельности
экспертов. В целом, в ней можно выделить
такие этапы:

1. Подготовка к
экспертизе (изучение порядка и правил
оценивания, ознакомление со способами
регистрации суждений, актуализация
знаний в данной конкретной области),

2. Исследование
объекта экспертизы;

3. Возникновение
имплицитнойоценки — той, где
субъективное впечатление,
слабодифференцированное и неустойчивое,
еще не получило выражения средствами
внутренней речи, символами или словами;

4. Экспликацияоценки — формулирование ее в уме, а затем
и в вербальном или символическом виде;

5. Проверка
правильности результата оценивания;

6. Аргументирование
оценки;

7. Участие в
информационном обмене между экспертами.

Работа экспертов
может происходить в условиях большей
или меньшей стандартизации. Так,
выражение их суждений в зависимости
от особенностей исследования планируется
в форме свободного интервью или
анкетирования с полузакрытыми (или
открытыми вопросами) или же, как
стандартизированное интервью.

Особо следует
остановиться на статистической обработке
материала.

В практике научных
исследований традиционно выделяют
такие типы измерительных шкал:

1. Шкала наименований
(или номинальная)
. Здесь
устанавливается лишь факт подобия или
различия объектов относительно
какого-либо признака. Это деление на
качественно однородные группы. Объекты
в пределах каждой из групп располагаются
в случайном порядке, в любой
последовательности. При статистической
обработке данных в такого рода шкале
обычно лишь подсчитывается частотность
отнесения объектов к категории.

Примерами
категориальных признаков являются
«девушки — юноши», «экстраверты —
интроверты», «сангвиники — флегматики
— холерики — меланхолики», «дети —
взрослые» и т.д. Главное, чтобы каждый
объект входил всякий раз только в одну
группу.

2. Шкала порядковая
(или ранговая)
. Предполагает
распределение объектов по интенсивности
проявлений того или иного признака. С
помощью нее устанавливается
последовательность носителей признака
и направление степени его выраженности
в ряду объектов. Дело ограничивается
определением отношений «больше —
меньше», «выше — ниже» и т.п. Таким
образом, каждый объект занимает свое
место в ряду других.

Однако это не
означает, что интервалы между делениями
такой шкалы равны друг другу. К примеру,
если один школьник ответил на «2» балла,
а другой — на «4», нельзя сказать, что
кто-то из них знает учебный материал
вдвое лучше, чем другой. Неправомерно
складывать, вычитать, умножать, делить
порядковые места (ранги) или с их помощью
вычислять среднее арифметическое. При
статистической обработке данных в
пределах этой шкалы обычно ограничиваются
установлением медианы (величины
выраженности признака, соответствующей
объекту со средним рангом).

Примером
использования шкалы порядка является,
скажем, составление упорядоченного
списка испытуемых, показавших те или
иные результаты при выполнении
определенной деятельности.

3. Шкала интервалов.
К ней относят материалы, в которых дана
количественная оценка изучаемого
объекта в фиксированных единицах. Между
делениями такой шкалы равные расстояния,
одинаковая удаленность.

К примеру, если
один человек при тестировании интеллекта
набрал 100 баллов, а другой – 90, это
означает, что различия в показателях
их интеллекта столь же велики, как если
бы один получил 60 баллов за тот же тест,
а другой — лишь 50. Однако это вовсе не
подразумевает, что имеющий показатель
100 вдвое «интеллектуальнее», чем тот,
у кого 50 баллов. Дело в том, что точка
отсчета здесь установлена произвольно.
Даже если при выполнении теста не будет
решена ни одна задача, мы не решимся
утверждать, что показатель интеллекта
равен нулю.

Основная проблема
при ориентации оценивания на шкалу
интервалов заключена в поиске такой
единицы, которая во всех случаях была
бы тождественна сама себе, то есть
неизменна, одинакова. А это далеко не
всегда возможно.

С помощью данной
шкалы можно выполнять обычные
алгебраические операции типа сложения
величин и вычисления среднего
арифметического.

4. Шкала отношений
(или пропорций)
. В отличие от предыдущей
шкалы здесь не только равные интервалы
между единицами измерения, но и имеется
абсолютная точка, от которой и ведется
отсчет. Тем самым становятся возможными
выводы о пропорциях (типа «в два раза
меньше», «в полтора раза выше», «в четыре
раза тяжелее» и т.п.). В рамках этой шкалы
могут производиться все статистические
действия.

Однако, изучая те
или иные психологические признаки,
практически невозможно исходить из
некоего «абсолютного нуля». Шкала
отношений используется, как правило,
только если речь идет о физических
особенностях испытуемых (типа веса,
роста, размера и др.).

Итак, мониторная
группа, определив тип базовой измерительной
шкалы, адекватный исследованию,
разрабатывает для экспертов конкретные
параметры, по которым будут вынесены
индивидуальные суждения. Важно, чтобы
в последующем, при статистической
обработке и логическом сопоставлении
результатов экспертизы не осуществлялось
неправомерных выходов за пределы
возможностей того или иного типа
измерения.

После вынесения
оценок экспертами исследователь
осуществляет обычно следующие операции:

  • проверку
    индивидуальных суждений и обоснований
    на непротиворечивость составляющих;

  • анализ совокупности
    мнений экспертов с целью установления
    степени согласованности их между
    собой;

  • выделение групп
    экспертов с близкими позициями в случае
    наличия существенных расхождений в
    оценках;

  • выявление причин
    разброса индивидуальных мнений;

  • определение
    влияния компетентности экспертов на
    содержание их оценок и обоснований.

Теперь обратимся
к рассмотрению причин нарушения
достоверности результатов в ходе
экспертного оценивания. В качестве
примера используем дидактическое
оценивание, осуществляемое педагогами
для выявления качества знаний и степени
сформированности умений и навыков
обучаемых.

Известно, что
иногда несколько педагогов, оценивая
независимо друг от друга один и тот же
устный ответ или письменную работу
ученика, выставляют совершенно разные
отметки по традиционной шкале успешности
обучения. Бывает и так, что учитель,
повторно оценивая письменную работу
через некоторый промежуток времени,
выставляет отметку, отличающуюся
(подчас значительно) от собственной
отметки, сделанной ранее. Почему это
происходит?

Можно выделить
следующие причины оценочного
субъективизма:

1. Полифункциональность
отметки в учебном процессе иногда
приводит к тому, что вступают в
противоречие функции контроля и
воспитания, ориентации учащегося в его
достижениях и стимуляции к достижениям.

Как писал по этому
поводу Ш.А. Амонашвили: «Фемида-учитель,
взвешивая знания, не может оставаться
беспристрастной к ученику, порой сама
того не сознавая. И на чашу с эквивалентами
падают мелкие крупицы субъективизма:
«Он лентяй, можно было бы поставить
«З», но нет, лучше пусть подтянется… А
этот …смотри как постарался … молодец!
Давай порадую его, поощрю! Не может
учитель поступить иначе: его опыт,
знание им жизни, радостей и огорчений
каждого ребенка обязательно влияют на
оценку…» [1, с.15].

2. Неисчисляемость
оценочных процедур. Традиционная для
современной образования шкала успешности
обучения является порядковой. Учитель
не измеряет качества ответов или работ,
а сравнивает их с неким идеальным
образом, эталоном. Он пользуется цифрами,
но не делает вычислений, применяя
обозначения количества в качестве
ярлыков. Естественно, что каждый из них
делает это по-своему.

3. Разный уровень
профессиональной подготовленности
экспертов, в частности, степень владения
учебным материалом, умение пользоваться
данным средством контроля,
коммуникативно-аудиальные умения.

4. Индивидуально-личностные
особенности педагогов, в том числе:

  • степень автономности
    от социальных стереотипов;

  • уровень инертности
    сложившихся к моменту оценивания
    представлений о возможностях ученика
    (в силу этого «отличнику» так же трудно
    бывает получить «3», как «троечнику»
    — «5», даже если их ответы заслуживают
    такой отметки);

  • различия в умении
    абстрагироваться от имеющихся
    межличностных отношений с учащимся;

  • характерологические
    особенности: ответственность,
    добросовестность, собранность,
    заинтересованность и др.;

  • различия во
    влиянии на оценку несущественных
    аспектов ответа или работы ученика,
    таких как темп речи, дикция, громкость
    голоса, наличие пауз и количество
    оговорок, ораторские способности,
    особенности почерка, число исправлений
    или орфографических ошибок (если
    оценивается не грамотность) и т.д.

Особо выделим
здесь несколько т.н. «эффектов».

Эффект ореола (в
пед. оценивании) заключается во влиянии
на отметку сложившихся представлений
о возможностях ученика. Это влияние
образа учащегося, который обычно
«глобален», слабодифференцирован,
стереотипен и статичен (к примеру,
«умный студент», «интересуется моей
дисциплиной» и т.д.).

Эффект фасада (в
пед. оценивании) обозначает зависимость
отметки от впечатления, произведенного
отвечающим в момент оценивания. Известно,
что на восприятие эксперта влияют
внешний вид, пол, манеры поведения,
логичность ответа, уверенность
отвечающего и др.

5. Ситуационные
условия оценивания, такие как:

  • степень усталости
    проверяющего;

  • различия в
    оборудовании рабочего места и
    характеристиках условий труда
    (освещенность, температура помещения
    и т.д.);

  • фактор чередования
    различных по качеству ответов или
    работ;

  • воздействие на
    отметку общего уровня подготовленности
    класса.

Необходимо пояснить
последние тезисы.

Эффект контраста
отражает зависимость отметки от
нескольких предшествующих отметок
других учащихся. Известно, что хороший
ответ часто оценивается выше, чем он
заслуживает, если ему предшествовали
плохие по качеству ответы. И, наоборот,
слабый ответ может быть оценен еще
хуже, если он выслушивается после серии
отличных ответов.

Эффект фона
обозначает влияние на отметку выявленного
педагогом к тому времени общего уровня
подготовленности класса. По сути, это
внутригрупповая поправка в систему
норм оценки. Так, в «слабом» классе
бывает намного легче получить хорошую
отметку, чем в «сильном», за счет
выделения на общем фоне.

Специфика той или
иной сферы, естественно, определяет
свой набор причин искажения достоверности
результатов экспертного оценивания.
Однако многие из тех, что были названы
выше, имеют весьма широкое распространение.

До сих пор речь
шла о субъективизме эксперта, работающего
индивидуально, без непосредственного
(очного) взаимодействия с другими.
Следует заметить, что в работе группы
специалистов, сообща оценивающих объект
и дискутирующих о его характеристиках,
влияние многих причин искажения качества
экспертизы существенно ослабляется.
Но при этом далеко не всегда можно
гарантировать повышение достоверности
результатов процедуры. Дело в том, что
при этом возникают феномены
интерсубъективного искажения результатов
оценивания.

К причинам нарушения
достоверности данных при очном групповом
оценивании следует отнести:

  • стремление к
    идентификации сообщения с его источником,
    в силу которого слушатель бывает
    склонен принять или опровергнуть
    чье-либо мнение в зависимости не от
    реального содержания, но от отношения
    к человеку, высказавшему его;

  • центростремительное
    давление, проявляющееся в виде смещения
    экспертных оценок в ходе обсуждения
    в сторону «безопасной середины»;

  • тенденцию защищать
    собственную позицию, высказанную
    публично, даже после того, как сам
    эксперт убедился в ее неверности;

  • стремление к
    доминированию как личностная особенность,
    возникающая, часто, у лиц, не являющихся
    признанными лидерами, но претендующих
    на это;

  • влияние феномена
    «огруппления мышления», появляющееся
    в том случае, когда чувство принадлежности
    человека к группе подталкивает его к
    поддержке решений не столько правильных,
    сколько способных обеспечить единодушие;

  • неустойчивость
    имплицитной оценки, легко изменяющейся
    под воздействием уже высказанных
    мнений со стороны других экспертов.

Большинство из
этих факторов не оказывают особого
влияния на итоги группового оценивания,
осуществляющегося в заочной форме, без
непосредственного взаимодействия
экспертов между собой. Однако заочная
форма экспертизы обычно требует
нескольких туров, что увеличивает
продолжительность и трудоемкость
процедуры.

ОСНОВНЫЕ ПОНЯТИЯ:экспертное оценивание; эксперт;
мониторная группа; «Дельфийский проект»;
имплицитная оценка; экспликация оценки;
типы измерительных шкал: наименований
(номинальная), порядковая (ранговая),
интервалов, отношений (пропорций).

Вопросы для
обсуждения:

1. В чем состоит
своеобразие экспертного оценивания в
сравнении с другими методами опроса?
Каковы его преимущества и недостатки?

2. Каких ошибок
следует избегать при организации
экспертизы?

3. По каким причинам
возможно искажение достоверности
результатов экспертного оценивания,
производимого в психологическом
исследовании?

Упражнение 1:

Опишите, как бы
вы организовали экспертное оценивание
влияния условий обучения студентов на
динамику степени их утомления в течение
рабочей недели.

Упражнение 2:

Разработайте
программу осуществления экспертного
оценивания эффективности мер по
повышению качества организации учебного
процесса у студентов психологического
факультета.

Упражнение 3:

Проанализируйте
и обсудите ошибки и недочеты, возникшие
при выполнении упражнений 1 и 2.

Упражнение 4:

Понаблюдав в
течение некоторого времени за жизнью
класса (студенческой группы), произведите
экспертное оценивание качества
психологической атмосферы в ней.

Экспертные ошибки в судебной экспертизе могут разрушить даже самую продуманную систему доказательств.

Заключение эксперта является доказательством в суде. Но, как и любое другое доказательство, оно подлежит всестороннему исследованию и оценке суда в соответствии с «внутренним убеждением» [1].

Если при отстаивании своей позиции вы делаете ставку на результаты экспертизы, у суда не должно возникнуть сомнений ни в компетентности эксперта, ни в правильности его выводов, ни в корректности оформления экспертного заключения.

Распространённые ошибки в экспертизе

Если суд поставит под сомнение результаты экспертизы, в лучшем случае он может назначить повторную экспертизу, а в худшем — вовсе исключить заключение эксперта из числа доказательств.

Специалисты АНО «Высшая палата судебных экспертов» рассказали о типичных ошибках в судебной экспертизе, из-за которых её результаты могут быть легко оспорены.

Вот показательный пример того, как нередко происходит экспертиза после пожара квартиры и исследование пожаров в целом. Неопытные или неграмотные эксперты часто ищут зону наибольших термических повреждений обстановки на месте происшествия, после чего делают скоропалительный вывод, что очаг пожара находился именно в этом месте.

Они не учитывают такие важных моменты, как распределение конвективных потоков, условия тушения пожара: где, как и какие проемы вскрывались, на каком этапе какие средства тушения использовались, время от начала пожара до начала тушения и т. д. Не всегда учитывается пожарная нагрузка: расположение мебели, вещей, характеристики материалов, из которых эти вещи изготовлены.

Еще одна ошибка — выборочное использование показаний очевидцев, как правило только тех, которые подтверждают версию эксперта об очаге или причине возгорания. Тогда как полный анализ всех показаний, их сопоставление, примерка к временным интервалам развития пожара и даже к местонахождению очевидца относительно увиденного им пожара может многое прояснить в целостной картине события.

Ошибки в независимой строительной экспертизе для суда чаще всего связаны с применением устаревших строительных норм и правил. В СНиПы регулярно вносятся изменения, обновляются индексы цен на строительно-монтажные работы (последнее важно учитывать при экспертизе смет).

Для некоторых экспертов проблемой становится большой объём обязательной для исследования информации. Специалисты изучают её не в полном объеме, в результате чего приходят к неверным выводам.

Нередко экспертиза давности производится без каких-либо расчётов. Эксперты ссылаются на общепринятую практику, но правильнее такую «методику» обозначить выражением «на глазок». Определение периода создания документов должно происходить исключительно на основании точных расчетов.

Почему за экспертизой лучше обращаться в специализированные экспертные учреждения

Проводить экспертизу имеют право:

  • государственные экспертные учреждения;
  • негосударственные судебно-экспертные организации;
  • лица, не сотрудничающие с перечисленными выше организациями, но обладающие в своей сфере достаточными знаниями, которые необходимы для проведения экспертизы [2].

В силу существования последнего пункта, материалы для экспертизы порой направляются в неэкспертные учреждения — НИИ, вузы, оценочные организации, аудиторские компании или другие организации, где работают специалисты, которые могут выступать в качестве экспертов.

Но тут важно понимать, что судебная экспертиза — отдельный вид деятельности, требующий не только специальных знаний в области исследования, но и понимания особенностей судебного производства.

Наряду с фактическими ошибками — когда эксперт неудачно выбрал методику исследования, не учел какие-то факты, сделал неверные выводы — причиной непринятия экспертизы судом могут стать неверное оформление заключения, некорректные формулировки, процессуальные ошибки. Досадно, когда такие недочеты обесценивают результат работы высококлассного эксперта в силу его неопытности в судебной экспертизе, непонимания значения формальностей в уголовном, гражданском или ином производстве.

Так, эксперты, недостаточно опытные в вопросах судебной экспертизы, могут неверно указать в заключении время, место, основания проведения экспертизы и даже информацию о себе (например, перепутать общий стаж со стажем экспертной деятельности). Нередко они забывают о структуре, в которой обязательны вводная, исследовательская и заключительная части. В этом случае заключение выглядит как обычный отчёт о проделанной работе, что неприемлемо в суде.

Ошибки в оформлении заключения дают оппоненту возможность оспорить его по формальным признакам.

Также распространены процессуальные экспертные ошибки. Чаще всего они встречаются в случаях, когда эксперт выходит за рамки своей компетенции:

  • сам занимается сбором доказательств;
  • изучает материалы дела полностью, а не в части, необходимой для экспертного заключения;
  • меняет формулировку вопросов, недостаточно чётко сформулированных инициаторами экспертизы;
  • делает выводы, которые на основе его экспертного заключения должен делать суд.

Вот ещё одна формальная, но грубая ошибка. Как мы писали выше, экспертиза может быть поручена лицу, обладающему специальными знаниями, но не являющемуся работником экспертной организации. Согласно разъяснениям Верховного суда [3], в этом случае учреждение, в котором работает эксперт, не имеет никакого отношения к назначенной экспертизе. И руководитель (например, вуза) на основании того, что его сотрудник выступает экспертом в суде, не может брать на себя полномочия руководителя судебно-экспертной организации — в том числе утверждать и подписывать экспертное заключение. Такая ошибка может поставить под сомнение независимость эксперта и достоверность экспертизы.

Для негосударственных судебно-экспертных учреждений выполнение экспертиз — основная деятельность. Поэтому они располагают необходимой материально-технической базой, а сотрудники-эксперты не только компетентны в своих областях знаний, но и разбираются в методических, процессуальных особенностях экспертизы в рамках судопроизводства. Это позволяет не допускать ошибок в оформлении экспертных заключений, отстаивать свою позицию в случае возражений оппонента или рецензий на экспертизу.

Если вам необходимо провести экспертизу для укрепления позиций в суде, вы можете обратиться за этой услугой в АНО «ВПСЭ».

Список источников:

Курс: «Методика психологического исследования»

(Материалы для самостоятельного изучения студентами психологами и социальными работниками)

ЛЕКЦИЯ № 20

Экспертное оценивание в психологии

ВОПРОСЫ:

1)сущность и специфические особенности экспертного оце­нивания;

2)причины нарушения достоверности результатов экс­пертизы (на примере дидактического оценивания).

Рекомендуемые материалы

Эксперт — (от лат. «опытный», «искушенный») — компе­тентное лицо, имеющее специальный опыт в конкретной обла­сти и участвующее в исследовании в качестве источника не­посредственной информации. Его задачей является выраже­ние своего мнения о качестве объекта или явления по опреде­ленной шкале в соответствии с предусмотренными для этого правилами.

Основное содержание метода экспертных оценок заклю­чается в рациональной организации работы одного или не­скольких специалистов над поставленной проблемой с регист­рацией и последующей обработкой полученных данных.

В психологическом исследовании экспертное оценивание может рассматриваться как в качестве самостоятельного ме­тода познания, так и в виде существенного компонента проце­дур наблюдения, опроса, эксперимента, анализа продуктов дея­тельности, словом, везде, где имеет место нестандартизированный переход от признаков к выводам.

Более того, тс или иные разновидности экспертизы приме­няются на любом этапе исследования: в определении его це­лей и задач, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации понятийного ап­парата, для обоснования адекватности используемого инстру­ментария, в процессе выработки рекомендаций и т.д.

Разумеется, экспертное оценивание не ограничено предела­ми психологической науки. Промышленность, образование, ме­дицина, юриспруденция, спорт — поистине, трудно найти ту об­ласть знания или сферу деятельности, где оно не находило бы применений с давних пор и по настоящее время.

Особый интерес к исследовательскому потенциалу данно­го метода появился после успешной реализации так называ­емого «Дельфийского проекта». Суть его, как известно, состо­яла в решении сугубо актуальной после Второй мировой войны задачи для правительства США: определении количества ядерных зарядов, достаточных для обеспечения безопасности страны и ее союзников. В то время частная фирма «Ренд кор­порейшн», предложив экспертное оценивание в качестве спо­соба решения проблемы, превзошла но ряду параметров (крат­ковременность процедур, их сравнительно малая трудоемкость и себестоимость) традиционные методики добывания инфор­мации Пентагона и ЦРУ. Вместо сотен секретных агентов и десятков аналитиков, выявляющих потенциальные цели на тер­ритории противника, было задействовано семь экспертов (че­тыре экономиста, специалист по атомным взрывам, специалист по системному анализу и инженер-электронщик). Еще несколь­ко человек снабжали их разного рода информацией.

Само название проекта возникло в кругах скептически на­строенных чиновников, утверждавших, что достоверность его результатов вполне соответствует качеству предсказаний древ­негреческих прорицательниц в храме Аполлона в Дельфах. Однако независимая проверка сделанных экспертами обосно­ваний стала доказательством адекватности данного метода ис­следовательской задаче.

Успех «Дельфийского проекта» был обусловлен тщатель­ностью подбора экспертов, своевременным и всесторонним их информированием, а также эффективностью организации всех этапов оценочной деятельности.

Рассмотрим наиболее существенные особенности этой экс­пертизы.

К основным чертам организации «Дельфийского про­екта» следует отнести:

1)цикличность процедуры, повторяемость се стадий. (Как известно, вначале каждый эксперт выдавал свою оценку и обо­сновывал ее. Затем составлялась итоговая сводка, отражаю­щая мнения всех участников работы. Изучив эту информа­цию, эксперты корректировали свои прежние оценки и коммен­тарии. Формулирование индивидуальных мнений повторялось четыре раза. При этом было отмечено значительное сближение
экспертных суждений между собой);

2)отсутствие прямого контакта экспертов друг с другом, что гарантировало сведение к минимуму интерсубъективных влияний общения на качество результатов;

3)анонимность участников работы, позволявшая им при­нимать во внимание оценки и обоснования других, но не их звания, регалии, общественное положение или научный авто­ритет;

4)оперирование не только количественными оценками, но и их аргументацией, что способствовало повышению уровня обдуманности индивидуальных суждений;

5)участие в работе специальной группы, обеспечивающей обработку и передачу экспертной информации.

В последнем случае имеется в виду так называемая мониторная группа, деятельность которой в экспертном оценива­нии обычно включает в себя формулирование исследователь­ской задачи, подбор компетентных специалистов, их инструк­таж, разработку оценочных параметров, обеспечение работы экспертов (техническое, математико-статистическую обработ­ку данных, логико-семантическое оформление суждений). Это своеобразные «эксперты но организации экспертиз».

Недостатки в осуществлении мониторной деятельности са­мым пагубным образом сказываются на качестве оценочных процедур. Дело в том, что рассматриваемый нами метод отно­сится к категории субъективных. Это, напомним, означает признание факта, что результаты экспертного оценивания в зна­чительней .мере зависят не только от объекта исследования, но и от характеристик тех лиц, которые это исследование выполняют.

Иногда эксперта сравнивают с измерительным «устрой­ством», к сожалению, не всегда способным к точной работе. С одной стороны, это может быть связано с темы или иными его качествами (некомпетентностью, предвзятостью, недобросове­стностью, незаинтересованностью в успехе дела, неувереннос­тью в себе и т.д.), с другой стороны, быть следствием целого ряда просчетов мониторной группы (например, таких, как не­четкость в определении целей работы, осуществление эксперт­ного опроса без специально разработанной программы, невнят­ность инструкций по оценке, недостаточный учет влияния фак­торов искажения достоверности результатов экспертизы, по­верхностность в обработке суждений экспертов).

Следует заметить, что основной задачей мониторной дея­тельности является максимальное приближение оценок экс­пертов к истине. Субъективность метода вовсе не означает его неэффективности. Экспертное оценивание становится спосо­бом получения недостоверной информации только в тех слу­чаях, когда плохо подобраны специалисты и некачественно организована их работа.

На данной схеме представлена классификация типов экспертиз (по П.Б. Шошину)

Перейдем к анализу содержания оценочной деятельности экспертов. В целом в ней можно выделить такие этапы:

1.Подготовка к экспертизе (изучение порядка и правил оценивания, ознакомление со способами регистрации сужде­ний, актуализация знаний в данной конкретной области).

2.Исследование объекта экспертизы.

3.Возникновение имплицитной оценки — той, где субъек­тивное впечатление, слабо дифференцированное и неустойчи­вое, еще не получило выражения средствами внутренней речи, символами или словами.

4.Экспликация оценки — формулирование ее в уме, а затем и в вербальном или символическом виде.

5.Проверка правильности результата оценивания.

6.Аргументирование оценки.

7.Участие в информационном обмене между экспертами.

Работа экспертов может происходить в условиях большей или меньшей стандартизации. Так, выражение их суждений в зависимости от особенностей исследования планируется в фор­ме свободного интервью или анкетирования с полузакрытыми (или открытыми) вопросами, или же как стандартизирован­ное интервью.

Особо следует остановиться на статистической обработке материала.

В практике научных исследований традиционно выделяют такие типы измерительных шкал:

1.  Шкала наименований (или номинальная). Здесь уста­навливается лишь факт подобия или различия объектов отно­сительно какого-либо признака. Это деление на качественно однородные группы. Объекты в пределах каждой из групп располагаются в случайном порядке, в любой последователь­ности. При статистической обработке данных в такого рода шкале обычно лишь подсчитывается частотность отнесения объектов к категории.

Примерами категориальных признаков являются «девуш­ки — юноши», «экстраверты — интроверты», «сангвиники — флег­матики — холерики — меланхолики», «дети — взрослые» и т.д. Главное, чтобы каждый объект входил всякий раз только в одну группу.

2.  Шкала порядковая (или ранговая). Предполагает рас­пределение объектов по интенсивности проявлений того или иного признака. С помощью нее устанавливается последова­тельность носителей признака и направление степени его вы­раженности в ряду объектов. Дело ограничивается определе­нием отношений «больше — меньше», «выше — ниже» и т.п. Таким образом, каждый объект занимает свое место в ряду других.

Однако это не означает, что интервалы между делениями такой шкалы равны друг другу. К примеру, если один школь­ник ответил на «2» балла, а другой — на «4», нельзя сказать, что кто-то из них знает учебный материал вдвое лучше, чем дру­гой. Неправомерно складывать, вычитать, умножать, делить по­рядковые места (ранги) или с их помощью вычислять среднее арифметическое. При статистической обработке данных в пре­делах этой шкалы обычно ограничиваются установлением ме­дианы (величины выраженности признака, соответствующей объекту со средним рангом).

Примером использования шкалы порядка является, скажем, составление упорядоченного списка испытуемых, показавших тс или иные результаты при выполнении определенной дея­тельности.

3.  Шкала интервалов. К ней относят материалы, в кото­рых дана количественная оценка изучаемого объекта в фик­сированных единицах. Между делениями такой шкалы рав­ные расстояния, одинаковая удаленность.

К примеру, если один человек при тестировании интеллекта набрал 100 баллов, а другой — 90, это означает, что разли­чия в показателях их интеллекта столь же велики, как если бы один получил 60 баллов за тот же тест, а другой — лишь 50. Однако это вовсе не подразумевает, что имеющий показатель 100 вдвое «интеллектуальнее», чем тот, у кого 50 баллов. Дело в том, что точка отсчета здесь установлена произвольно. Даже если при выполнении теста не будет решена ни одна задача, мы не решимся утверждать, что показатель интеллекта равен нулю.

Основная проблема при ориентации оценивания на шкалу интервалов заключена в поиске такой единицы, которая во всех случаях была бы тождественна сама себе, то есть неиз­менна, одинакова. А это далеко не всегда возможно.

С помощью данной шкалы можно выполнять обычные ал­гебраические операции типа сложения величин и вычисления среднего арифметического.

4. Шкала отношений (или пропорций). В отличие от пре­дыдущей шкалы здесь не только равные интервалы между еди­ницами измерения, но и имеется абсолютная точка, от которой и ведется отсчет. Тем самым становятся возможными выводы о пропорциях (типа «в два раза меньше», «в полтора раза выше», «в четыре раза тяжелее» и т.п.). В рамках этой шкалы могут производиться все статистические действия.

Однако, изучая тс или иные психологические признаки, прак­тически невозможно исходить из некоего «абсолютного нуля». Шкала отношений используется, как правило, только если речь идет о физических особенностях испытуемых (типа веса, рос­та, размера и др.).

Итак, мониторная группа, определив тин базовой измери­тельной шкалы, адекватный исследованию, разрабатывает для экспертов конкретные параметры, но которым будут вынесе­ны индивидуальные суждения. Важно, чтобы в последующем, при статистической обработке и логическом сопоставлении результатов экспертизы не осуществлялось неправомерных вы­ходов за пределы возможностей того или иного типа измерения.

После вынесения оценок экспертами исследователь осуще­ствляет обычно следующие операции:

— проверку индивидуальных суждений и обоснований на непротиворечивость составляющих;

— анализ совокупности мнений экспертов с целью уста­новления степени согласованности их между собой;

— выделение групп экспертов с близкими позициями в слу­чае наличия существенных расхождений в оценках;

— выявление причин разброса индивидуальных мнений;

— определение влияния компетентности экспертов на со­держание их оценок и обоснований.

Теперь обратимся к рассмотрению причин нарушения дос­товерности результатов в ходе экспертного оценивания. В ка­честве примера используем дидактическое оценивание, осу­ществляемое педагогами для выявления качества знаний и степени сформированности умений и навыков обучаемых.

Известно, что иногда несколько педагогов, оценивая неза­висимо друг от друга один и тот же устный ответ или пись­менную работу ученика, выставляют совершенно разные от­метки но традиционной шкале успешности обучения. Бывает и так, что учитель, повторно оценивая письменную работу че­рез некоторый промежуток времени, выставляет отметку, от­личающуюся (подчас значительно) от собственной отметки, сделанной ранее. Почему это происходит?

Можно выделить следующие причины оценочного субъек­тивизма:

1.  Полифункциональность отметки в учебном процессе иног­да приводит к тому, что вступают в противоречие функции контроля и воспитания, ориентации учащегося в его достиже­ниях и стимуляции к достижениям.

Как писал но этому поводу Ш.А. Амонашвили: «Фемида-учитель, взвешивая знания, не может оставаться беспристраст­ной к ученику, порой сама того не сознавая. И на чашу с экви­валентами надают мелкие крупицы субъективизма: «Он лен­тяй, можно было бы поставить «3», но нет, лучше пусть подтя­нется… А этот …смотри как постарался … молодец! Давай порадую его, поощрю! Не может учитель поступить иначе: его опыт, знание им жизни, радостей и огорчений каждого ребенка обязательно влияют на оценку…» [ 1, с. 15 ].

2.  Неисчисляемость оценочных процедур. Традиционная для современного образования шкала успешности обучения является порядковой. Учитель не измеряет качества ответов или работ, а сравнивает их с неким идеальным образом, этало­ном. Он пользуется цифрами, но не делает вычислений, при­меняя обозначения количества в качестве ярлыков. Естественно, что каждый из них делает это по-своему.

3.Разный уровень профессиональной подготовленности эк­спертов, в частности, степень владения учебным материалом, умение пользоваться данным средством контроля, коммуникативно-аудиальные умения.

4.  Индивидуально-личностные особенности педагогов, в том числе:

— степень автономности от социальных стереотипов;

— уровень инертности сложившихся к моменту оценива­ния представлений о возможностях ученика (в силу этого «от­личнику» так же трудно бывает получить «3», как «троечни­ку» — «5», даже если их ответы заслуживают такой отметки);

— различия в умении абстрагироваться от имеющихся меж­личностных отношений с учащимся;

— характерологические особенности: ответственность, доб­росовестность, собранность, заинтересованность и др.;

различия во влиянии на оценку несущественных аспек­тов ответа или работы ученика, таких как темп речи, дикция, громкость голоса, наличие пауз и количество оговорок, ора­торские способности, особенности почерка, число исправлений или орфографических ошибок (если оценивается не грамот­ность) и т.д.

Особо выделим здесь несколько т.н. «эффектов».

Эффект ореола (в пед. оценивании) заключается во влия­нии на отметку сложившихся представлений о возможностях ученика. Это влияние образа учащегося, который обычно «глобален», слабо дифференцирован, стереотипен и статичен (к при­меру, «умный студент», «интересуется моей дисциплиной» ит.д.).

Эффект фасада (в пед. оценивании) обозначает зависи­мость отметки от впечатления, произведенного отвечающим в момент оценивания. Известно, что на восприятие эксперта влияют внешний вид, пол, манеры поведения, логичность отве­та, уверенность отвечающего и др.

5.   Ситуационные условия оценивания, такие как:

— степень усталости проверяющего;

—  различия в оборудовании рабочего места и характерис­тиках условий труда (освещенность, температура помещения и т.д.);

фактор чередования различных по качеству ответов или работ;

—  воздействие на отметку общего уровня подготовленнос­ти класса.

Необходимо пояснить последние тезисы

Эффект контраста отражает зависимость отметки от несколь­ких предшествующих отметок других учащихся. Известно, что хороший ответ часто оценивается выше, чем он заслуживает, если ему предшествовали плохие но качеству ответы. И, на­оборот, слабый ответ может быть оценен еще хуже, если он выслушивается после серии отличных ответов.

Эффект фона обозначает влияние на отметку выявленного педагогом к тому времени общего уровня подготовленности класса. По сути, это внутригрупповая поправка в систему норм оценки. Так, в «слабом» классе бывает намного легче полу­чить хорошую отметку, чем в «сильном», за счет выделения на общем фоне.

Специфика той или иной сферы, естественно, определяет свой набор причин искажения достоверности результатов эк­спертного оценивания. Однако многие из тех, что были назва­ны выше, имеют весьма широкое распространение.

До сих пор речь шла о субъективизме эксперта, работаю­щего индивидуально, без непосредственного (очного) взаимо­действия с другими.  Следует заметить, что в работе группы специалистов, сообща оценивающих объект и дискутирующих о его характеристиках, влияние многих причин искажения качества экспертизы существенно ослабляется. Но при этом далеко не всегда можно гарантировать повышение достовер­ности результатов процедуры. Дело в том, что при этом воз­никают феномены интерсубъективного искажения результа­тов оценивания.

К причинам нарушения достоверности данных при очном групповом оценивании следует отнести:

— стремление к идентификации сообщения с его источни­ком, в силу которого слушатель бывает склонен принять или опровергнуть чье-либо мнение в зависимости не от реального содержания, но от отношения к человеку, высказавшему его;

— центростремительное давление, проявляющееся в виде смещения экспертных оценок в ходе обсуждения в сторону «безопасной середины»;

— тенденцию защищать собственную позицию, высказан­ную публично, даже после того, как сам эксперт убедился в  её неверности;

— стремление к доминированию как личностная особенность, возникающая часто у лиц, не являющихся признанны­ми лидерами, но претендующих на это;

— влияние феномена «огруппления мышления», появляю­щееся в том случае, когда чувство принадлежности человека к группе подталкивает его к поддержке решений не столько пра­вильных, сколько способных обеспечить единодушие;

— неустойчивость имплицитной оценки, легко изменяющей­ся под воздействием уже высказанных мнений со стороны дру­гих экспертов.

Большинство из этих факторов не оказывают особого вли­яния на итоги группового оценивания, осуществляющегося в заочной форме, без непосредственного взаимодействия экспер­тов между собой. Однако заочная форма экспертизы обычно требует нескольких туров, что увеличивает продолжительность и трудоемкость процедуры.

ОСНОВНЫЕ ПОНЯТИЯ: экспертное оценивание; экс­перт; мониторная группа; «Дельфийский проект»; имплицит­ная оценка; экспликация оценки; типы измерительных шкал: наименований (номинальная), порядковая (ранговая), интер­валов, отношений (пропорций).

Вопросы для обсуждения:

1.В чем состоит своеобразие экспертного оценивания в
сравнении с другими методами опроса? Каковы его преиму­щества и недостатки?

2.Каких ошибок следует избегать при организации экс­пертизы?

3.По каким причинам возможно искажение достоверности
результатов экспертного оценивания, производимого в психо­логическом исследовании?

Упражнение 1:

Опишите, как бы вы организовали экспертное оценивание влияния условий обучения студентов на динамику степени их утомления в течение рабочей недели.

Упражнение 2:

Разработайте программу осуществления экспертного оце­нивания эффективности мер по повышению качества организации учебного процесса у студентов психологического фа­культета.

Упражнение 3:

Проанализируйте и обсудите ошибки и недочеты, возник­шие при выполнении упражнений 1 и 2.

Упражнение 4:

Понаблюдав в течение некоторого времени за жизнью класса (студенческой группы), произведите экспертное оценивание качества психологической атмосферы в ней.

ЛАБОРАТОРНАЯ РАБОТА

ЦЕЛЬ: овладение умениями осуществления экспертной оценки качеств личности руководителя и характеристик спо­собов управления (по методике Ю. П. Платонова).

В представленном ниже бланке для экспертной оценки вы­делено девять базовых характеристик руководителя:

1.Определенность — раскрывает структуру интересов к раз­личным аспектам деятельности;

2.Осознанность — осознание целей организаторской дея­тельности;

3.Целеустремленность — приоритет мотивов организаторс­кой деятельности;

4.Избирательность — способность глубоко и полно отра­жать психологические особенности коллектива;

5.Тактичность — способность соблюдать чувство меры и находить наилучшую форму взаимоотношений;

6.Действенность — умение увлечь за собой людей, мобилизировать их;

7.Требовательность — готовность проявлять данное каче­ство в различных формах в зависимости от особенностей си­туаций;

8.Критичность — способность обнаружить и выразить зна­чимые отклонения от установленных норм;

9.Ответственность — способность брать на себя ответствен­ность за результаты собственной работы и деятельности кол­лектива.

Каждая характеристика определяется по проявлению в дея­тельности руководителя семи признаков. Оценка признака дела­ется по пятибалльной шкале, где низший балл -1, а высший — 5.

В состав группы экспертов необходимо включить 7-10 чле­нов трудового (учебного) коллектива одного ранга. В зависи­мости от конкретных условий исследование может проводить­ся либо в групповой форме (но без взаимодействия экспер­тов), либо индивидуально. Количество бланков должно соот­ветствовать числу экспертов.

Номер признака

Содержание признака

Оценка,

баллы

1.1

1.2

1.3

1.4

1.5

1.6

1.7

Проявляет интерес к деятельности руководителя

Самостоятельно включается в организаторскую работу

Проявляет интерес к планированию деятельности коллектива (группы)

Проявляет интерес к организационной стороне деятельности руководителя

Проявляет интерес к регулированию взаимоотношений в коллективе (группе)

Проявляет интерес к стимулированию деятельности членов коллектива (группы)

Проявляет интерес к контролю за деятельностью членов коллектива (группы)

Средний балл

2.1

2.2

2.3

2.4

2.5

2.6

2.7

Считает, что главное, что результат и качество труда

Считает, что руководитель несет ответственность за результаты деятельности коллектива (группы)

Считает необходимым поддержание дисциплины

Считает, что в работе в равной степени важны как организационные, так и воспитательные аспекты

Считает, что руководитель обязан способствовать инициативной и самостоятельной работе членов (группы)

Считает, что отношения не должны носить формальный характер

Считает, что труд руководителя важен для коллектива (группы)

Средний балл

3.1

3.2

3.3

3.4

3.5

3.6

3.7

3.8

Стремится принести максимальную пользу общему делу

Стремится получить социальное признание

Стремится наиболее полно раскрыть свои организаторские возможности

Стремится работать так, чтобы избежать претензий со стороны коллектива (группы)

Стремится инициативно и ответственно выполнять свои обязанности

Стремится получить удовлетворение от своей организаторской работы

Стремится к позитивным взаимоотношениям с коллективом (группой)

Стремится к позитивным взаимоотношениям с коллективом (группой)

Средний балл

4.1 4.2

4.3

4.4

4.5 4.6

4.7

Способен давать людям точные характеристики

Способен быстро оценивать особенности и состояния других людей

Способен представить себя в ситуации, переживаемой другим человеком

Способен анализировать особенности поведения других людей

Способен к сопереживанию и сочувствию

Способен проявлять интерес и внимание к своим товарищам

Способен ориентироваться во взаимоотношениях

Средний балл

5.1

5.2

5.3

5.4

5.5 5.6

5.7

Способен находить правильный тон во взаимоотношениях

Способен находить индивидуальный подход к людям

Способен проявлять участливость, приходить на помощь

Способен находить общий язык с разными людьми и в разных обстоятельствах

Способен проявлять взвешенность в оценках

Способен общаться с людьми без наигранности и нарочитости

Способен общаться с людьми без грубости и чванства

Средний балл

6.1

6.2 6.3 6.4

6.5

6.6

6.7

Способен воздействовать убедительностью доводов

Способен к волевому воздействию

Способен к эмоциональному воздействию

Способен воздействовать личным примером (действием)

Способен вызывать уверенность в успехе дела

Способен словом побуждать коллектив (группу) к действию (делу)

Способен правильно выбрать момент для воздействии

Средний балл

7.1

7.2

7.3 7.4 7.5

7.6

7.7

Способен смело предъявлять требования

Способен проявлять самостоятельность в предъявлении требований

Способен проявлять гибкость в требованиях

Способен проявлять настойчивость в требованиях

Способен проявлять постоянство в требованиях

Способен выражать требование в разной форме (от шутки до приказа)

Способен находить должную меру требования

Средний балл

8.1

8.2

8.3

8.4

8.5

8.6

8.7

Способен проявлять самостоятельность в оценках других людей

Способен проявлять прямоту и смелость критики, но без придирчивости

Способен к доброжелательной критике

Способен логично и аргументировано делать критические замечания

Способен проявлять глубину и существенность в критических замечаниях

Способен точно дифференцировать поведение и действия людей

Способен к самокритичности в оценке своего поведения

Средний балл

9.1

9.2 9.3 9.4

9.5

9.6

9.7

Способен объективно оценивать свои успехи и неудачи

Способен работать с полной отдачей сил

Способен довести до конца начатое дело

Способен интересы дела ставить выше личных интересов

Способен видеть в ошибках коллектива прежде всего свои личные ошибки как руководи теля

Способен признавать ошибочность своих решений

Способен ответственно выполнять любую работу

Средний балл

Итого:

При обработке результатов исследователь подсчитывает сумму баллов, выставленных по каждой из 9 характеристик. Итоги переносятся в обобщающую таблицу.

 Затем вычисля­ются:

1.Сумма баллов, выставленных в целом каждым экспертом.

2.Средний балл каждого эксперта.

3.Сумма баллов, выставленных всей группой экспертов по
каждой отдельной характеристике.

4.Средние баллы группы по отдельным характеристикам.

5.Общая сумма баллов всех экспертов.

6.Общий средний балл группы экспертов.

Обобщающая таблица

Эксперт

сумма баллов по характеристикам

всего

средний балл

1

2

3

4

5

6

7

8

9

1. …

2….

3…..

4. …

и т.д.

и т. д.

сумма группы

средний бала группы

Общий средний балл позволяет выявить уровень качеств личности руководителя и характеристик способов управления. Так, значения менее 21 интерпретируются как практическая непригодность к выполнению функций руководителя; показа­тели в интервале 21-27 — низкий уровень, показатели от 28 до 35 — средний уровень, и более 36 — высокий уровень.

В том случае, если при обработке результатов выяснится, что максимальная и минимальная экспертные оценки резко отличаются от остальных, то целесообразно исключить их из общего рассмотрения. Значительная вариативность в оценках экспертов может свидетельствовать о неоднородности группы, о разном уровне компетентности экспертов.

ЛИТЕРАТУРА

1.Амонашвили III.Л. Воспитательная и образовательная функция оценки учения школьников. — М., 1984

Лекция «Комплексный технологический контроль и стресс-коррозионный мониторинг состояния МГ» также может быть Вам полезна.

2.Введение в практическую социальную психологию ..Ред. Ю.М.Жуков, JI.Л. Петровская, О.В. Соловьева. — М., 1996

3.Ингенкамп К. Педагогическая диагностика. — М., 1991

А. Основы психодиагностики /Ред. Л.Г. Шмелёв. — Р-н-Д., 1996

5. Практикум по социологии /Ред. И.М. Слепенков, НИ. Дряхлев и др.   —  М.,   1992

6. Практикум по экспериментальной и прикладной психологии / Ред. Л.Л. Крылов. — СПб., 1997

7. Шошин П.Б. Метод экспертных оценок. — М., 1987

Ошибки при оценке экспертиз: практика Верховного суда

Иллюстрация: Право.ru/Петр Козлов

Апелляционные суды могут пересматривать решения первой инстанции, вынесенные на основании экспертиз. Но иногда ошибаются в оценке заключений специалистов, на что обратила внимание гражданская коллегия Верховного суда. Она запрещает апелляции отклонять выводы судебных экспертиз, не назначая новые, если в деле остаются существенные противоречия. Еще нельзя признавать заключения недопустимыми лишь потому, что они выглядят недостоверными. Кроме того, ВС рассказал, что делать суду, если по делу проведено несколько экспертиз, чьи авторы пришли к противоположным выводам. Эти и другие выводы — в подборке свежей практики.

1

Нельзя просто не согласиться с экспертизой или оценкой

Апелляционная инстанция не может просто так отклонить выводы предыдущей судебной экспертизы, ведь она вправе назначить дополнительную, следует из решения Верховного суда по делу № 19-КГ22-25-К5 от октября 2022 года. В нем Элиза Манукян* взыскивала с «Росгосстраха» 600 000 руб. страхового возмещения и неустойки после аварии, в которой пострадал ее BMW.

Судебная автотехническая экспертиза от ООО «Автоэкспертиза» подтвердила, что повреждения машины могли возникнуть из-за этого ДТП. Первая инстанция сочла, что это подтверждает требования истца, и частично их удовлетворила. Но Ставропольский краевой суд отменил это решение и отказал. Помимо других обстоятельств (например, расхождения данных страхового полиса), он проанализировал и выводы судебной экспертизы. По мнению крайсуда, специалист «Автоэкспертизы» лишь предположил, что повреждения могли образоваться из-за ДТП, то есть его выводы носят вероятностный характер. Кассационная инстанция поддержала это решение, но Верховный суд оказался другого мнения. Как указала коллегия под председательством Сергея Асташова, довод о вероятностном характере экспертизы нельзя принять во внимание, поскольку суд мог назначить дополнительную экспертизу по правилам ст. 87 ГПК (о дополнительных и повторных экспертизах).

Похожие аргументы гражданская коллегия ВС высказала в другом деле. Там должник Сергей Апатов* оспаривал результат оценки машины, которую пристав хотел продавать за долги. Правда, судя по описанию, Mitsubishi Outlander был не самым привлекательным лотом: от него остался один поврежденный кузов без стекол, двигателя, колес и номера. По запросу пристава специалист ООО «Аксерли» оценил джип в 257 300 руб., но с этой суммой и не согласился Апатов. Первая инстанция не увидела изъянов в отчете об оценке. Зато Кировский областной суд в 2021 году удовлетворил требование Апатова. Он указал, что объект потерял свои потребительские свойства и не может быть продан как автомобиль, поэтому его стоило оценивать в ином качестве. Таким образом облсуд подверг сомнению выводы оценщика о реальной стоимости джипа.

Верховный суд с этим не согласился. У машины был VIN-номер, а значит, это все еще транспортное средство, а не другой объект. А оценщик, как следует из его отчета, учел отсутствие необходимых узлов и агрегатов. Кроме того, в деле нет доказательств, что эксперт нарушил требования закона «Об оценочной деятельности», ошибочно применил методику оценки или провел исследование неполно, указывается в определении № 10-КАД22-7-К6. Тройка судей отметила: «Если у суда апелляционной инстанции возникли сомнения в объективности отчета о реальной стоимости автомобиля, он был вправе назначить по делу судебную экспертизу». Более того, она не проводилась и в первой инстанции: ходатайств об этом не поступало. С учетом всего этого нет оснований отвергать экспертизу и сумму оценки специалиста ООО «Аксерли». С такими выводами ВС оставил в силе решение Первомайского районного суда Кирова.

Нельзя исключать из дела экспертизы из-за скептичного отношения к ним 

В деле № 30-КГ22-9-К5 по иску Абукара Быдаева* к «Согазу» о выплате порядка 60 000 руб. страхового возмещения суды определяли, а был ли вообще страховой случай. На этапе разбирательства у финансового уполномоченного эксперты «Апэкс Груп» заключили, что повреждения машины не соответствуют обстоятельствам ДТП. Напротив, судебная экспертиза и рецензия эксперта-техника подтвердила страховой случай. Первая инстанция с этим согласилась и обязала «Согаз» перечислить деньги. 

Но апелляционная сочла страховой случай недоказанным. В частности, она назвала рецензию эксперта-техника недопустимым доказательством, поскольку эксперт излагал утверждения, не приводя данные своих исследований, не раскрывал источники сведений об обстоятельствах ДТП и повреждениях и плохо мотивировал выводы. С таким заключением Верховный суд Карачаево-Черкесии отказал истцу.

Верховный суд не согласился. По мнению коллегии под председательством Александра Киселева, вывод о недопустимости рецензии был сделан по результатам критической оценки. Но скептичное отношение суда к методам проведения экспертизы, квалификации эксперта и его выводам не делает представленное доказательство недопустимым, напомнили судьи ВС со ссылкой на смысл ст. 60 ГПК об экспертизах. 

Критическое отношение суда к методам проведения экспертизы, квалификации эксперта и его выводам не делает представленное доказательство недопустимым.

Судьи ВС указали: гражданское процессуальное законодательство не содержит такого понятия, как достоверное доказательство по делу. А поэтому решение апелляционной инстанции не принимать экспертные заключения, оцененные первой инстанцией, противоречит закону. Достоверность — это всего лишь один из критериев оценки доказательств.

Получилось, что апелляционный суд отменил решение нижестоящей инстанции, но сам не выяснял, был страховой случай или нет. Ему предстоит это сделать при пересмотре дела в соответствии с указаниями второй кассации.

Похожие выводы сделаны в разбирательстве № 41-КГ22-31-К4. Там ВС напомнил: иная точка зрения суда апелляционной инстанции на вопрос о необходимости или целесообразности судебной экспертизы сама по себе не основание признать заключение недопустимым. Если выявлены противоречия выводов эксперта и других доказательств, это тоже относится к их оценке.

3

Нельзя оставлять противоречия в деле

Иногда эксперты приходят к противоположным выводам. В таком случае нельзя принимать во внимание лишь одно из заключений, без объяснений отказываясь от других. На это указал Верховный суд в деле № 20-КГ22-11-К5, где Омар Курбанов* взыскивал с «Согаза» деньги за повреждения своей Maserati Quattroporte в ДТП. Компания перечислила ему 223 800 руб., но независимая экспертиза, которую заказал Курбанов, насчитала ущерба на 400 659,39 руб. Дальше состоялось еще несколько экспертиз:

  • В 233 200 руб. оценила повреждения ООО «Консалтинг Групп». Эта экспертиза проводилась на этапе разбирательства у финансового уполномоченного. Опираясь на ее результат, он отказал Курбанову.
  • Сумму в 400 623,82 руб. назвал ООО «Республиканский центр экспертиз и оценки» (первая судебная экспертиза).
  • 429 300 руб. насчитали эксперты ООО «АНЭ «Эксперт-Техно» (вторая судебная экспертиза).

Советский райсуд Махачкалы проанализировал все четыре заключения, в итоге принял во внимание результаты судебных экспертиз и обязал «Согаз» доплатить. Но Верховный суд Дагестана в 2021 году отклонил требования Курбанова. Он счел «ясным, полным и непротиворечивым» экспертное исследование, которое получили на этапе разбирательства у финансового уполномоченного. А его выводы не вызвали у апелляционной инстанции сомнений в правильности и обоснованности. Как отметил ВС Дагестана, райсуд не привел оснований для назначения судебной экспертизы. Эту точку зрения поддержал и кассационный суд.

Но не согласился Верховный суд. Он напомнил: суды обязаны объяснять, почему принимают одни доказательства и отвергают другие (ч. 4 ст. 67 и п. 2 чт. 4 ст. 198 ГПК). Апелляционный суд этого не сделал. Он положил в основу решения только одно экспертное исследование и не обосновал, в чем его преимущество перед другими. 

В деле было четыре заключения экспертиз с разными выводами, включая две судебных. Но апелляция отдала предпочтение только одной из них, не объяснив, чем она лучше. 

В решении апелляции не объясняется, почему результаты судебных экспертиз порочны и не могут быть оценены как доказательства, говорится в определении Верховного суда. Кроме того, по его мнению, апелляция лишь формально указала на то, что райсуд не привел оснований для назначения судебной экспертизы, хотя можно было обратить внимание, что в деле уже имеются два противоречащих друг другу заключения. С такими выводами в сентябре 2022 года гражданская коллегия ВС направила дело на новое рассмотрение в апелляцию (информации о пересмотре на сайте суда нет).

Сходные указания можно найти и в других недавних определениях Верховного суда. Например, в определении № 22-КГ22-7-К5 ситуация и решение очень похожи на дело Курбанова.

В другом разбирательстве речь шла об установлении факта страхового случая. В первой инстанции судебная экспертиза подтвердила, что он был. Но апелляционный суд не согласился с этим, поскольку автора экспертизы на тот момент не было в госреестре экспертов-техников. Но в таких обстоятельствах следовало назначить повторную судебную экспертизу, чтобы установить, был ли все-таки страховой случай или нет, поскольку это значимое обстоятельство, говорится в определении от 16 декабря 2022 года № 20-КГ22-17-К5. С такими указаниями дело направили на пересмотр.

* Имена и фамилии изменены редакцией.

Экспертные ошибки — это суждение эксперта или его действия, которые не соответствуют объективной действительности и не приводят к цели экспертного исследования. Экспертные ошибки являются результатом добросовестного заблуждения.

налоговая

Классификация экспертных ошибок

Профессор Е.Р. Россинская, заведующая кафедрой судебных экспертиз МГЮА, д.ю.н. предложила следующую классификацию:

  • ошибки процессуального характера;
  • гносеологические ошибки;
  • Деятельностные, или операционные ошибки.

Остановимся на каждом из трёх классов.

1. Ошибки процессуального характера

Эти ошибки возникают когда:

— эксперт нарушает процессуальный режим и процедуру производства экспертизы;
— эксперт выходит за пределы своей компетенции;
— эксперт выражает инициативу в форме, не предусмотренной законом;
— эксперт самостоятельно собирает материалы/объекты экспертизы;
— эксперт обосновывает выводы не результатами, а материалами дела;
— эксперт контактирует с заинтересованными лицами, и этот контакт не санкционирован судом или следователем;
— эксперт принимает материалы для экспертизы от неуполномоченных лиц;
— в экспертном заключении отсутствуют необходимые реквизиты.

2. Гносеологические ошибки

Причина этого класса ошибок лежит в сложности процесса экспертного познания. Такие ошибки возникают при познании сущности, свойств и признаков объектов экспертизы, также отношений между ними. Ошибки могут появится и при оценке результатов познания, итогов экспертного исследования, их интерпретации.

В учебной литературе гносеологические ошибки делят на логические и фактические (предметные).

Логическая ошибка — это нарушение какого-либо закона, правил и схем логики. Логические ошибки связаны с нарушением в акте мышления законов и правил логики, некорректным применением логических приемов и операций, например смешение причинной связи с простой последовательность во времени или обоснование тезиса аргументами, из которых данный тезис логически не вытекает.

Фактические ошибки обусловлены незнанием предмета и фактического положения дел. Фактические (предметные) ошибки появляются от искаженного представления об отношениях между предметами объективной действительности. Распространенной ошибкой является омонимия — смешение или подмена понятий. Эта ошибку относят к фактическим.

3. Деятельностные (операциональные) ошибки

Ошибки, связанные с деятельностью (процедурами), которую осуществляет эксперт. Например, он нарушил последовательность, неправильно использовал средства исследования, применял непригодные технические и иные средства исследования и т.д.

Есть ошибки, которые не зависят от эксперта. Их причины:

— в отсутствии разработанной и апробированной методики;
— в несовершенстве используемой экспертной методики;
— в применении ошибочно рекомендованных методов;
— в применении методов, находящихся в стадии экспериментальной разработки;
— в применении неисправного оборудования;
— в использовании методов и приборов, не обладающих достаточной чувствительностью или разрешающей способностью;
— в использовании для измерений физических величин приборов, не относящихся к сертифицированными средствам измерений;
— в применении неповеренных средств измерений и эталонов;
— в использовании неаттестованных методик измерений физических величин;
— в использование неправильных математических моделей и компьютерных программ;
и др.

Есть и субъективные экспертные ошибки. Которые могут являться причиной:

— профессиональной некомпетентности эксперта;
— неправильной оценки идентификационной значимости признаков, результатов, полученных другими членами комиссии при производстве комплексной экспертизы, и т.д.;
— неполноты или односторонности исследования;
— пренебрежения правилами и условиями применения методик экспертного исследования и технических средств;
— профессиональными упущениями эксперта; эксперт неаккуратен и небрежен, поверхностно провёл исследования и др. 

Экспертные ошибки могут быть связаны с определенными чертами личности эксперта. Речь идёт: 

— о дефектах или недостаточной остроте органов чувств эксперта: зрения, слуха и т.д.;
— о неординарном психологическом состоянии эксперта или его измененном сознании после/вследствие болезни, стресса и др.;
— о характерологических свойствах личности, например, неуверенности в своих знаниях, повышенной внушаемости, мнительности, излишней самоуверенности и др.;
— о психоэмоциональных свойствах: темперамент, психологическая устойчивость, волевые качества, мотивационные установки и т.д.;
— о стремлении проявить экспертную инициативу без достаточных к тому оснований;
— о дефектах в организации и планировании экспертного исследования.

Ошибки могут являться следствием и некритического осмысления материалов дела, предыдущего экспертного заключения, поведения руководителей, следователя, иных участников судопроизводства.

Кто и когда обнаруживаются ошибки?

В первую очередь ошибки обнаруживает сам эксперт, особенно на стадии формулировании выводов. Затем заметить ошибки может комиссия экспертов при производстве комиссионной или комплексной экспертизы, при контроле хода и результатов, которые осуществляет руководитель учреждения.

Также ошибки могут быть выявлены при оценке заключения эксперта следователем или судом (первой, апелляционной, кассационной, надзорной инстанций). А также при обобщении экспертной практики, осуществляемом в практических или научных целях.

Если обнаруженные ошибки повлекли за собой неправильный вывод эксперта, то руководитель экспертного учреждения ставит об этом в известность орган, назначивший экспертизу.

Важно: умение отличать экспертные ошибки и заведомую ложность заключения.

Так как заведомая ложность — это умышленное действие, направленное на сознательное и целенаправленное игнорирование или умалчивание при исследовании существенных фактов и свойств объекта экспертизы. И оно может состоять:

  • в осознанных неверных действиях по проведению экспертизы;
  • в умышленно неверном применении или выборе методики экспертного исследования;
  • в заведомо неправильной их оценке.

Добросовестное заблуждение — это осознание экспертом ложности своих выводов или неправильности действий; это такое психологическое состояние, при котором субъект не осознает неправильности своих суждений или действий, а искренне полагает, что мыслит и действует правильно.

Естественно, ошибка может крыться и в исходных данных, которые могут быть сфальсифицированными. В этом случае нельзя говорить об экспертной ошибке, поскольку причиной является ошибка субъекта, назначившего экспертизу, либо его умышленно неправильные действия/правонарушения.

Как предупредить возникновение экспертных ошибок?

Возможности предупреждения экспертных ошибок во многом зависят от специфики того или иного рода или вида судебной экспертизы.

Ученые выделяют следующие подходы к предотвращению появления ошибок:

  • полнота и достаточность представляемых на экспертизу объектов и материалов;
  • совершенствование методов и средств экспертного исследования, внедрение в экспертную практику современных высокотехнологических и компьютеризированных методов исследования объектов экспертизы, активное развитие информационного обеспечения экспертной деятельности; 
  • профессиональная подготовка квалифицированных экспертных кадров, подтверждение и повышение квалификации экспертов в рамках целевой профессиональной переподготовки; 
  • контроль качества экспертных исследований, в том числе взаимное и внешнее контрольное рецензирование экспертных заключений с привлечением независимых специалистов.

 Источник: 

  • Судебная экспертиза: типичные ошибки / Е.И. Галяшина, В.В. Голикова, Е.Н. Дмитриев и др.; под ред. Е.Р. Россинской. М.: Проспект, 2012.
  • Энциклопедия судебной экспертизы. Под ред. Т.В. Аверьяновой и Е.Р Россинской. М.: «Юрист», 1999.

Заключение эксперта является одним из доказательств в уголовном судопроизводстве (п. 3 ч. 2 ст. 74 УПК РФ), содержит информацию о фактах, полученную посредством использования специальных знаний. К заключению эксперта в уголовном судопроизводстве предъявляются такие же требования, как и к другим видам доказательств.

Кроме того, Федеральный закон от 31 мая 2001 г. N 73-ФЗ «О государственной судебно-экспертной деятельности в Российской Федерации» (статья 8)предъявляет дополнительные требования к объективности, всесторонности и полноте экспертных исследований: «Эксперт проводит исследования объективно, на строго научной и практической основе, в пределах соответствующей специальности, всесторонне и в полном объёме.

Заключение эксперта должно основываться на положениях, дающих возможность проверить обоснованность и достоверность сделанных выводов на базе общепринятых научных и практических данных».

Экспертизу, как самостоятельную форму применения специальных знаний, определяет совокупность признаков: —  процессуальная форма экспертного исследования; — значимость для органов предварительного расследования и суда устанавливаемого фактического обстоятельства; —  применение допустимых методов исследования компетентными специалистами; —  научная и фактическая обоснованность выводов в экспертном заключении.  

Законы развития свидетельствуют об ускорении развития науки в условиях научно-технического прогресса. Поэтому, как бы ни был широк кругозор юриста (дознавателя, следователя, судьи, адвоката), он не может охватывать всего спектра существующих научных знаний. Решить задачи установления элементов предмета доказывания посредством применения специальных знаний при исследовании фактических обстоятельств юристу помогают эксперт и специалист, которые являются проводниками специальных знаний различных отраслей науки в уголовном процессе.

К государственным экспертам законом предъявляются четкие требования: «Государственные судебно-экспертные учреждения одного и того же профиля осуществляют деятельность по организации и производству судебной экспертизы на основе единого научно-методического подхода к экспертной практике, профессиональной подготовке и специализации экспертов» (ст. 11 Федерального закона от 31 мая 2001 г. N 73-ФЗ «О государственной судебно-экспертной деятельности в Российской Федерации»).

Но даже наличие необходимого уровня специальной подготовки, обеспечения необходимым оборудованием и методическим сопровождением не гарантирует эксперта от совершения ошибок. Экспертные ошибки — это не соответствующие объективной действительности суждение эксперта или его действия, не приводящие к цели экспертного исследования, являющиеся результатом добросовестного заблуждения [1].

Цена экспертной ошибки высока: ошибка эксперта превращается в следственную и судебную ошибку. Попытки классифицировать экспертные ошибки по различным основаниям предпринимаются регулярно. В основе любой классификации лежат сущностные и содержательные признаки компонентов классификации. Автор любой классификации всегда сталкивается с проблемой, которую очень точно выразил один из литературных персонажей: «Нельзя объять необъятное».

Тем не менее, обойтись без классификации невозможно, поскольку она упорядочивает все многообразие объектов, явлений и вопросов, формируя устойчивые группы по сходному основанию. Одна из последних классификаций экспертных ошибок дана Россинской Е.Р. и Галяшиной Е.И. [7], которые делят все экспертные ошибки на три класса:

1. Ошибки процессуального характера:

— нарушение экспертом процессуального режима и процедуры производства экспертизы;
— выход эксперта за пределы своей компетенции;
— выражение экспертной инициативы в непредусмотренных законом формах;
— самостоятельное собирание материалов и объектов экспертизы;
— обоснование выводов материалами дела, а не результатами исследования;
— осуществление несанкционированных судом (следователем) контактов с заинтересованными лицами;
— принятие поручения на производство экспертизы и материалов от неуполномоченных лиц;
— несоблюдение процессуальных требований к заключению эксперта (в том числе отсутствие в заключении необходимых по закону реквизитов).  

2. Гносеологические ошибки:

— логические ошибки;
— фактические  (предметные) ошибки.  

3. Деятельностные (операционные) ошибки:

— нарушении предписанной последовательности процедур;
— неправильное использовании средств исследования;
— использовании непригодных технических и иных средств исследования;
— получении недоброкачественного сравнительного материала;
— отсутствие разработанной и апробированной методики;
— несовершенство используемой экспертной методики;
— применение ошибочно рекомендованных методов;
— применение методов, находящихся в стадии экспериментальной разработки;
— применение неисправного оборудования;
— использование методов и приборов, не обладающих достаточной чувствительностью или разрешающей способностью;
— использование для измерений физических величин приборов, не относящихся к сертифицированными средствам измерений;
— применение непроверенных средств измерений и эталонов;
— использование неаттестованных методик измерений физических величин;
— использование неправильных математических моделей и компьютерных программ;
— применение нелицензионных программ для ЭВМ;
— отсутствие полных данных, характеризующих идентификационную и диагностическую значимость признаков, устойчивость их отображений в следах и др.

К субъективным причинам экспертных ошибок авторы относят:

— профессиональную некомпетентность эксперта: незнание современных экспертных методик, неумение пользоваться теми или иными техническими средствами, инструментами; неприменение рекомендованного метода, оптимального для данной экспертной ситуации; неправильная оценка идентификационной значимости признаков, результатов, полученных другими членами комиссии при производстве комплексной экспертизы и т.д.;
— неполноту или односторонность исследования;
— пренебрежение правилами и условиями применения методик экспертного исследования и технических средств;
— профессиональные упущения эксперта: небрежность, неаккуратность, поверхностное производство исследования, пренебрежение методическими рекомендациями, правилами пользованиями техническими средствами и приборами, неполное выявление существенных признаков объекта; использование не всех известных эксперту методов исследования, игнорирование тех или иных свойств объектов или их взаимозависимости;
— дефекты или недостаточная острота органов чувств эксперта: зрения, слуха и т. д.;
— неординарное психологическое состояние эксперта или его измененное сознание, например, вследствие болезни, переутомления, стресса, тревоги, эмоционального или психического напряжения, поспешности;
— характерологические свойства личности эксперта (неуверенность в своих знаниях, повышенная внушаемость, мнительность, конформизм или, наоборот, излишняя самоуверенность, амбициозность, пренебрежение мнением коллег);
— психоэмоциональные свойства эксперта (темперамент, психологическая устойчивость, волевые качества, мотивационные установки и т.д.);
— стремление проявить экспертную инициативу без достаточных к тому оснований, утвердить свой приоритет в применении нетривиальных методов и оригинальных решений экспертной задачи, отличиться новизной и дерзостью решения, самобытностью суждений и неординарностью выводов;
— логические дефекты умозаключений эксперта;
— дефекты в организации и планировании экспертного исследования.  

Классифицируемые группы экспертных ошибок, предложенные Россинской Е.Р. и Галяшиной Е.И., являются открытыми, поскольку невозможно перечислить все варианты ошибок, допускаемых экспертами и субъектами, назначающими экспертизу.

К процессуальным ошибкам, допускаемым следователем (дознавателем, судьёй, судом) можно отнести:

— постановку перед экспертом вопросов, не входящих в его профессиональную компетенцию;
— постановку перед экспертом правовых вопросов, связанных с оценкой деяния;
— представление эксперту в качестве объектов исследования копий документов либо производных доказательств (например, описаний рентгенограмм вместо самих рентгеновских снимков);
— представление эксперту всех материалов дела вместо необходимых документов;
— предоставление эксперту возможности самому получить объекты исследования и т.п.  

Одним из сложных видов судебной экспертизы в уголовном судопроизводстве является экспертиза по делам, связанным с ненадлежащим оказанием медицинской помощи. Объективная сторона преступления выражается в действии либо в бездействии медицинского работника, являющимся причиной наступления смерти человека, либо причинения тяжкого вреда здоровью.

Субъект преступления, при этом,  нарушает установленные правила, должностные инструкции, стандарты диагностики и лечения. Перекладывая на экспертов обязанность установления причинно-следственной связи между деянием медицинского работника и преступными последствиями, следователь или суд, фактически требуют от эксперта дать правовую оценку действиям медицинского работника!

Особо абсурдно такой подход выглядит, в тех случаях, когда преступление совершается путем бездействия. Тот факт, что большинство случаев с тяжкими последствиями некачественного оказания медицинской помощи так и не находит адекватной судебной оценки, свидетельствует о серьёзных пробелах в методике расследования указанной группы преступлений.

По заявлению гражданки Ш. о бездействии врачей одной из больниц г. Воронежа, повлекшем, по мнению заявителя,  смерть её сына от несвоевременно выявленной пневмонии, проверка сообщения о преступлении продолжалась больше года. Постановления об отказе в возбуждении уголовного дела выносились девять раз, а отменялись, как правило,  уже после обращения в суд с жалобой в порядке, предусмотренном ст. 125 УПК РФ, на решение, принятое следователем.

За время затянувшейся проверки сообщения о преступлении было вынесено три решения Судебной коллегии по уголовным делам Воронежского областного суда, в двух из которых критике была подвергнута деятельность судей районного суда и правоохранительных органов, вынесены частные определения в адрес следователя, руководителя следственного отдела и прокурора.

Уголовное дело было возбуждено спустя 1 год и 2 месяца со времени наступления смерти пациента. Судебная экспертиза, о необходимости производства которой более года говорилось и в жалобах заявителя, и в решениях судов на стадии проверки сообщения о преступлении,  — была назначена только спустя более трех месяцев после возбуждения уголовного дела! И это при том, что преступление, предусмотренное ч. 2 ст. 109 УК РФ, по которому возбуждено уголовное дело № 11118047, относится к преступлениям небольшой тяжести, срок давности уголовного преследования по которым составляет всего два года (ч. 2 ст. 15 УК РФ)! 

Эксперты не провели элементарного исследования гистологического материала, не изучили показания свидетелей-врачей, полученные после возбуждения уголовного дела, а ограничились только лишь поверхностным анализом сведений из исследовательской части Акта комиссионного судебно-медицинского исследо­вания трупа гражданина Ш., который никакого отношения непосредственно к исследованию трупа не имеет, так как составлен уже спустя продолжительное время после похорон по материалам проверки. В результате эксперты связали причину смерти Ш. с пневмонией, а также указали на отсутствие причинно-следственной связи между действием врачей и смертью Ш.

После такого экспертного заключения следователю ничего не оставалось, как прекратить уголовное дело (Постановление от 23.04. 2012 года заместителя руководителя следственного отдела Железнодорожного района г. Воронежа СУ СК России по Воронежской области Н. о прекращении уголовного дела № 11118047).  

Подавляющее большинство судебных экспертиз в настоящее время проводится сотрудниками государственных судебных экспертных учреждений — специально подготовленными и аттестованными экспертами, поэтому, оценка достоверности заключения эксперта в ряде случаев носит чисто формальный характер.

Практика показывает, что при оценке заключения эксперта суды всех звеньев используют универсальную трафаретную формулу: «Оснований сомневаться в заключениях экспертов не имеется, поскольку экспертизы проведены компетентными экспертами, предупрежденными об уголовной ответственности, имеющими высшее медицинское образование и достаточно большой стаж работы по специальности, сами заключения полностью соответствуют предъявляемым к ним законом, в том числе требованиям ст. 204 УПК РФ (Постановление судьи Советского районного суда г. Воронежа С. от 16.01.2013 г. по уголовному делу в отношении О., обвиняемого в совершении преступления, предусмотренного ч. 2 ст. 318 УК РФ)».

Несмотря на то, что в большинстве экспертных заключений не выполняются требования п. 9 ч. 1 ст. 204 УПК РФ об обязательном указании применённой экспертной методики, указанная формула позволяет судьям не прибегать к более тщательной проверке и оценке заключения эксперта.

Под экспертной методикой понимается научно обоснованная последовательность действий для решения конкретной (типовой) экспертной задачи, т.е. методика, в которой выражен обобщенный опыт решения типовой (часто встречающейся в практике) экспертной задачи, а ее содержание представляет собой совокупность основных данных об объектах исследования, экспертной задаче, оборудовании, материалах и способах ее решения.

В каждой экспертной методике должны быть представлены:
1) реквизиты — набор удостоверяющих ее данных, и
2) структура — представленная в логической последовательности совокупность основных этапов ее реализации [8].

Другие варианты оценки заключения эксперта, используемые судами, также свидетельствуют об упрощенном подходе к относимости, достоверности и допустимости указанного вида доказательств, хотя в них и присутствует ссылка на мотивированность и обоснованность заключения.

В надзорном определении Судебной коллегии по уголовным делам Верховного суда РФ от 27.06.2012 г. по делу № 92-Д12-1 отмечается: «Заключение судебно-баллистической экспертизы мотивировано, экспертиза проведена в соответствии с требованиями закона высококвалифицированными специалистами. Поэтому оснований не доверять выводам, изложенным в заключении, не имеется».

При прослеживающейся тенденции к минимализму, более приемлемым подходом к оценке заключения эксперта можно считать суждение, сделанное в надзорном определении судебной коллегии по уголовным делам Верховного суда Российской Федерации от 04.04.2012 г. по делу № 34-Д12-2: «Из заключений фоноскопических экспертиз № 57 и № 458эк-07 следует, что в результате комплекса акустических и лингвистических исследований установлено, что речь представленных на исследование электронных носителях принадлежит А, Б и С. Не доверять заключениям фоноскопических экспертиз, оснований не имеется, так как экспертизы были проведены компетентными лицами в установленном порядке, выводы экспертов научно обоснованны».

Тем не менее, стоит помнить о том, что упрощенный подход к оценке заключения эксперта содержит потенциал судебной ошибки при вынесении итогового решения по делу, так как основан на полном доверии к эксперту и вере в его профессиональную безупречность при проведении исследования и формулировании выводов [4].  

До сих пор сохраняется дуалистический подход к заключению эксперта в уголовном процессе. При оценке заключения эксперта, как одного из видов доказательств, обычно допускаются две крайности: слепая вера в непогрешимость государственных экспертов, с одной стороны, и скептическое отношение к преимуществам заключения эксперта перед показаниями свидетелей, с другой.

Встречаются случаи, когда суд, решая вопрос  о давности и механизме образования телесных повреждений (кровоподтеков), предпочитает верить свидетелям, а не экспертам. Приговором мирового судьи судебного участка № 3 Железнодорожного района г. Воронежа от 22.02.2012 года по делу 1-1/2012 были оправданы Г. и Л., которые обвинялись в совершении преступления, предусмотренного ч.1 ст. 116 УК РФ.

Мировой судья, проигнорировав  мнение эксперта в заключении, и доводы частного обвинителя о давности образования телесных повреждений, вынес оправдательный приговор, основанный на показаниях свидетелей, явившихся в суд по просьбе стороны защиты.

Апелляционным постановлением судьи Железнодорожного районного суда г. Воронежа М. от 12.05.2012 г. по делу № 10-8/2012 оправдательный приговор оставлен без изменения.

Потерпевшей К. была подана кассационная жалоба, и Судебная коллегия по уголовным делам Воронежского областного суда отменила оба судебных решения, признав их незаконными, и направила дело на новое рассмотрение.  

Дискуссия о месте заключения эксперта в системе доказательств ведётся с конца XIX века. Автор «Руководства к изучению судебной медицины», изданного для юристов, 1885 г.», г-н Штольц писал: «Раз эксперт судья фактов, он равноправен на судебном следствии с присяжными и, следовательно, имеет возможность с пользою служить делу правосудия. Нет этого — руки эксперта связаны». 

«Теория эксперта – научного судьи» была выдвинута немецким ученым Миттермайером в 60-х гг. XIXв. Согласно этой теории экспертиза — особый вид уголовных доказательств, во многом схожий с косвенным доказательством или уликой. Исходным пунктом, по мнению Миттермайера, должна быть мысль, что сущность этого доказательства состоит в мнениях, высказываемых сведущими людь­ми по предметам их специальности. Экспер­ты — это научные судьи факта (judicesfakti).

Концепция Миттермайера была активно поддержана в России известным процессу­алистом Л.Е. Владимировым, который отмечал: «Эксперты, основывающие свои заключения на какой-либо науке, суть научные судьи, приговор которых является решением специального вопроса в деле. Этот приговор принимается за доказательство. Но он доказательство не потому, что судьи и присяжные действительно убедились в научной правильности заключения эксперта, а потому что он исходит от специалистов, имеющих все данные для основательного решения вопроса.

Судьи и присяжные не могут быть посвящены в тайны науки в течение одного судебного заседания; они не могут критически относиться к экспертизе, для понимания оснований которой требуется целый ряд лет научных занятий. Им остается только следовать авторитетному указанию эксперта. Суд самостоятелен в выборе экспертов. Но раз, последние выбраны, судья следует за ними, как слепой за своим поводырем.

Конечно, и судья имеет кое-какие внешние признаки для заключения о достоинстве данной на суде экспертизы. Но понятно, что эти внешние признаки правильности экспертизы не делают для судьи доступною критическую оценку научной ее стороны. Вот почему научный эксперт и является судьёю научного вопроса в уголовном деле…

Нелепое предположение, что присяжный заседатель, заняв место в суде, превращается в какое-то удивительное существо, которое, будучи иногда даже еле грамотно, способно понимать и критиковать глубочайшие вопросы науки, кажется, уже кончило свое существование» [3]. Оспаривая в некоторых деталях рассуждения Миттермай­ера, он соглашался с ним в главном: на мне­нии экспертов основано судебное решение, оно служит ему таким же фундаментом, как и вердикт присяжных заседателей; экспер­ты обладают такими познаниями, какими не обладает суд, поэтому мнение их не мо­жет быть проверяемо судом.

Большинство ведущих русских процессуалистов отрицательно отнеслись к концепции Миттермайера — Владимирова. Фойницкий И.Я. считал, что если бы мнение экспертов стало обязатель­ным для суда, это означало бы возврат к инквизиционной теории формальных дока­зательств [9].

Отличие специалистов от экспертов в то время было менее размытым, чем теперь. Специалист в уголовном процессе занимал промежуточное положение между экспертом и свидетелем и именовался «справочным свидетелем», т.е. «сведущим лицом, вызываемым для дачи справок», и, конечно, по мнению Владимирова Л.Е., не являлся научным судьей [5].

Особенность экспертизы проявляется в том, что заключение экс­перта по самой своей природе всегда должно быть основано на других доказательствах по делу, т.е. является производным доказательством. Сложность заключается в том, что эксперт в результате излишней уверенности в своей компетенции, в определенных случаях, вместо того, чтобы сообщить следователю (суду) о том, что представленных материалов недостаточно для реше­ния поставленной задачи использует «нейтральные» для ре­шения поставленной задачи признаки.

Для людей, не посвя­щенных в предмет исследования, подобный подход эксперта к оценке фактических обстоятельств медицинского характера, обычно, сомнений не вызывает. Тем более, в определенных случаях,  инициатива эксперта вполне оправданна и похвальна [2]. Существует большая разница между функциями эксперта и судьи.

В то время, как судья при осуществлении функции правосудия свободен от необходимости устанавливать истину по делу, как раз задача установления истины посредством применения специальных знаний и является функцией эксперта. Эксперт вправе дать ответ на поставленный вопрос, когда сам сочтёт, что имеет достаточно осно­ваний для его решения.

Эксперт может и не отвечать на вопрос следователя или суда, более того, в ряде случаев он просто обязан воздержаться от дачи ответа (п. 6 ч. 3 ст. 57 УПК РФ). Далеко не каждое раскрытое преступление становится предметом судебного разбирательства, не каждое судебное разбирательство завершается обвинительным приговором, и не каждый обвинительный приговор содержит в себе истинное знание [6].

Р.С. Белкин прогнозировал возврат к указанной выше доктрине и предупреждал: «Концепция «эксперта — научного судьи» не получила реализации в судебной практи­ке. Однако при усложнении современных процессов экспертного исследования и при­меняемых экспертами новых методов можно пред­полагать возрождение этой концепции в каком-либо «осовремененном» виде» [1].  

Процессуальный порядок назначения и производства экспертизы в уголовном процессе регулируется ст. 57, 195 — 207, 283 УПК РФ. Правовая основа, принципы организации и основные направления государственной судебно-экспертной деятельности в Российской Федерации определяются Федеральным законом «О государственной судебно-экспертной деятельности в Российской Федерации» от 31 мая 2001 г. № 73-ФЗ.

Важным элементом тактики проведения экспертизы, от которого в высокой степени зависит результативной экспертизы в целом, — является выбор экспертного учреждения или эксперта, которому поручается исследование. Кассационная коллегия ВС РФ в определении от 16.09.2004 г. № КАС04-451 отметила: «Судебно-медицинская экспертиза по материалам уголовных и гражданских дел не может в принципе создавать угрозу для жизни и здоровья людей, поскольку не является собственно медицинским вмешательством, в связи с чем, — не подлежит лицензированию».

С  1 января 2012 года вступила в силу статья 62 Федерального закона от 21.11.2011 N 323-ФЗ «Об основах охраны здоровья граждан в Российской Федерации». В соответствии с положением указанной статьи, судебно-медицинская экспертиза проводится в целях установления обстоятельств, подлежащих доказыванию по конкретному делу, в медицинских организациях экспертами в соответствии с законодательством Российской Федерации о государственной судебно-экспертной деятельности. Согласно положениям статьи 1 Федерального закона от 31.05.2001 N 73-ФЗ «О государственной судебно-экспертной деятельности в Российской Федерации», государственная судебно-экспертная деятельность осуществляется в процессе судопроизводства государственными судебно-экспертными учреждениями и государственными судебными экспертами (далее также — эксперт), состоит в организации и производстве судебной экспертизы.

Статья 41 того же федерального закона предусматривает возможность проведения судебной экспертизы и вне государственных судебно-экспертных учреждений: «В соответствии с нормами процессуального законодательства Российской Федерации судебная экспертиза может производиться вне государственных судебно-экспертных учреждений лицами, обладающими специальными знаниями в области науки, техники, искусства или ремесла, но не являющимися государственными судебными экспертами.

На судебно-экспертную деятельность лиц, указанных в части первой настоящей статьи, распространяется действие статей 2,4,6 — 8,16 и 17, части второй статьи 18,статей 24 и 25 настоящего Федерального закона».

Анализ положений статьи 41 Федерального закона от 31.05.2001 N 73-ФЗ показывает, что к лицам, обладающим специальными знаниями в области науки, техники, искусства или ремесла, но не являющимися государственными судебными экспертами, не предъявляются профессиональные и квалификационные требования, предусмотренные статьёй 13 Федерального закона от 31.05.2001 N 73-ФЗ «О государственной судебно-экспертной деятельности в Российской Федерации».

Таким образом, негосударственные судебные эксперты не обязаны подвергаться аттестации на право самостоятельного производства судебной экспертизы, осуществляемой экспертно-квалификационными комиссиями в порядке, установленном нормативными правовыми актами соответствующих федеральных органов исполнительной власти. Уровень профессиональной подготовки негосударственных экспертов не подлежит пересмотру указанными комиссиями каждые пять лет.

Казалось бы, изменения законодательства устранили монополию экспертных учреждений Минздрава на производство судебно-медицинских экспертиз и создало предпосылки для производства подлинно-независимой судебно-медицинской экспертизы, как в экспертных учреждениях других ведомств, так и вне их. Но это только – на первый взгляд.

В пункте 5 Постановления Пленума Верховного Суда РФ от 21.12.2010 г. № 28 «О судебной экспертизе по уголовным делам» разъясняется порядок назначения экспертиз учреждениям и экспертам: В тех случаях, когда в государственном судебно-экспертном учреждении, обслуживающем определенную территорию, невозможно производство судебной экспертизы в связи с отсутствием эксперта конкретной специальности или надлежащей материально-технической базы либо специальных условий для выполнения исследований, а также при наличии обстоятельств, указанных в статье 70 УПК РФ, т.е. когда все компетентные государственные судебно-экспертные учреждения на данной территории не могут выступить в этом качестве, ее производство может быть поручено государственным судебно-экспертным учреждениям, обслуживающим другие территории, негосударственному судебно-экспертному учреждению или лицу, не работающему в судебно-экспертном учреждении, в том числе сотруднику научно-исследовательского учреждения, вуза, иной организации, обладающему специальными знаниями и имеющему в распоряжении необходимое экспертное оборудование.

В определении (постановлении) о назначении экспертизы суду следует мотивировать поручение исследований экспертным учреждениям либо конкретному лицу». Вряд ли, после такого подробного разъяснения найдётся следователь или судья, который при наличии в регионе государственного экспертного учреждения, специализирующегося на конкретном виде экспертиз, поручит производства такого же вида экспертизы в негосударственном экспертном учреждении либо поручит экспертизу мифическому «независимому эксперту.

Следователь, кроме традиционно приглашаемого судебно-медицинского эксперта, может пригласить для участия в следственном действии в качестве специалиста, например сотрудника регионального центра судебной экспертизы Министерства юстиции РФ, Министерства обороны РФ, преподавателя кафедры судебной медицины, врача-нейрохирурга и др. Специалист, участвующий в производстве следственных действий, значительно расширяет возможности применения специальных знаний, так как вооружает следователя вспомогательной информацией, ориентирует его на новые источники доказательств.

Участие специалиста в уголовном процессе регламентировано: п. 3 ч. 1 ст. 53; ст. 58; ст. 71; ст. 80; ч.1 ст. 144; ч. 5 ст. 164; ст. 168; ст. 178; ст. 179; ст. 184; ч. 5 ст. 185; ч. 7 ст. 186; ч. 3 ст. 202; ст. 251; ст. 270; ст. 271; ст. 287; ст. 288 и ст. 290 УПК РФ.

Следователь и специалист при производстве следственных действий могут использовать различные приемы и средства для установления источников доказательств. Специалист, в отличие от эксперта, отвечает на вопросы, требующие применения специальных знаний, без производства специальных исследований, используя свой опыт и теоретическую подготовку. При этом обязательным является использование той же нормативной базы, к которой обращаются и государственные эксперты.

Данное условие является определяющим в обеспечении научности и объективности заключения специалиста. Не  стоит переоценивать возможности специалиста, часто привлекаемого стороной защиты для оценки заключения эксперта. Судебная практика показывает, что отказ суда в приобщении к делу лиц, приглашенных адвокатами в качестве специалистов, является обоснованным, так как согласно ст. 207 и 283 УПК РФ в их взаимосвязи, при недостаточной ясности и полноте заключения эксперта, а также при возникновении новых вопросов в отношении ранее исследованных обстоятельств уголовного дела может быть назначена дополнительная экспертиза, а, в случаях возникновения сомнений в обоснованности заключения эксперта, — или наличия противоречий в выводах эксперта или экспертов по тем же вопросам – повторная экспертиза.

Использование для разрешения указанных вопросов помощи специалистов закон не предусматривает (надзорное определение Судебной коллегии по уголовным делам Верховного суда РФ от 25.07.2012 г. по делу № 5-Д12-65).

Но, не стоит и недооценивать роль специалиста в проведении объективного и всестороннего, пусть не всегда успешного с точки зрения стороны обвинения, расследования преступления. Следователем СО по РДТП при ГСУ при ГУВД по Воронежской области старшим лейтенантом юстиции Б. в отношении Н. было возбуждено уголовное дело по признакам преступления, предусмотренного ч.1 ст. 264 УК РФ.

Гражданка Н. подозревалась в том, что управляя автомобилем, нарушила Правила  дорожного движения РФ и, выехав на тротуар, допустила наезд на пешехода О., причинив последнему компрессионный перелом тел двух грудных позвонков.

Проведенная по делу судебная экспертиза квалифицировала причиненные О. телесные повреждения как тяжкий вред здоровью по признаку опасности для жизни. Адвокат подозреваемой высказал сомнение в возможности причинения столь серьезного вреда здоровью О., поскольку внешних признаков контакта с автомобилем на теле пешехода экспертом обнаружено не было.

Для проверки обоснованности поставленного диагноза была назначена комиссионная экспертиза, результаты которой подтвердили выводы предыдущей экспертизы. Защитник, установив, что при производстве комиссионной экспертизы не были использованы первоначальные источники информации – рентгенограммы и томограммы, а исследование выполнено лишь по их описаниям, сделанным лицом, не предупреждавшимся об уголовной ответственности, добился назначения повторной комплексной экспертизы, которая, несмотря на просьбу стороны защиты о ее назначении экспертному учреждению в другом регионе, была назначена и проведена в государственном судебно-экспертном учреждении в г. Воронеже.

Как и следовало ожидать – результаты экспертизы вполне предсказуемо подтвердили обоснованность выводов экспертов в двух ранее выданных заключениях. Адвокат, осознав всю безнадежность ситуации, обратился за помощью к специалисту для разъяснения вопросов, требующих специальных знаний в области медицины.

Специалист помог адвокату разобраться в особенностях диагностики переломов позвоночника, обратив внимание на то, что иногда за переломы ошибочно принимают патологические изменения позвонков, связанные с заболеваниями позвоночника. Были истребованы все необходимые медицинские документы и, после отказа от назначения повторной комплексной судебной экспертизы на досудебной стадии, экспертиза всё-таки была назначена уже в суде, только опять не московским экспертам, как требовала сторона защиты, а снова в Бюро СМЭ Воронежской области.

Правда, на этот раз к участию в производстве экспертизы были привлечены ведущие врачи региона, специализирующиеся в разных направлений медицины. Результат четвертой экспертизы, проведенной по уголовному делу, оказался сенсационным для всех, – клиновидная деформация двух грудных позвонков, которую ранее эксперты принимали за последствия травматического воздействия, оказалась следствием болезни Шермана-Мау, проявившейся у потерпевшего О. ещё в юношеском возрасте.

26.04.2012 г. судьей Т. Коминтерновского районного суда г. Воронежа по уголовному делу № 1-10-12 вынесено Постановление о прекращении уголовного дела и уголовного преследования в отношении Н. в связи с отказом государственного обвинителя от обвинения. За гражданкой Н., в отношении которой более 28 месяцев осуществлялось уголовное преследование, было признано право на реабилитацию.

03 июля 2012 г. Судебной коллегией по уголовным делам Воронежского областного суда вынесено кассационное определение, согласно которому, постановление от 26.04.2012 г. судьи Т. Коминтерновского районного суда г. Воронежа по уголовному делу № 1-10-12 оставлено без изменения и вступило в законную силу.  

Подводя итог настоящему исследованию, необходимо отметить, что существуют способы воздействия на существующую практику производства и оценки судебных экспертизы, позволяющие существенно уменьшить число ошибочных экспертных заключений: — применение законных методов получения объектов экспертного исследования; — подробное описание объектов, направляемых на экспертизу; — применение научно-обоснованных экспертных методик; — всесторонняя оценка экспертных заключений (в т.ч., с участием специалиста); — систематический анализ экспертных и процессуальных ошибок.

**************************************************
Список использованной литературы:


1. Белкин Р.С. Криминалистическая энциклопедия. М.: Изд-во «БЕК», 1997. — С. 157
2. Виницкий Л.В. Экспертная инициатива в уголовном судопроизводстве / Л.В. Виницкий, С.Л. Мельник. — М: Издательство «Экза­мен», 2009. — С. 193
3. Владимиров Л.Е. Учение об уголовных доказательствах. — С.-Петербург, издание книжного магазина «Законоведение», 1910.
4. Гришин А.В. Как правильно оценивать заключения эксперта по уголовному делу / Уголовный процесс, 2011. — № 11. – С.60-66
5. Гришин А.В., Закурдаев Ю.Ф. Взаимодействие адвоката и специалиста в уголовном процессе / «Воронежский адвокат», 2008. — № 2 – С.10-15
6. Лазарева В.А. Доказывание в уголовном процессе: учеб.-практич. Пособие. – 2-е изд., перераб. и доп. – М.: Издательство Юрайт; ИД Юрайт, 2011. – С.37-38
7. Россинская Е.Р., Галяшина Е.И. Настольная книга судьи: судебная экспертиза. — М.: «Проспект», 2010. [Электронный ресурс]. Дата обновления: 05.01.2013. Доступ из системы ГАРАНТ // ГАРАНТаэро. ГАРАНТ-Максимум. Вся Россия / НПП «ГАРАНТ-СЕРВИС-УНИВЕРСИТЕТ». Версия 7.08.0.163» 8. Россинская Е.Р. Судебная экспертиза в гражданском, арбитражном, административном и уголовном процессе. – М.: Норма, 2006. – С.71
9. Фойницкий И.Я. Курс уголовного судопроизводства. 3-е изд. Т. 2.СПб., 1910.

  • Каких ошибок следует избегать при консультировании семьи
  • Каких ошибок при наложении жгута следует избегать 3 ошибки
  • Каких ошибок нужно избегать при заваривании чая
  • Каких ошибок вы должны избегать при составлении бизнес плана
  • Каких бы клуб ошибок не наделал