Ошибка планирования когнитивное искажение

Ошибка планирования – когнитивное искажение, которому подвержен практически каждый. Суть его заключается в излишнем оптимизме при оценке времени, требуемого для выполнения задачи. Вспомните, как часто с вами случалось, что вы планировали выполнить задачу за час, но уходило полтора? Как часто какое-то дело занимало больше времени, чем вы рассчитывали, и вам приходилось спешно менять график? В статье вы поближе познакомитесь с этим когнитивным искажением и узнаете, как с ним бороться.

Эксперименты, в которых вы можете узнать себя

Ошибка планирования в отношении личных задач. В ходе исследований у 37 студентов спросили, сколько времени им потребуется, чтобы завершить работу над дипломной работой. Средняя оценка требуемого времени составила 33,9 дня. По факту на работу ушло в среднем 55,5 дня. Правильную оценку смогли дать только 30% студентов.

Ещё одно показательное исследование было проведено в 1997 году в Канаде. Налогоплательщиков попросили спрогнозировать время, когда они отправят свои налоговые декларации. В среднем они сделали это на неделю позже, чем предполагали. Важно то, что они помнили, когда отправили налоговые декларации в прошлом году, но были уверены, что в этот раз справятся быстрее. Отсюда следует вывод, что даже учёт прошлого опыта далеко не всегда помогает избежать ошибки планирования.

Ошибка планирования в отношении коллективных задач. Этому когнитивному искажению подвержены не только единичные индивиды, но и сразу группы людей, коллективы. Это было доказано исследованиями, смысл которых аналогичен индивидуальным экспериментам.

Объяснения ошибки планирования

Учёные выдвигают ряд возможных объяснений этого когнитивного искажения, рассмотрим некоторые из них:

1. Канеман и Тверски утверждают, что люди не используют прошлый опыт решения подобных задач в полной мере. Они сосредоточены на более оптимистичном сценарии.
2. Также существует мнение, что люди хотят выдавать желаемое за действительное, то есть они считают, что задача будет выполнена быстро по той причине, что хотят, чтобы она была выполнена быстро.
3. Ещё одно объяснение основано на казуальной атрибуции. Люди уверены, что в прошлом они справились с задачей медленно из-за влияния каких-то внешних факторов и, конечно же, в этот раз они справятся быстрее и лучше.
4. Одна любопытная гипотеза гласит, что люди просто неправильно запоминают время, которое им требовалось на выполнение аналогичных задач в прошлом.

Расширенное определение ошибки планирования

Канеман и Ловалло предложили расширить смысл термина и включить в понятие ошибки планирования также и недооценку затрат и рисков.

Исходя из этого определения, ошибка планирования означает и то, что люди неправильно оценивают количество всех ресурсов, требуемых для выполнения задачи. К примеру, знаменитый Сиднейский Оперный театр был открыт на 10 лет позже и обошёлся не в 7 миллионов долларов, как планировалось, а в 102 миллиона, то есть в 14,5 раза дороже.

Способы борьбы с ошибкой планирования

Правильный анализ предыдущего опыта. Да, возможно, в прошлый раз вам что-то мешало и вы могли справиться с задачей быстрей. Но с чего вы взяли, что вам ничего не будет мешать на этот раз? Идеальных условий не бывает, примите это и учитывайте при планировании.

Также будет полезно при выполнении задач следить за временем. Вы должны знать, сколько времени у вас примерно уходит на то или иное дело.

Составляйте план реализации. План реализации – конкретный список того, как, когда и где нужно действовать. Такие планы помогают более реалистично смотреть на поставленную задачу и пути её решения.

Ещё это мобилизует волевые качества и становится дополнительным стимулом к действию.

Разделите на части. С ошибкой планирования связан любопытный эффект: время, которое отводится на выполнение задачи в целом, меньше, чем суммарное время, отводимое на выполнение каждой из частей этой задачи.

Разделите дело на составные элементы, а уже потом прогнозируйте необходимое время.

Планируйте правильно и достигайте намеченных целей. Желаю успехов!

Автор: Игорь Болтовнин

Понравилась статья? Присоединяйтесь к нашим сообществам в соцсетях или каналу в Telegram и не пропускайте выход новых полезных материалов:
TelegramВконтактеFacebook

Для эффективного выполнения задач необходимо определенное количество времени: скажем, на написание этого текста у редактора должно уйти около двух часов (включая выбор темы, поиск материала, споры с дизайнером и, собственно, написание и дальнейший выпуск). На деле же очень часто времени требуется намного больше, просто потому, что перед началом выполнения задания человек не способен точно предугадать и учесть все факторы, которые могут его задержать. Что такое «ошибка планирования» и почему мы выделяем на задачи меньше времени, чем необходимо, читайте в нашем новом блоге.

Бóльшая часть изученных когнитивных искажений относится к ошибкам человеческого мышления, влияющим на процесс принятия решений. Самыми главными исследователями таких искажений по праву считаются двое ученых: Даниел Канеман (Daniel Kahneman), получивший Премию по экономике памяти Альфреда Нобеля в 2002 году, и его коллега Амос Тверски (Amos Tversky). Они стоят отдельного упоминания еще и потому, что одними из первых начали менять экономическую науку, показывая в своих исследованиях (которые, к слову, больше относились к области когнитивной психологии), что модели рыночных отношений не могут быть формальными — просто потому, что формальные модели пренебрегают очень важным фактором — человеческим поведением.

Одним из когнитивных искажений, которое они впервые описали, считается «ошибка планирования» (planning fallacy) — излишний оптимизм, выражающийся в недооценке времени, необходимого для выполнения той или иной задачи. Впервые Канеман и Тверски ввели этот термин в своей работе 1979 года: они отметили, что ошибка планирования носит систематический характер и, что очень важно, не зависит от опыта — даже если в прошлом человек уже сталкивался с точно такими же задачами и потратил на них больше времени, чем предполагал вначале, он все равно склонен преуменьшать необходимый на их выполнение срок.

В дальнейшем описанная ими «ошибка планирования» неоднократно изучалась эмпирически — и в разных ситуациях.

Представим рядового студента университета. За время своего обучения он или она пишет не одну курсовую работу и, возможно, каждый раз делает это в спешке, дописывая текст ночами и, в большинстве случаев, предоставляя на проверку не самый качественный материал. Скорее всего, наш студент обещает себе, что в следующий раз подойдет к задаче более ответственно. Но на следующем курсе история повторяется — во многом из-за того, что время, на самом деле необходимое на выполнения задачи, оказывается недооцененным.

Разумеется, среди студентов найдутся и действительно ответственные и трудолюбивые люди, умеющие планировать, — они не переоценивают свои возможности и не недооценивают свое время. В 1994 году канадские ученые, опросив студентов старших курсов, показали, что таких меньшинство. Исследователи попросили добровольцев, работающих над дипломной работой, подсчитать, сколько примерно времени им понадобится на завершение проекта. Средняя оценка необходимого времени составила 33 дня, но на деле — более 50 дней. Из всех опрошенных студентов только 30 процентов написали работу в заранее намеченные сроки.

Конечно, недооценка времени, необходимого для выполнения задачи, — черта не только учащихся и других людей, занятых выполнением больших проектов, требующих сдачи в определенные сроки. Другие исследователи показывали, что «ошибке планирования» также подвержены люди, которые считают налоги, собирают пазлы или мебель.

В целом, у этого когнитивного искажения есть несколько объяснений. Имеющийся опыт, как отмечали Канеман и Тверски, часто не помогает объективно оценить необходимые для выполнения задачи ресурсы. Даже если человек несколько раз не справлялся с задачей за предполагаемое им время, ничто не мешает ему надеяться, что в этот раз у него все получится.

Так происходит из-за того, что человек часто реагирует на те проблемы, которые случались с ними в прошлом в похожей ситуации, оптимистично — например, считает, что в этот раз он сможет побороть прокрастинацию или что дополнительный опыт, полученный за это время, сыграет ему на руку. Другими словами, здесь может действовать «позитивное искажение» (зонтичный термин, под который также попадает «ошибка планирования»), или уверенность в том, что все будет намного лучше, чем диктуют обстоятельства.

С другой стороны, в основе этого искажения также может лежать простое желание сделать все лучше и быстрее, чтобы сэкономить имеющиеся ресурсы (это касается не только времени, но и умственных и — иногда — финансовых затрат): здесь может действовать так называемое «принятие желаемого за действительное» (wishful thinking).
Кроме того, на появление «ошибки планирования» влияют и внешние факторы: к примеру, ученые показали, что в том случае, если оценка необходимого времени не становится достоянием окружающих, люди меньше переоценивают свои силы (и недооценивают время).

«Ошибку планирования», разумеется, можно отнести к позитивным иллюзиям (точно так же, как, например, «иллюзия контроля», о которой мы уже писали), но не стоит считать ее показателем психического здоровья. Постоянная недооценка времени, необходимого для выполнения задач, может привести к дополнительному стрессу, возникающему, когда желаемое все-таки не соответствует действительному, и, как следствие, к различным психическим расстройствам.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

В нашей регулярной рубрике #чтопочитать сегодня статья, которая поможет повысить эффективности своей работы за счет избавления от иррациональных шаблонов мышления. Разберем на примере программистов и ученых по данным.

Как специалисты по обработке данных, мы помогаем компаниям принимать оптимальные решения.

Однако, когнитивные искажения — иррациональные подсознательные шаблоны мышления — часто приводят нас самих к плохим умозаключениям.

Сегодня я расскажу о восьми когнитивных искажениях и их примерах, с которыми я столкнулся в своей карьере программиста и специалиста по данным.

1. Иррациональное усиление

В экономике известно как «ошибка невозвратных затрат».

Иррациональное усиление — это поведенческий шаблон человека, при котором индивид или группа лиц, сталкиваясь со всё более негативными последствия какого-либо решения, действия или инвестиций, продолжает текущее поведение вместо внесения изменений.

Это склонность продолжать вложение инвестиционных ресурсов в уже существующий проект, несмотря на то что необходимые затраты превышает потенциальную выгоду. Она обоснована тем, что уже были вложены значительные инвестиции.

Проработав над новым NLP pipeline целый месяц, я понял, что он будет работать лишь незначительно лучше, чем уже существующая модель.

Для завершения этой новой модели потребовалась бы еще неделя, при этом я мог заняться другими проектами. Несмотря на это, у меня было огромное желание закончить начатое, просто потому что я уже потратил на новую модель огромное количество времени. Это и есть иррациональное усиление.

Тем не менее, данное когнитивное искажение может быть настолько сильно укоренено в компании, что у вас просто не будет выбора, кроме как закончить проект — скорее просто для вида, чем для пользы.

2. Ошибка планирования

Ошибка планирования — это когнитивное искажение, связанное с излишним оптимизмом, приводящим к недооценке времени, требуемого для выполнения задачи.

Очень часто программисты и ученые по данным значительно недооценивают длительность проекта.

Я работал с людьми, которые раз за разом недооценивали необходимое время для выполнения каждой поставленной задачи. И это несмотря на то, что я их лично просил удваивать прогнозируемое время работы (в итоге всё бесполезно), чтобы они не разочаровывали руководителей.

Как правило, я всегда удваиваю временные рамки, требующиеся для выполнения проекта. И, как бы смешно это ни звучало, в итоге примерно столько времени я и трачу.

3. Склонность к подтверждению своей точки зрения

Склонность к подтверждению своей точки зрения — это тенденция человека искать и интерпретировать такую информацию или отдавать предпочтение такой информации, которая согласуется с его точкой зрения, убеждением или гипотезой.

Некоторым моим коллегам начальство ставило задачу найти аргументы, поддерживающие некоторое утверждение (вместо использования правильной выборки). Такое указание могут дать руководители компании, но и у вас самих во время поиска аргументов может появится склонность к принятию или отвержению некоторых из них из-за подсознательных мотивов (например, желания создать новую функцию в приложении).

Основываясь на моем опыте, лучший способ защитить себя от данной склонности — это определить способ и параметры оценки новой информации еще до начала работы.

4. Проклятие знания

Проклятие знания — это когнитивное искажение, заключающееся в том, что человек, общаясь с другими людьми, неосознанно предполагает, что они обладают достаточными знаниями для понимания его объяснений.

Специалистам, хорошо разбирающимся в их сфере деятельности, тяжело объяснять соответствующие концепции людям, не имеющим знаний в данной сфере.

Как-то раз я работал с очень любознательным исполнителем проекта, который задавал мне технические вопросы, при этом не обладая достаточными знаниями. Как работает векторное представление слов? Что такое XYZ index в Postgres?

Чаще всего мне тяжело объяснять такие понятия человеку, не разбирающемуся в теме. Это и есть проклятие знания.

Данные статьи я начал писать для лучшего понимания своих собственных мыслей, и чтобы улучшить свой навык объяснения различных понятий.

5. Эффект слепого пятна

Эффект слепого пятна — это неспособность признавать наличие у себя когнитивных искажений, при этом замечая их у других людей.

После нескольких неудачных экспериментов с машинным обучением без учителя, у меня сформировалась сильная неприязнь к нему.

Такая реакция перерастает в проблему, когда данное искажение приводит к тому, что во время мозговых штурмов я отвергаю возможные решения, использующие обучение без учителя, не рассматривая их преимущества.

Предыдущий опыт не должен отталкивать вас от надлежащего анализа, иначе вы рискуете упустить ценные возможности. Для того, чтобы замечать в себе когнитивные искажения, надо проводить тщательный самоанализ (или работать с очень честными коллегами).

6. Групповое мышление

Групповое мышление — это психологический феномен, возникающий в группе людей, внутри которой конформизм или желание социальной гармонии приводят к некорректному или нерациональному принятию решений.

Подсознательное стремление согласиться с остальными членами группы замещает рациональное мышление.

Я закончил несколько бизнес-акселераторов, включая Techstars, и пришел к выводу, что в стартапах этот феномен является нормой.

В одной из моих прошлый компаний, соучредители (включая меня) плыли на волне самоутверждённого оптимизма и в итоге приплыли к полному провалу. Мы, поддавшись групповому мышлению, недооценили сложность развития компании и переоценили наши успехи.

7. Золотой молоток

Также известное как закон инструмента, данное когнитивное искажение заключается в использовании уже знакомого решения в любой ситуации.

По сути, это склонность к использованию привычных инструментов, даже если они могут быть неоптимальными для решения задачи.

Когда я только начал изучать машинное обучение, мне было комфортно работать лишь с одной библиотекой — sklearn. Поэтому для каждой новой задачи я пытался выяснить способ её решения с помощью sklearn.

Этого было достаточно до тех пор, пока я не начал разбираться в NLP, для которого существуют намного более подходящие библиотеки. В итоге я потратил кучу времени пытаясь найти решения, используя уже знакомый мне инструмент, вместо того чтобы изучить альтернативы.

Теперь к каждой проблеме я подхожу с чистого листа, оцениваю эффективность привычных мне инструментов, а также исследую новые.

8. Эффект присоединения к большинству

Эффект присоединения к большинству — это феномен, проявляющийся в том, что популярность убеждений, идей, трендов увеличивается по мере того, как их принимает всё больше людей.

То есть, использование путей, о которых вы уже часто слышали, вместо того чтобы определить наилучший путь самостоятельно.

Я очень часто слышу предложения использовать нейронную сеть в ситуациях, где менее сложная модель была бы более уместна. В этом я виню эффект присоединения к большинству и то, что люди постоянно слышат о нейронных сетях по новостным каналам.

Я предполагаю, что большинство продуктов, «использующих ИИ», на самом деле не используют глубинной обучение. Но прочитав MIT Technology Review или Tech Crunch, у вас сложится противоположное впечатление.

Заключение

Мы живем в невероятно сложном мире, в котором невозможно анализировать каждую частичку информации. Я думаю, что некоторые из этих когнитивных искажений у нас развились для облегчения умственной нагрузки, появляющейся во время рутинных занятий.

Некоторые эвристики полезны, некоторые нет. Но в целом, уменьшая влияние этих негативных искажений на нас, мы можем повысить свою эффективность при принятии решений.

From Wikipedia, the free encyclopedia

The planning fallacy is a phenomenon in which predictions about how much time will be needed to complete a future task display an optimism bias and underestimate the time needed. This phenomenon sometimes occurs regardless of the individual’s knowledge that past tasks of a similar nature have taken longer to complete than generally planned.^[1][2][3] The bias affects predictions only about one’s own tasks. On the other hand, when outside observers predict task completion times, they tend to exhibit a pessimistic bias, overestimating the time needed.^[4][5] The planning fallacy involves estimates of task completion times more optimistic than those encountered in similar projects in the past.

The planning fallacy was first proposed by Daniel Kahneman and Amos Tversky in 1979.^[6][7] In 2003, Lovallo and Kahneman proposed an expanded definition as the tendency to underestimate the time, costs, and risks of future actions and at the same time overestimate the benefits of the same actions. According to this definition, the planning fallacy results in not only time overruns, but also cost overruns and benefit shortfalls.^[8]

Empirical evidence[edit]

For individual tasks[edit]

In a 1994 study, 37 psychology students were asked to estimate how long it would take to finish their senior theses. The average estimate was 33.9 days. They also estimated how long it would take «if everything went as well as it possibly could» (averaging 27.4 days) and «if everything went as poorly as it possibly could» (averaging 48.6 days). The average actual completion time was 55.5 days, with about 30% of the students completing their thesis in the amount of time they predicted.^[1]

Another study asked students to estimate when they would complete their personal academic projects. Specifically, the researchers asked for estimated times by which the students thought it was 50%, 75%, and 99% probable their personal projects would be done.^[5]

• 13% of subjects finished their project by the time they had assigned a 50% probability level;
• 19% finished by the time assigned a 75% probability level;
• 45% finished by the time of their 99% probability level.

A survey of Canadian tax payers, published in 1997, found that they mailed in their tax forms about a week later than they predicted. They had no misconceptions about their past record of getting forms mailed in, but expected that they would get it done more quickly next time.^[9] This illustrates a defining feature of the planning fallacy: that people recognize that their past predictions have been over-optimistic, while insisting that their current predictions are realistic.^[4]

For group tasks[edit]

Carter and colleagues conducted three studies in 2005 that demonstrate empirical support that the planning fallacy also affects predictions concerning group tasks. This research emphasizes the importance of how temporal frames and thoughts of successful completion contribute to the planning fallacy.^[10]

Additional studies[edit]

Bent Flyvbjerg and Cass Sunstein argue that Albert O. Hirschman’s Hiding Hand principle is the planning fallacy writ large, and they tested the empirical validity of the principle.^[11] See also further reading below for additional studies.

Proposed explanations[edit]

• Kahneman and Tversky originally explained the fallacy by envisaging that planners focus on the most optimistic scenario for the task, rather than using their full experience of how much time similar tasks require.^[4]
• Roger Buehler and colleagues account for the fallacy by examining wishful thinking; in other words, people think tasks will be finished quickly and easily because that is what they want to be the case.^[6]
• In a different paper, Buehler and colleagues suggest an explanation in terms of the self-serving bias in how people interpret their past performance. By taking credit for tasks that went well but blaming delays on outside influences, people can discount past evidence of how long a task should take.^[6] One experiment found that when people made their predictions anonymously, they do not show the optimistic bias. This suggests that the people make optimistic estimates so as to create a favorable impression with others,^[12] which is similar to the concepts outlined in impression management theory.
• Another explanation proposed by Roy and colleagues is that people do not correctly recall the amount of time that similar tasks in the past had taken to complete; instead people systematically underestimate the duration of those past events. Thus, a prediction about future event duration is biased because memory of past event duration is also biased. Roy and colleagues note that this memory bias does not rule out other mechanisms of the planning fallacy.^[13]
• Sanna and colleagues examined temporal framing and thinking about success as a contributor to the planning fallacy. They found that when people were induced to think about a deadline as distant (i.e., much time remaining) vs. rapidly approaching (i.e., little time remaining), they made more optimistic predictions and had more thoughts of success. In their final study, they found that the ease of generating thoughts also caused more optimistic predictions.^[10]
• One explanation, focalism, proposes that people fall victim to the planning fallacy because they only focus on the future task and do not consider similar tasks of the past that took longer to complete than expected.^[14]
• As described by Fred Brooks in The Mythical Man-Month, adding new personnel to an already-late project incurs a variety of risks and overhead costs that tend to make it even later; this is known as Brooks’s law.
• The «authorization imperative» offers another possible explanation: much of project planning takes place in a context which requires financial approval to proceed with the project, and the planner often has a stake in getting the project approved. This dynamic may lead to a tendency on the part of the planner to deliberately underestimate the project effort required. It is easier to get forgiveness (for overruns) than permission (to commence the project if a realistic effort estimate were provided). Such deliberate underestimation has been named by Jones and Euske «strategic misrepresentation».^[15]
• Apart from psychological explanations, the phenomenon of the planning fallacy has also been explained by Taleb as resulting from natural asymmetry and from scaling issues. The asymmetry results from random events giving negative results of delay or cost, not evenly balanced between positive and negative results. The scaling difficulties relate to the observation that consequences of disruptions are not linear, that as size of effort increases the error increases much more as a natural effect of inefficiencies of larger efforts’ ability to react, particularly efforts that are not divisible in increments. Additionally this is contrasted with earlier efforts being more commonly on-time (e.g. the Empire State Building, The Crystal Palace, the Golden Gate Bridge) to conclude it indicates inherent flaws in more modern planning systems and modern efforts having hidden fragility. (For example, that modern efforts – being computerized and less localized invisibly – have less insight and control, and more dependencies on transportation.)^[16]
• Bent Flyvbjerg and Dan Gardner write that planning on government-funded projects is often rushed so that construction can begin as soon as possible to avoid later administrations undoing or cancelling the project. They say a longer planning period tends to result in faster and cheaper construction.^[17]

Methods for counteracting[edit]

Segmentation effect[edit]

The segmentation effect is defined as the time allocated for a task being significantly smaller than the sum of the time allocated to individual smaller sub-tasks of that task. In a study performed by Forsyth in 2008, this effect was tested to determine if it could be used to reduce the planning fallacy. In three experiments, the segmentation effect was shown to be influential. However, the segmentation effect demands a great deal of cognitive resources and is not very feasible to use in everyday situations.^[18]

Implementation intentions[edit]

Implementation intentions are concrete plans that accurately show how, when, and where one will act. It has been shown through various experiments that implementation intentions help people become more aware of the overall task and see all possible outcomes. Initially, this actually causes predictions to become even more optimistic. However, it is believed that forming implementation intentions «explicitly recruits willpower» by having the person commit themselves to the completion of the task. Those that had formed implementation intentions during the experiments began work on the task sooner, experienced fewer interruptions, and later predictions had reduced optimistic bias than those who had not. It was also found that the reduction in optimistic bias was mediated by the reduction in interruptions.^[3]

Reference class forecasting[edit]

Reference class forecasting predicts the outcome of a planned action based on actual outcomes in a reference class of similar actions to that being forecast.

Real-world examples[edit]

The Sydney Opera House was expected to be completed in 1963. A scaled-down version opened in 1973, a decade later. The original cost was estimated at $7 million, but its delayed completion led to a cost of $102 million.^[10]

The Eurofighter Typhoon defense project took six years longer than expected, with an overrun cost of 8 billion euros.^[10]

The Big Dig which undergrounded the Boston Central Artery was completed seven years later than planned,^[19]
for $8.08 billion on a budget of $2.8 billion (in 1988 dollars).^[20]

The Denver International Airport opened sixteen months later than scheduled, with a total cost of $4.8 billion, over $2 billion more than expected.^[21]

The Berlin Brandenburg Airport is another egregious case. After 15 years of planning, construction began in 2006, with the opening planned for October 2011. There were numerous delays. It was finally opened on October 31, 2020. The original budget was €2.83 billion; current projections are close to €10.0 billion.

Olkiluoto Nuclear Power Plant Unit 3 faced severe delay and a cost overrun. The construction started in 2005 and was expected to be completed by 2009, but completed only in 2023.^[22][23] Initially, the estimated cost of the project was around 3 billion euros, but the cost has escalated to approximately 10 billion euros.^[24]

California High-Speed Rail is still under construction, with tens of billions of dollars in overruns expected, and connections to major cities postponed until after completion of the rural segment.

See also[edit]

• Downside risk – Risk of the actual return being below the expected return
• Hiding hand principle – How ignorance intersects with rational choice to undertake a project
• Hofstadter’s law – Self-referential adage referring to time estimates
• Parkinson’s law – Adage that work expands to fill its available time

References[edit]

Further reading[edit]

• Bent Flyvbjerg; Nils Bruzelius; Werner Rothengatter (2003). Megaprojects and Risk: An Anatomy of Ambition. Cambridge University Press. ISBN 978-0521009461.
• Bent Flyvbjerg, ed. (2019). The Oxford Handbook of Megaproject Management. Oxford University Press. ISBN 978-0198831105.
• Lev Virine and Michael Trumper. Project Decisions: The Art and Science, Vienna, VA: Management Concepts, 2008. ISBN 978-1-56726-217-9