В международной финансовой фирме, с которой мы работали, давний клиент случайно отправил один и тот же файл приложения в два офиса. Хотя предполагалось, что сотрудники, просматривавшие файл, следовали одним и тем же правилам и, таким образом, приходили к одинаковым результатам, разные офисы давали совершенно разные цитаты. Ошарашенный заказчик отдал бизнес конкуренту. С точки зрения фирмы сотрудники в одной роли должны были быть взаимозаменяемыми, но в данном случае это не так. К сожалению, это распространенная проблема.
Профессионалы во многих организациях назначаются для дел произвольно: оценщики в кредитно-рейтинговых агентствах, врачи в отделениях неотложной помощи, андеррайтеры по кредитам и страхованию и другие. Организации ожидают от этих специалистов последовательности: к идентичным случаям следует относиться одинаково, если не одинаково. Проблема в том, что люди ненадежны в принятии решений; на их суждения сильно влияют не относящиеся к делу факторы, такие как их текущее настроение, время, прошедшее с момента их последнего приема пищи, и погода. Случайную изменчивость суждений мы называем шумом. Это невидимый налог на прибыль многих компаний.
Некоторые задания выполняются бесшумно. Клерки в банке или на почте выполняют сложные задачи, но они должны следовать строгим правилам, которые ограничивают субъективные суждения и гарантируют, что идентичные дела будут рассматриваться одинаково. Напротив, медицинские работники, кредитные специалисты, менеджеры проектов, судьи и руководители выносят суждения, руководствуясь неформальным опытом и общими принципами, а не жесткими правилами. И если они не приходят к точно такому же ответу, как любой другой человек в их роли, это приемлемо; именно это мы имеем в виду, когда говорим, что решение является «вопросом суждения». Фирма, сотрудники которой выносят суждения, не ожидает, что решения будут полностью свободными от шума. Но часто уровень шума намного превышает уровень, который руководители сочли бы допустимым, и они совершенно об этом не подозревают.
Распространенность шума была продемонстрирована в нескольких исследованиях. Академические исследователи неоднократно подтверждали, что профессионалы часто противоречат своим собственным предварительным суждениям, когда получают одни и те же данные в разных случаях. Например, когда разработчиков программного обеспечения попросили в два разных дня оценить время выполнения данной задачи, они прогнозировали, что часы различаются в среднем на 71%. Когда патологоанатомы провели две оценки серьезности результатов биопсии, корреляция между их оценками составила всего 0,61 (из идеального 1,0), что указывает на то, что они довольно часто ставили противоречивые диагнозы. Еще более вероятно, что суждения, сделанные разными людьми, расходятся. Исследования подтвердили, что во многих задачах решения экспертов сильно различаются: оценка акций, оценка недвижимости, вынесение приговоров преступникам, оценка эффективности работы, аудит финансовой отчетности и многое другое. Неизбежный вывод заключается в том, что профессионалы часто принимают решения, которые значительно отличаются от решений их коллег, от их собственных предыдущих решений и от правил, которым они сами утверждают, что следуют.
Шум часто коварен: он заставляет даже успешные компании терять значительные суммы денег, не осознавая этого. Насколько существенно? Чтобы получить оценку, мы спросили руководителей одной из изученных нами организаций следующее: «Предположим, оптимальная оценка дела составляет 100 000 долларов. Какова будет стоимость для организации, если профессионал, отвечающий за дело, оценил стоимость в 115 000 долларов? Сколько будет стоить его оценка в 85 000 долларов?» Смета расходов была высокой. Совокупно по оценкам, сделанным каждый год, стоимость шума измерялась миллиардами - неприемлемая цифра даже для крупной международной компании. Стоимость снижения шума даже на несколько процентных пунктов будет исчисляться десятками миллионов. Примечательно, что до этого момента организация полностью игнорировала вопрос согласованности.
Давно известно, что прогнозы и решения, полученные с помощью простых статистических алгоритмов, часто более точны, чем прогнозы, сделанные экспертами, даже если у экспертов есть доступ к большему количеству информации, чем используют формулы. Менее известно, что ключевое преимущество алгоритмов заключается в том, что они бесшумны: в отличие от людей, формула всегда будет возвращать один и тот же результат для любого заданного ввода. Превосходная согласованность позволяет даже простым и несовершенным алгоритмам достигать большей точности, чем люди-профессионалы.(Конечно, бывают случаи, когда алгоритмы будут практически или политически неосуществимы, как мы обсудим позже.)
В этой статье мы объясним разницу между шумом и предвзятостью и рассмотрим, как руководители могут проверять уровень и влияние шума в своих организациях. Затем мы опишем недорогой, малоиспользуемый метод построения алгоритмов, устраняющих шум, и наметим процедуры, которые могут обеспечить согласованность, когда алгоритмы не подходят.
Шум против смещения
Когда люди рассматривают ошибки в суждениях и принятии решений, они, скорее всего, думают о социальных предубеждениях, таких как стереотипное представление о меньшинствах, или о когнитивных предубеждениях, таких как самоуверенность и необоснованный оптимизм. Бесполезная изменчивость, которую мы называем шумом, представляет собой другой тип ошибки. Чтобы оценить разницу, представьте себе весы в ванной. Мы бы сказали, что шкала смещена, если ее показания в целом либо слишком высокие, либо слишком низкие. Если кажется, что ваш вес зависит от того, куда вы поставите ноги, весы шумят. Весы, которые постоянно занижают истинный вес ровно на четыре фунта, серьезно смещены, но не содержат шума. Шкала, которая дает два разных показания, когда вы наступаете на нее дважды, шумит. Многие ошибки измерения возникают из-за сочетания смещения и шума. Большинство недорогих напольных весов несколько смещены и довольно шумны.
Для визуальной иллюстрации различия рассмотрите мишени на выставке «Как шум и смещение влияют на точность». Они показывают результаты стрельбы по мишеням для команд из четырех человек, в которых каждый стреляет один раз.
Команда А точна: удары товарищей по команде попадают в яблочко и близко друг к другу
Остальные три команды неточны, но по-своему:
- Команда B шумная: выстрелы ее членов сосредоточены вокруг мишени, но широко разбросаны.
- Команда C предвзята: все выстрелы не попали в яблочко, но сгруппированы вместе.
- Команда D шумная и предвзятая.
Как показывает сравнение команд A и B, увеличение шума всегда ухудшает точность при отсутствии систематической ошибки. Когда присутствует предвзятость, усиление шума может фактически привести к удачному попаданию, как это произошло с командой D. Конечно, ни одна организация не будет полагаться на удачу. Шум всегда нежелателен, а иногда и губителен.
Очевидно, что организации полезно знать о предвзятости и шуме в решениях ее сотрудников, но собрать эту информацию непросто. При измерении этих ошибок возникают различные проблемы. Основная проблема заключается в том, что результаты решений часто известны только в далеком будущем, если вообще известны. Кредитным специалистам, например, часто приходится ждать несколько лет, чтобы увидеть, как сработали одобренные ими кредиты, и они почти никогда не знают, что происходит с заявителем, которого они отвергли.
Там, где есть суждение, есть и шум-и обычно его больше, чем вы думаете.
В отличие от предвзятости, шум можно измерить, не зная точного ответа. Для иллюстрации представьте, что мишени, на которые целились стрелки, были стерты с выставки. Вы бы ничего не знали об общей точности команд, но могли быть уверены, что что-то не так с разрозненными выстрелами команд B и D: где бы ни было мишень, не все они были близки к тому, чтобы попасть в нее. Все, что требуется для измерения шума в суждениях, - это простой эксперимент, в котором несколько реальных случаев оцениваются независимо несколькими профессионалами. Здесь опять можно наблюдать разброс суждений, не зная правильного ответа. Мы называем такие эксперименты аудитом шума.
Выполнение аудита шума
Смысл аудита шума не в составлении отчета. Конечной целью является повышение качества принимаемых решений, а аудит может быть успешным только в том случае, если руководители подразделения готовы принять неприятные результаты и действовать в соответствии с ними. Такого согласия легче достичь, если руководители рассматривают исследование как собственное творение. С этой целью кейсы должны быть составлены уважаемыми членами команды и должны охватывать диапазон обычно возникающих проблем. Чтобы результаты были актуальны для всех, в аудите должны участвовать все члены подразделения. Социолог, имеющий опыт проведения тщательных поведенческих экспериментов, должен контролировать технические аспекты аудита, но профессиональное подразделение должно владеть процессом.
Недавно мы помогли двум организациям, предоставляющим финансовые услуги, провести аудит уровня шума. Обязанности и опыт двух групп, которые мы изучали, были совершенно разными, но обе требовали оценки материалов средней сложности и часто требовали принятия решений на сотни тысяч долларов. Мы следовали одному и тому же протоколу в обеих организациях. Сначала мы попросили менеджеров профессиональных команд составить несколько реалистичных досье для оценки. Чтобы информация об эксперименте не просочилась, все учения проводились в один день. Сотрудников попросили потратить около половины дня на анализ двух-четырех дел. Они должны были выбрать сумму в долларах для каждого, как обычно. Чтобы избежать сговора, участникам не сказали, что исследование касается надежности. В одной организации, например, цели были описаны как понимание профессионального мышления сотрудников, повышение полезности их инструментов и улучшение общения между коллегами. Участвовало около 70 специалистов из организации A и около 50 из организации B.
Мы построили индекс шума для каждого случая, который отвечал на следующий вопрос: «Насколько различаются суждения двух случайно выбранных сотрудников?» Мы выразили это количество в процентах от их среднего значения. Предположим, что оценки дела двумя сотрудниками составляют 600 и 1000 долларов. Средняя их оценка составляет 800 долларов, а разница между ними - 400 долларов, поэтому индекс шума для этой пары равен 50%. Мы выполнили те же вычисления для всех пар сотрудников, а затем рассчитали общий средний индекс шума для каждого случая.
Предварительные беседы с руководителями двух организаций показали, что они ожидали расхождения между решениями своих специалистов в диапазоне от 5% до 10% - уровень, который они считали приемлемым для «вопросов суждения». Результаты пришли в шок. Индекс шума варьировался от 34% до 62% для шести случаев в организации А, а общее среднее значение составило 48%. В четырех случаях в организации B индекс шума колебался от 46% до 70%, в среднем 60%. Возможно, самым разочаровывающим оказалось то, что опыт работы не привел к уменьшению шума. Среди профессионалов, проработавших пять и более лет, средний уровень несогласия составил 46 % в организации A и 62 % в организации B.
Никто этого не предвидел. Но поскольку исследование принадлежало им, руководители обеих организаций согласились с выводом о том, что суждения их профессионалов ненадежны до такой степени, что с этим нельзя мириться. Все быстро согласились, что нужно что-то делать, чтобы контролировать проблему.
Поскольку результаты согласуются с предыдущими исследованиями низкой надежности профессионального суждения, они нас не удивили. Главной загадкой для нас был тот факт, что ни одна из организаций никогда не считала надежность проблемой.
Проблема шума практически незаметна в деловом мире; мы заметили, что аудитория очень удивляется, когда в качестве проблемы упоминается надежность профессионального суждения. Что мешает компаниям признать, что суждения их сотрудников шумны? Ответ кроется в двух известных явлениях: опытные профессионалы, как правило, очень уверены в точности своих собственных суждений, а также высоко ценят интеллект своих коллег. Такое сочетание неизбежно ведет к переоценке согласия. На вопрос о том, что сказали бы их коллеги, профессионалы ожидают, что суждения других будут гораздо ближе к их собственным, чем они есть на самом деле. Конечно, в большинстве случаев опытные профессионалы совершенно не заботятся о том, что могут подумать другие, и просто предполагают, что их ответ - лучший. Одна из причин, по которой проблема шума остается незамеченной, заключается в том, что люди не проживают жизнь, представляя правдоподобные альтернативы каждому своему суждению.
Ожидание, что другие согласятся с вами, иногда оправдано, особенно когда суждения настолько искусны, что интуитивно понятны. Шахматы высокого уровня и вождение автомобиля - стандартные примеры задач, отработанных практически до совершенства. У опытных игроков, которые смотрят на ситуацию на шахматной доске, все будут иметь очень похожие оценки состояния игры - будь то, скажем, белый ферзь в опасности или защита черного на королевском фланге слаба. То же самое и с драйверами. Договариваться о трафике было бы невероятно опасно, если бы мы не могли предположить, что водители вокруг нас разделяют наше понимание приоритетов на перекрестках и перекрестках с круговым движением. Шум практически отсутствует на высоких уровнях мастерства.
Высокое мастерство в шахматах и вождении развивается годами практики в предсказуемой среде, в которой за действиями следует немедленная и четкая обратная связь. К сожалению, в таком мире работают немногие профессионалы. На большинстве рабочих мест люди учатся выносить суждения, слушая объяснения и критику менеджеров и коллег - гораздо менее надежный источник знаний, чем обучение на собственных ошибках. Многолетний опыт работы всегда повышает уверенность людей в своих суждениях, но в отсутствие быстрой обратной связи уверенность не является гарантией точности или консенсуса.
В заключение мы предлагаем этот афоризм: Где есть суждение, там и шум, и обычно его больше, чем вы думаете. Как правило, мы считаем, что ни профессионалы, ни их менеджеры не могут судить о достоверности своих суждений. Единственный способ получить точную оценку - провести шумовой аудит. И, по крайней мере, в некоторых случаях проблема будет достаточно серьезной, чтобы потребовать действий.
Уменьшение шума
Наиболее радикальное решение проблемы шума состоит в том, чтобы заменить человеческое суждение формальными правилами, известными как алгоритмы, которые используют данные о случае для получения предсказания или решения. За последние 60 лет люди соревновались с алгоритмами в нескольких сотнях состязаний на точность, в самых разных задачах, от прогнозирования продолжительности жизни больных раком до прогнозирования успехов аспирантов. Алгоритмы были более точными, чем люди-профессионалы, примерно в половине исследований, а в остальных - примерно на одном уровне с людьми. Ничья также должна считаться победой алгоритмов, которые более экономичны.
Во многих ситуациях, конечно, алгоритмы не будут практичными. Применение правила может оказаться неосуществимым, если входные данные индивидуальны или их трудно закодировать в согласованном формате. Алгоритмы также вряд ли будут полезны для суждений или решений, которые включают несколько аспектов или зависят от переговоров с другой стороной. Даже когда алгоритмическое решение в принципе доступно, организационные соображения иногда мешают реализации. Замена существующих сотрудников программным обеспечением - это болезненный процесс, который встретит сопротивление, если только он не освободит этих сотрудников для выполнения более приятных задач.
Но если условия правильные, разработка и реализация алгоритмов могут оказаться на удивление простыми. Распространено предположение, что алгоритмы требуют статистического анализа больших объемов данных. Например, большинство людей, с которыми мы разговариваем, считают, что данные о тысячах кредитных заявок и их результатах необходимы для разработки уравнения, предсказывающего дефолты по коммерческим кредитам. Очень немногие знают, что адекватные алгоритмы могут быть разработаны вообще без каких-либо исходных данных и с исходной информацией лишь о небольшом количестве случаев. Мы называем прогностические формулы, построенные без данных о результатах, «аргументированными правилами», потому что они основаны на рассуждениях здравого смысла.
Построение аргументированного правила начинается с выбора нескольких (возможно, от шести до восьми) переменных, которые неопровержимо связаны с прогнозируемым результатом. Например, если результатом является дефолт по кредиту, активы и обязательства обязательно будут включены в список. Следующий шаг - присвоить этим переменным равный вес в формуле прогноза, установив их знак в очевидном направлении (положительный для активов, отрицательный для пассивов). Затем можно построить правило с помощью нескольких простых вычислений.
Удивительным результатом многочисленных исследований является то, что во многих контекстах обоснованные правила почти так же точны, как и статистические модели, построенные на данных о результатах. Стандартные статистические модели объединяют набор прогностических переменных, которым присваиваются веса в зависимости от их связи с прогнозируемыми результатами и друг с другом. Однако во многих ситуациях эти веса статистически нестабильны и практически не важны. Простое правило, которое присваивает равные веса выбранным переменным, вероятно, будет столь же верным. Алгоритмы, которые одинаково взвешивают переменные и не полагаются на данные о результатах, доказали свою эффективность в подборе персонала, прогнозировании выборов, предсказании футбольных матчей и других приложениях.
Суть в том, что если вы планируете использовать алгоритм для уменьшения шума, вам не нужно ждать данных о результатах. Вы можете извлечь большую часть преимуществ, используя здравый смысл для выбора переменных и простейшее правило для их объединения.
Исследования показывают, что алгоритмы лучше людей справляются с ролью лиц, принимающих решения.
Конечно, независимо от того, какой тип алгоритма используется, люди должны сохранять полный контроль. Алгоритмы должны отслеживаться и корректироваться с учетом случайных изменений в популяции случаев. Менеджеры также должны следить за индивидуальными решениями и иметь право отменять алгоритм в однозначных случаях. Например, решение об одобрении кредита должно быть временно отменено, если фирма обнаружит, что заявитель был арестован. Самое главное, руководители должны определить, как преобразовать результаты алгоритма в действие. Алгоритм может сказать вам, какие потенциальные кредиты входят в первые 5% или в последние 10% всех заявок, но кто-то должен решить, что делать с этой информацией.
Алгоритмы иногда используются как промежуточный источник информации для специалистов, принимающих окончательные решения. Одним из примеров является Оценка общественной безопасности, формула, которая была разработана, чтобы помочь У. С. судьи решают, можно ли безопасно освободить подсудимого до суда. За первые шесть месяцев использования в Кентукки преступность среди подсудимых, освобожденных до суда, снизилась примерно на 15%, а процент людей, освобожденных до суда, увеличился. В данном случае очевидно, что высшая инстанция для принятия решений должна оставаться за судьями-людьми: общественность будет шокирована, увидев, что правосудие вершится по формуле.
Какой бы неудобной ни была эта идея, исследования показали, что, хотя люди могут вносить полезные данные в формулы, алгоритмы лучше справляются с ролью лиц, принимающих окончательные решения. Если предотвращение ошибок является единственным критерием, менеджерам следует настоятельно рекомендовать отменять алгоритм только в исключительных обстоятельствах.
Приведение дисциплины в суд
Замену человеческих решений алгоритмом следует рассматривать всякий раз, когда профессиональные суждения зашумлены, но в большинстве случаев это решение будет слишком радикальным или просто непрактичным. Альтернативой является принятие процедур, которые способствуют согласованности, гарантируя, что сотрудники, выполняющие одну и ту же роль, используют одинаковые методы для поиска информации, интеграции ее в представление о деле и воплощения этого взгляда в решение. Тщательное изучение всего, что требуется для этого, выходит за рамки этой статьи, но мы можем дать несколько основных советов, с важной оговоркой, что привить дисциплину в суждениях совсем не просто.
Обучение, конечно, имеет решающее значение, но даже профессионалы, прошедшие совместное обучение, склонны действовать по-своему. Фирмы иногда борются с дрейфом, организуя круглые столы, на которых лица, принимающие решения, собираются для рассмотрения дел. К сожалению, большинство круглых столов проводятся таким образом, что слишком легко достичь согласия, потому что участники быстро сходятся во мнениях, высказанных первыми или наиболее уверенно. Чтобы предотвратить такое ложное согласие, отдельные участники круглого стола должны самостоятельно изучить дело, сформировать мнения, которые они готовы отстаивать, и направить эти мнения руководителю группы перед собранием. Такие круглые столы эффективно обеспечивают аудит шума с дополнительным этапом группового обсуждения, в ходе которого исследуются различия во мнениях.
В качестве альтернативы или дополнения к круглым столам профессионалам должны быть предложены удобные инструменты, такие как контрольные списки и тщательно сформулированные вопросы, которые помогут им в сборе информации о деле, вынесении промежуточных суждений и формулировании окончательное решение. Нежелательная изменчивость возникает на каждом из этих этапов, и фирмы могут и должны проверить, насколько такие инструменты уменьшают ее. В идеале люди, использующие эти инструменты, будут рассматривать их как вспомогательные средства, помогающие им выполнять свою работу эффективно и экономично. К сожалению, наш опыт подсказывает, что задача создания эффективных и удобных в использовании инструментов суждения сложнее, чем думают многие руководители. Бороться с шумом сложно, но мы ожидаем, что организация, которая проводит аудит и оценивает стоимость шума в долларах, сделает вывод, что снижение случайной изменчивости стоит затраченных усилий.
Наша основная цель в этой статье - познакомить менеджеров с концепцией шума как источника ошибок и объяснить, чем он отличается от предвзятости. Термин «предвзятость» вошел в общественное сознание настолько, что слова «ошибка» и «предвзятость» часто используются взаимозаменяемо. На самом деле лучшие решения не достигаются просто за счет уменьшения общих предубеждений (таких как оптимизм) или конкретных социальных и когнитивных предубеждений (таких как дискриминация в отношении женщин или эффект якоря). Руководители, которые заботятся о точности, также должны противостоять преобладанию непоследовательности в профессиональных суждениях. Шум труднее оценить, чем предвзятость, но он не менее реален и менее затратен.