Готовясь к важной презентации для высшего руководства своей фирмы, начинающий менеджер по управлению продуктами замечает, что в цифрах доли рынка что-то не так. Она немедленно просит своего помощника проверить цифры. Он копается и находит ошибку в данных, предоставленных отделом маркетинговых исследований, и руководитель вносит необходимые исправления. Катастрофа предотвращена! Презентация проходит очень хорошо, и руководитель так обрадовался, что тут же вручает награду своему ассистенту. Она заключает: «Знаете, мы должны взять за правило каждый раз перепроверять эти цифры». Никто не думает сообщать об ошибке специалистам по маркетинговым исследованиям, а тем более работать с группой, чтобы убедиться, что в следующий раз будут предоставлены правильные данные.
За свою карьеру специалиста по обработке данных я видел, как подобные виньетки разыгрывались в десятках компаний. В телекоммуникациях отделу технического обслуживания может потребоваться исправить неверные адреса, введенные службой поддержки клиентов; в сфере финансовых услуг службе управления рисками, возможно, придется учитывать неверные данные о выдаче кредита; в здравоохранении врачи должны работать над улучшением результатов лечения пациентов в условиях неполных клинических данных. Действительно, проблемы с качеством данных преследуют каждый отдел, каждую отрасль, на каждом уровне и для каждого типа информации.
Как и наш начинающий руководитель, сотрудники регулярно обходят или исправляют подавляющее большинство этих ошибок, выполняя свою повседневную работу. Но затраты огромные. Исследования показывают, что работники умственного труда тратят до 50 % времени на поиск данных, выявление и исправление ошибок и поиск подтверждающих источников данных, которым они не доверяют.
И подумайте о влиянии множества ошибок, которые все же просачиваются: неправильные лабораторные измерения в больнице могут убить пациента. Неясная спецификация продукта может увеличить производственные затраты на миллионы долларов. Неточный финансовый отчет может испортить даже самые лучшие инвестиции. Последствия таких ошибок для репутации могут быть серьезными - достаточно вспомнить пожар, разразившийся из-за проблем с Apple Maps осенью 2012 года.
Когда данные ненадежны, менеджеры быстро теряют веру в них и полагаются на свою интуицию, чтобы принимать решения, управлять своими компаниями и реализовывать стратегию. Например, они гораздо более склонны отвергать важные, противоречащие здравому смыслу выводы, возникающие в результате анализа больших данных.
Спустя пятьдесят лет после того, как было придумано выражение «мусор на входе, мусор на выходе», мы все еще боремся с качеством данных. Но я считаю, что решить проблему не так сложно, как многие могут подумать. Решение не в лучшей технологии: это лучшая коммуникация между создателями данных и пользователями данных; нацеленность на будущее; и, прежде всего, передача ответственности за качество данных от ИТ-специалистов, которые не владеют бизнес-процессами, создающими данные, в руки менеджеров, которые очень заинтересованы в правильном получении данных.
Соедините создателей данных с потребителями данных
С точки зрения качества, в жизненном цикле данных имеют значение только два момента: момент их создания и момент их использования. Качество данных фиксируется в момент создания. Но на самом деле мы не судим об этом качестве до момента использования. Если качество считается низким, люди обычно реагируют, работая с данными или исправляя ошибки самостоятельно.
Но улучшение качества данных не сводится к героическому исправлению чужих плохих данных. Речь идет о том, чтобы заставить создателей данных сотрудничать с пользователями - их «клиентами», - чтобы они могли определить основные причины ошибок и придумать способы улучшения качества в будущем. Вспомним нашего восходящего руководителя. Не сообщив Market Research об ошибке и исправив ее самостоятельно, она оставила других жертвами тех же неверных данных, поступающих из отдела. Она также взяла на себя корректировку чисел, хотя была гораздо менее квалифицирована для этого, чем создатели данных.
Хорошая новость заключается в том, что небольшое общение имеет большое значение. Снова и снова на встречах с создателями данных и пользователями данных я слышал: «Мы не знали, что кто-то использует этот набор данных, поэтому мы не тратили на это много времени. Теперь, когда мы знаем, что это важно, мы будем усердно работать, чтобы предоставить вам именно то, что вам нужно.«Убедиться, что создатели знают, как будут использоваться данные, - один из самых простых и эффективных способов улучшить качество.
Еще лучше то, что решение подавляющего большинства проблем с качеством данных не требует больших инвестиций в новые технологии или реинжиниринг процессов, как показано на боковой панели «Как данные становятся грязными». Конечно, дисциплинированные измерения, автоматизированный контроль и методологии, такие как «Шесть сигм», полезны, особенно при решении более сложных проблем, но решающим первым шагом является простое общение пользователей и создателей данных друг с другом.
Сосредоточьтесь на правильном получении новых данных
Как только компания осознает, что качество ее данных ниже номинала, ее первая реакция, как правило, состоит в том, чтобы предпринять масштабные усилия по очистке существующих неверных данных. Лучший подход - сосредоточиться на улучшении способа создания новых данных путем выявления и устранения основных причин ошибок. После того, как эта работа будет завершена, может потребоваться ограниченная очистка, но текущая очистка не потребуется.
Возьмите отдел бурения в Chevron, энергетическом гиганте стоимостью 230 миллиардов долларов. Хотя система, используемая для сбора данных для оценки бурения, планирования новых скважин и разработки программ безопасности, была отраслевым стандартом, данных часто не хватало. Например, менеджеры не могли определить по данным, было ли бурение скважины выполнено в рамках бюджета. Компания запустила программу по очистке наиболее важных данных, связанных со скважинами, но руководители очень быстро поняли, что комплексная очистка займет целых пять лет - и что, если они не внесут изменений, все, что было создано за эти пять лет, перестанет существовать. лучше, чем сегодняшние данные.
Таким образом, буровая группа выбрала опытного менеджера Никки Чанг, чтобы возглавить новую группу управления данными. Чангу было ясно, что организация должна сосредоточиться на будущем. «Очистка данных - это работа, не добавляющая ценности», - говорит она. «Мы богатая компания, но не… [такая] богатая». Ее первым шагом было изменение способа измерения ошибок в новых данных.«По нашим [существующим] показателям, если одно значение в записи данных было неправильным, а девять были правильными, эта запись набрала 90% баллов», - говорит она. «Но мы не можем использовать запись, когда в ней есть хотя бы одна ошибка. Он должен набрать ноль. Когда я скорректировал показатели, чтобы отразить это, мы увидели более правдивую картину. Метрики подтвердили, что у нас была реальная проблема».
Вместо того, чтобы предпринимать масштабные усилия по очистке существующих неверных данных, компаниям следует сосредоточиться на улучшении способов создания новых данных.
Чанг и ее команда вскоре определили новые цели по сокращению количества непригодных для использования записей, имея в виду две основные цели: «Во-первых, мы хотели чего-то простого, - говорит она. «Во-вторых, мы хотели, чтобы бизнес-подразделения улучшались - и быстро». В то же время она хотела сосредоточиться на выявлении основных причин больших проблем. «Я не хотел наказывать кого-то за одну или две случайные ошибки, по крайней мере вначале».
Она поставила цель на первый год для каждой установки: все основные данные для 95% новых скважин должны быть созданы правильно с первого раза. Цель второго года - 100%. «Для большинства это была сложная, но достижимая цель», - отмечает Чанг. Теперь ее команда регулярно обновляет оценочную карту. «Каждый может видеть, как у него дела, в любое время. Это важно: когда они пытаются что-то улучшить, они видят, были ли они эффективны. И они могут видеть, как у них дела обстоят по сравнению с их сверстниками».
Чанг постарался не указать, как бизнес-подразделениям следует добиваться новых целей. Появилось много подходов: одна группа просто настроила ежедневные обзоры, чтобы просмотреть данные за предыдущий день; другой использовал Lean Sigma (вариант Six Sigma); третья организовала внутреннюю конкуренцию между различными группами буровых установок. «Сотрудники Chevron креативны и конкурентоспособны, - говорит Чанг. «Дайте им цель, на которую они купятся, и они придумают, как ее достичь».
Неудивительно, что большинство юнитов сделали именно это. За восемь месяцев реализации инициативы 13 из 15 бизнес-подразделений выполнили план первого года, а два других были на пути к этому. Эти результаты впечатляют, но в них нет ничего необычного. Действительно, я считаю, что большинство компаний, которые таким образом решают проблему качества данных, показывают аналогичные результаты.
Переложите ответственность за данные на линейных руководителей
Очень часто создатели данных организационно не связаны с пользователями данных. Финансовый отдел создает данные о выполнении квартальных целей, например, без учета того, как отдел продаж захочет их использовать, или отдел обслуживания клиентов анализирует жалобы, но не ищет закономерности, которые были бы важны для менеджеров по продуктам.
Когда проблемы с качеством становятся распространенными или серьезными, организационная реакция часто заключается в том, чтобы поручить ИТ-отделу их устранение, обычно путем создания специального подразделения в группе, которое возглавит инициативу. Это может показаться логичным, поскольку ИТ - это функция, которая охватывает все разрозненные подразделения. Но ИТ-отделы, как правило, не очень успешны в реализации программ обеспечения качества данных. Это потому, что, как я уже отмечал, качество данных фиксируется в момент их создания. За редким исключением, в ИТ такого момента не бывает. Для решения проблем ИТ-специалисты могут общаться с создателями и пользователями, но не могут изменить нарушающие бизнес-процессы. Все, что они могут сделать, это найти и исправить ошибки, что, как мы видели, не является долговременным решением.
Стимулы для ИТ также слабы. Бизнес-отделы получают огромную выгоду от доступа к надежным данным для улучшения продуктов, услуг и принятия решений. ИТ-подразделения получают мало вознаграждения и не чувствуют боли, когда данные неверны. Именно бизнес-подразделения и менеджеры должны сталкиваться с разгневанными клиентами, выполнять обещания или объяснять плохие результаты акционерам.
Умные компании возлагают ответственность за качество данных не на ИТ-отдел, а на создателей данных и их внутренних клиентов данных. Я считаю, что ИТ-специалисты с готовностью признают, что «данные принадлежат бизнесу». как только компании это понимают, согласование происходит быстро. Лиз Киршер, бывший президент отдела данных в Morningstar, чикагской компании, предоставляющей данные о взаимных фондах и других финансовых рынках, объясняет это так: «У нас не больше данных, которые управляют технологиями, чем исследований, которые управляют технологиями. Это разные виды активов». Для большинства компаний реальным препятствием на пути улучшения качества данных является то, что некоторые менеджеры отказываются признать, что их данные недостаточно хороши, а другие просто не знают, как исправить некачественные данные. Первый этап прогресса происходит, когда какой-то менеджер в организации (возможно, высшее руководство, но чаще кто-то посередине) сыт по горло и решает, что «должен быть способ получше». Менеджер запускает программу данных и, если следовать указанным здесь рекомендациям, обычно получает хорошие результаты.
Но у этого менеджера часто мало мотивации или он не может выйти за рамки своего отдела. Компания осталась с данными высшего качества в нескольких областях и плохими данными во всех остальных.
Преодоление этого плато требует обязательств со стороны высшего руководства. Около 20 лет назад Джозеф Джуран в своей основополагающей статье HBR «Сделано в США: возрождение качества» доказал, что лидерство в вопросах качества нельзя делегировать. Джуран, конечно, говорил о качестве производства, но его слова в равной степени справедливы и для данных. Во всяком случае, проблема качества данных является одновременно более сложной и неотложной. Пришло время усилить призыв к лидерству.