По материалам Charles Roe (ASG Software Solutions), Robert S. Seiner ( KIKconsulting.com / TDAN.com), а также компании Collibra + собственные добавления
Гибкость на рынке XXI века требует способности принимать решения в реальном времени с использованием актуальной информации. Конкурентоспособность запрашивает постоянного доступа к корректным данным. Маркетинг, закупки, производство, реклама, продажи, бухгалтерский учет, финансовый анализ, поиск и найм персонала, разработки, ИТ-поддержка переплетаются в одну византийскую сеть взаимосвязанных систем, которая, как ожидается, обеспечивает адаптивность, постоянное совершенствование, надежность, результативность, качество, прозрачность и скорость. Идиллическая картина деловой жизни, не правда ли?
Бизнесу нужна уверенность, что информация, которую он получает из операционных систем, хранилищ и баз данных, аналитических систем, верна. Данные - это "валюта". Плохие данные означают, что вы выбрасываете деньги в окно. Пример. Формулирование единого определения для термина "Клиент" должно быть легким, не так ли? Банк имеет несколько различных систем - DB2, Oracle, SAP, MSSQL, которые содержат данные о клиентах, и каждая из них оперирует своим объяснением "Клиента": "потенциальный клиент", "реальный клиент", "VIP-клиент", "спящий клиент". Как результат: массивы дублирующихся данных и в то же время не гомогенный атрибутный состав, неполнота заполнения, утериваемые записи, беспричинные операционные издержки - и это только поверхность проблем. Вот еще пример. Разные отделы не могут договориться о едином подходе: Что такое себестоимость? Существует ли несколько видов себестоимости? Кто принимает решение об определении себестоимости? Как рассчитывается себестоимость? В каком случае какую себестоимость следует использовать?
Коммуникация и обмен информацией не существуют в мире разрозненных информационных хранилищ, которым не хватает синтаксической преемственности. Данными необходимо управлять так же, как и любым другим активом предприятия, поэтому метаданные вписываются в систему менеджмента, как и поддержание необходимых бизнес-процессов и принятие решений. Без качественных метаданных управление данными ненадежно.
Богатство организации может быть отражено в балансовых отчетах и в бухгалтерских книгах, но реальное состояние хранится в информационных активах. Жизненная сила перекачивается через распределенные вычислительные узлы в хранилище данных, агрегаты анализируются посредством BI-приложений, аналитические доклады отправляются по электронной почте, оцениваются и обсуждаются работниками умственного труда в компаниях по всему миру. Данные вашей компании подобны тайнику с золотом, оное только и ждёт, чтобы его откопали и очистили. Чтобы добраться до этого золота, нужно знать, где оно залегает в земле. Нужны метаданные!
Знание - это информация, а информация исходит из данных; без качественных данных затруднена интеграция ERP, CRM, WMS, MDM, DWH, BI и других систем, а отчетность не соответствует реалиям бизнеса. На совещаниях обсуждаются управление проектами и приоритеты, говорят о веб-сервисах, мобильных приложениях, большой автоматизации, обосновываются новые инвестиции, решаются многие другие вопросы, в то время как метаданные сидят в углу и разговаривают сами с собой.
Если данные так важны, то разве не должна быть важна структура, которая делает такую информацию функциональной? Метаданные - это любая дополнительная информация, которая помогает понять:
- • технологические и бизнес-процессы;
- • логическую и физическую структуру данных;
- • содержание данных;
- • правила и ограничения, накладываемые на данные;
- • происхождение данных;
- • использование информационного ресурса.
Метаданные - это основа информационного менеджмента, без которого современное предприятие пробуксовывает в неразберихе. Метаданные описывают различные аспекты информационных активов для улучшения удобства использования их на протяжении всего жизненного цикла. Метаданные позволяют сотрудникам на разных уровнях предприятия:
- • находить ценные ответы;
- • принимать обоснованные решения (в том числе по оценке воздействия изменений, по упреждению и минимизации рисков);
- • совершенствовать процессы;
- • эффективно взаимодействовать;
- • контролировать каналы доступа, безопасность и пути передачи данных;
- • сокращать время разработки продуктов;
- • переиспользовать активы данных;
- • работать в рамках общей лингвистической системы.
Это клей, который связывает все ваши системы, подразделения и пользователей вместе.
Метаданные описывают различные деловые (повседневные бизнес-термины, бизнес-правила, правила обмена данными, правила качества данных), операционные, технические (модели данных, родословная данных, мэппинги данных, разделение доступа и т.п.) аспекты имеющихся данных. Gartner говорит, что управление метаданными перешло от фокуса на отчетах, инвентаризации и анализа влияний / зависимостей к обнаружению данных, интеллектуальной оптимизации и анализу вариантов использования. Специалисты компании Collibra видят соотношение данных и метаданных, как показано на рисунке.
К сожалению, что видим на практике в средних и крупных компаниях: стоимость данных составляет сотни и более миллионов рублей, если считать прямым затратным способом, учитывая всю цепочку по бизнес-анализу, разработке, внедрению учетных оперативных систем (CRM, ERP, WMS и др.), набивке в них данных, проектированию, разработке, развертыванию интеграционных решений и хранилищ данных, сбору требований, разработке и тестированию отчетов и BI-аналитики, а еще сопровождение всех этих ИТ-решений и затраты на инфраструктуру. А расходы и фокус на управление метаданными - где-то на уровне 5% от общих затрат. Постить топики в Сonfluence, сочинять разрозненные Word-файлики и Excel-ки - это еще не управление метаданными.
Самая общая проблема с любой платформой управления знаниями о данных заключается в фокусировке внимания только на технических метаданных с небольшим или полным отсутствием акцента на бизнес-метаданные. Бизнес-пользователей не заботят наименования таблиц и полей, формат файлов XML, XSD, наполнение ETL-пакетов, процедуры очистки данных и т.п. Бизнес-пользователи обеспокоены отчетами о доходах, показателями эффективности работы сотрудников, исполнением требований регуляторов (Центральный банк, Basel II, Налоговая инспекция, FDA и др.), прогнозированием будущих потребностей цепи поставок, клиентскими предпочтениями. Сопоставьте оба рисунка через общий уровень - данные (Data) и общая картина сложится более мощной, а если учесть, что знания - это сила, а сила - это власть...
Сейчас так много полагаются на ИТ-системы, платформы, которых так много на рынке, что почти невозможно угнаться за ними. На каждом углу цифровой улицы есть другой поставщик, обещающий лучшее новое приложение, самую быструю платформу или наиболее интегрированную систему.
Единственный способ начать гарантировать надежный процесс интеграции между системами - это иметь четкую и продуктивную коммуникацию, знать процессы от производства до клиента. Согласованные корпоративные метаданные позволяют всей системе говорить на одном языке. Британский ученый лорд Кельвин сказал: "Вы не можете управлять тем, что не измеряете". Метаданные - это базис, который позволяет доверять метрикам, анализировать их по цепочке:
- • Каковы предполагаемые выгоды?
- • Сколько будет стоить этот процесс?
- • Какова потенциальная рентабельность инвестиций?
- • Каковы возможные риски?
Данные - это актив. Данные сами по себе бессмысленны и ничего не стоят без контекста, а метаданные обеспечивают контекст. Чем лучше, качественнее метаданные, тем выше ценность данных. Метаданные - это тоже экономический актив, а активами надо управлять.
Для управления данными и метаданными требуется руководство. Кратко об управлении метаданными по ролям:
- • Бизнес-пользователи работают с показателями и политиками организации.
- • Менеджеры бизнес-данных управляют бизнес-метаданными, включая термины глоссария и бизнес-правила. Они обеспечивают поддержку для создания и потребления метаданных.
- • Менеджеры системных данных управляют техническими метаданными и согласованием систем с бизнес-правилами.
- • Архитекторы данных связывают бизнес-метаданные с техническими метаданными с помощью концептуальных и логических моделей.
- • Инженеры данных работают с техническими метаданными и стандартами типов данных, обеспечивают поддержку создания и потребления метаданных.
Больше всего люди хотят делать хорошую работу, быть успешными, хорошо зарабатывать на жизнь. Чтобы выполнять работу качественно, людям нужна возможность принимать обоснованные решения, как ключ к успеху в бизнесе. Метаданные способствуют улучшению процесса принятия решений. Если метаданными управлять, то они дают понятный и богатый контекст о том, какие данные генерировать и какие данные потреблять, гарантируя, что данные станут ценным корпоративным активом.