На закрытом семинаре в московском офисе Яндекса в сентябре 2018г. рассказывалось о высокопроизводительной с открытым исходным кодом аналитической СУБД ClickHouse и об облачном сервисе визуализации данных DataLens. Также озвучивался вопрос о маркете данных - интересная тема, которую хотелось бы развернуть шире.
При внедрении, эксплуатации OLTP-систем и/или хранилищ данных крупные, средние компании рано или поздно приходят к заключению о необходимости системы нормативно-справочной информации (НСИ), мастер-данных (MDM). Начальная потребность обнаруживается в обновляемых общеупотребительных справочниках: населенные пункты, регионы, страны, бренды, валюты, курсы валют, кредитные организации, юридические лица, ВУЗы, профессии рабочих и должностей служащих, производственный календарь, станции метрополитенов и т.д. Бизнес вынужден заниматься поиском актуальной информации, проектированием структур её хранения, разработкой интеграционных процессов, обогащением данных, контролем качества данных, словом, многим чем, но не своими производственными задачами. Обновление справочников новыми достоверными данными - трудоемкий, хлопотный, рутинный процесс. В какой-то момент бизнесу может надоесть это занятие, и справочники начнут сходить на нет.
IT-консалтингу, системным интеграторам не интересны обыденные работы по актуализации справочников - непонятная маржинальность, штучные заказчики. Ведомственные организации, такие как Федеральная Налоговая служба, Банк России, Органы и службы по стандартизации России, если и предоставляют справочную информацию, то только по своей предметной области, не всегда технологично и не всегда под ключ (приходится трансформировать). Разнообразные информационные интернет-стартапы не вызывают доверия к их надежности и также не претендуют на широкий охват отраслей.
Какая организация может стать всеобъемлющим поставщиком качественных нормативно-справочных данных? Yandex! Именно Яндекс, и вот почему:
- Яндекс - самая высокотехнологичная стремительно развивающаяся компания в России, во всем СНГ, с хорошей капитализацией, репутацией. В русскоязычном сегменте интернет Яндекс конкурирует c Google и часто его превосходит;
- У Яндекс есть многолетний опыт, многочисленные наработки по поиску, распознаванию, агрегированию, структурированию данных из различных источников, уникальные алгоритмы анализа текстов, машины искусственного интеллекта;
- Яндекс обладает собственными громадными вычислительными мощностями, отказоустойчивыми сверхмощными серверными ресурсами и дата центрами;
- Яндекс может решать масштабные задачи федерального уровня, быть проводником интересов государства российского, выступать агрегатором, архитектором государственных и отраслевых НСИ, снижая операционные корпоративные издержки в масштабах страны. После развала СССР порушены единые номенклатурные классификаторы товарной продукции, наличествует пренебрежение ГОСТами. Созданию отраслевых номемклатурных справочников товаров противодействуют маркетологи, а внедрение внутрикорпоративных классификаторов носит закрытый характер в рамках одной компании и с переменным успехом;
- Яндексу под силу наладить, выстроить взаимодействия с государственными ведомствами, организациями и коммерческими компаниями, являющимися генераторами регламентных данных. Коллаборация на взаимовыгодной основе, например, Ya разрабатывает структуру справочников, обеспечивает всей необходимой инфраструктурой, предоставляет удобные интерфейсы (GUI, API), выполняет первичное наполнение справочников, подготавливает инструкции, проводит обучение сотрудников ведомственных организаций, проводит регулярный мониторинг качества данных, гарантирует дистрибуцию данных. Специалисты ведомственных организаций осуществляют своевременное обновление данных в соответствии с регламентами. Для компаний референс "Участник Яндекс MDM" мог бы стать рекламой, весомым знаком подтверждения качества продукции и услуг;
- Наличие Яндекс MDM - серьезное подспорье в продвижении СУБД ClickHouse. Готовые измерения, иерархии данных на базе MDM - это еще одно преимущество в пользу DataLens - Яндекс Business Intelligence;
- Яндекс MDM мог бы стать полезным информационно-справочным формализованным ресурсом для широкого круга потребителей - граждан, частных лиц, индивидуальных предпринимателей, предприятий и обществ. Так, бесплатный сервис Яндекс-карты стал доминантой в сфере геолокации. API геокодирования от Яндекса - лучший на просторах СНГ. Мастер-справочники можно и нужно предоставлять: онлайн на web-сайте, посредством скачивания готовых Excel-файлов и csv-файлов, через web-сервисы в форматах XML, JSON;
- Для коммерческих предприятий в части отраслевых справочников можно организовать доступ на платной основе: система тарифов в зависимости от степени участия и объема получаемой / предоставляемой инфрмации.
Что думает Яндекс о создании собственных сервисов MDM и дистрибьюции данных?
