Рассмотрены технологические решения и опыт создания сервера интеллектуально-аналитической обработки данных для системы поддержки принятия решений в многоуровневом комплексе средств автоматизации системы управления бизнес-процессами.
Санкт-Петербургский государственный электротехнический университет «ЛЭТИ»
Сервер интеллектуально-аналитической обработки данных для прикладных bi-систем поддержки принятия решений
Аннотация. Рассмотрены технологические решения и опыт создания сервера интеллектуально-аналитической обработки данных для системы поддержки принятия решений в многоуровневом комплексе средств автоматизации системы управления бизнес-процессами.
Abstract. It is discussed technology solutions and the experience of creating a server intellectual-analytical processing for decision support in complex multi-level automation control system of business processes.
Keywords: forecasting, planning, analytical kernel, Big Data, knowledge discovery, mobile analytics
Введение. Business Intelligence (BI)— это процесс получения и использования знаний о бизнесе на основе различных аппаратно-программных аналитических технологий. Такие технологии дают возможность организациям превращать сырые данные в информацию, а затем информацию в знания и управляющие решения. Наиболее востребованными результатами от внедрения бизнес-аналитики считается повышение качества принимаемых решений по управлению бизнес-процессами и рост контроля над ними в целом. В настоящее время нет устоявшегося представления о составе и функциях системы поддержки принятия решения в сфере управления бизнесом. Как правило, типичный набор функций включает в себя: прогнозирование товарных и финансовых потоков; прогнозирование событий и эпизодов бизнес-деятельности; оценка рисков финансовой деятельности; интеллектуального вывода о последствиях принимаемых решений; о причинах событий; о закономерностях развития бизнес-процессов; стратегическое планирование бизнес деятельности; выявление ключевых управляющих факторов; планирования бизнес деятельности в условиях кризисной ситуации; обнаружение и распознавание опасных тенденций развития бизнес-процесса.
Список не является исчерпывающим, в процессе освоения интеллектуальных технологий в бизнес-сфере, состав функциональных задач претерпевает изменения. Это накладывает определенные требования на разработку программных средств. Одно из главных заключается в возможности модификации и расширения функционального состава системы поддержки принятия решений. К другим требованиям относятся: унификация и стандартизация интерфейса программных средств, свободная интегрируемость с комплексом средств автоматизации делопроизводства, управление сервисами и метаданными, мобильность алгоритмических моделей, способность к обработке больших объемов разнородных данных (Больших Данных), способность к обработке неполных и противоречивых данных, экономическая эффективность.
В данной работе будут рассмотрены технологические решения и опыт создания сервера интеллектуально-аналитической обработки данных для системы поддержки принятия решений в многоуровневом комплексе средств автоматизации системы управления бизнес-процессами. Реализация технологий встраиваемых интеллектуальных подсистем связана с решением ряда принципиальных вопросов, к которым относятся: выбор архитектуры, системных интерфейсов, обеспечение сервисных возможностей, безопасности, надежности и высокого быстродействия. Важным аспектом является возможность централизованного хранения и использования инфраструктуры аналитического ядра.
Концепция аналитического ядра. Ядром системы поддержки принятия решений является сервер интеллектуально-аналитической обработки, интегрирующий в себе алгоритмы извлечения знаний, средства аналитической обработки, средства управления метаданными и сервисами. Концепция ядра позволяет обеспечить инвариантность к составу и поколениям автоматизированных комплексов систем управления бизнес-процессами, что достигается за счет стандартизации интерфейсов взаимодействия с ядром и автономности функционирования сервера. Кроме аналитического сервера подсистема поддержки принятия решений включает в себя клиентскую часть поддерживающую интерфейс взаимодействия с оператором. Для разработчиков средств автоматизации клиентская часть является предметом разработки, в то время как сервер является встраиваемым компонентом. Для эксперта-аналитика необходима специализированная клиентская часть, обеспечивающая удобный пользовательский интерфейс для профессиональной работы с данными. Аналитическое ядро и предметно-независимые средства взаимодействия с ядром, включающие компоненты когнитивной визуализации данных образуют аналитическую платформу.
Уровни стандартизации аналитических технологий. При создании интеллектуально-аналитических систем предназначенных для обработки Больших Данных, существенное значение имеют стоимостные параметры проекта и время его осуществления. Это приводит к усилению значимости использования существующих стандартов и новых вычислительных технологий.
Стандарты Data Mining затрагивают основные аспекты построения аналитических систем [1]. Здесь сложилось три направления. Во-первых, унификация интерфейсов, посредством которых любое приложение может получить доступ к функциональности аналитического ядра. Это направление стандартизации касается объектных языков программирования (CWM Data Mining, JDM) и надстроек над языком SQL (SQL/MM, OLE DB for Data Mining), позволяющих обращаться к инструментарию Data Mining непосредственно встроенному в реляционную базу данных.
Второй аспект стандартизации связан с выработкой единого соглашения по хранению и передачи моделей Data Mining. Основой является язык XML. Сам стандарт носит название PMML (Predicted Model Markup Language).
И третье – общие рекомендации по организации процесса аналитической обработки данных. Это направление в основном покрывается стандартом CRISP-DM (CRoss Industry Standard Process for Data Mining). Далее более детально будут рассмотрены два базовых стандарта: PMML и SQL/MM.
Мобильная аналитика. Стандарт PMML. Под мобильностью понимается возможность свободного переноса аналитических моделей между различными подсистемами поддержки принятия решений, например между различными уровнями управления бизнесом. Решение проблемы мобильной аналитики достижимо на основе уже упомянутого выше международного стандарта PMML [2]. Центр внимания стандарта сосредоточен на совместимости и замене пользовательского кода при развертывании модели. Эта совместимость есть ключевое преимущество PMML, позволяющее использовать ранее построенную аналитическую модель на различных вычислительных платформах.
Аналитика «in data base». Стандарт SQL/MM (международный стандарт ISO/IEC 13249-6-2006, SQL/MM Part 6) предполагает, что вся аналитическая обработка данных происходит там, где эти данные размещаются, что исключает затратные пересылки больших объемов данных между СУБД и аналитическим приложением. Кроме того такое решение позволяет использовать встроенные механизмы СУБД для защиты данных, контроля целостности, многопользовательской поддержки, индексации, кэширования, репликации, аварийного восстановления, диагностики ошибок, триггерных процедур и пр.
Стандарт является расширением языка SQL и использует его допустимые конструкции для управления алгоритмами, это позволяет формировать общий SQL-скрипт включающий как типовые вызовы для работы с таблицами данных, так и вызовы алгоритмов Data Mining. Такой симбиоз аналитики и управления данными превращает язык SQL в универсальное средство представления сценарных методов обработки данных.
Унификация интерфейса обеспечивает достаточно простую возможность перехода с одной SQL СУБД к другой в случае замены поставщика или с целью расширения объема или быстродействия аналитической платформы. Для системных архитекторов стандарт устанавливает базовые сущности, включающие: настройку алгоритмов, модель, задачу, описания данных и фазы использования алгоритма.
Опыт разработки аналитической платформы. Аналитическая платформа Sorintella 2015 [3] (разработчик и правообладатель ПАО «Интелтех») предназначена для встраивания в промышленные ин-формационно-аналитические системы с целью обеспечения интеллектуальной обработки данных гигабайтного масштаба. Области применения аналитической платформы включают: системы поддержки принятия решений; ситуационные центры; системы поддержки бизнеса и операционной деятельности; обработка архивных данных; распределенный интеллект; оперативно-техническое обеспечение средств связи; отказоустойчивые инфокоммуникационные системы;
Платформа реализована в архитектуре СУБД PostgreSQL в виде сервера с сервис-ориентированным доступом к алгоритмам обработки данных (рисунок 1). Доступ к аналитическому ядру платформы поддерживается через программный интерфейс SQL/MM. Для алгоритмов интеллектуальной обработки данных поддерживаются фазы обучения, тестирования и применения. Экспорт моделей обработки данных поддерживается международным стандартом PMML. В настоящее время реализованы следующие аналитические методы: классификация данных, построение ассоциативных правил, прогнозирование последовательностей событий, прогнозирование временных рядов, логический вывод по продукционным правилам, кластерный анализ, статистический и корреляционный анализ.
Для поддержки инфраструктуры в аналитическом ядре платформы реализована системная часть – репозиторий, состоящий из хранилищ аналитических сервисов и ресурсов. Хранилище сервисов обеспечивает сервис-ориентированный режим использования аналитической платформы. Хранилище ресурсов содержат объекты выполнения различных фаз и этапов работы алгоритмов.
Выводы. Снижение стоимости аналитической платформы для конечного пользователя достигается: 1) использованием несущей СУБД и алгоритмов аналитики из класса свободного программного обеспечения, 2) масштабированием состава аналитических методов под конкретного пользователя, 3) наличием открытой документации по аналитическим методам, стандартам интерфейса, и аналитическим моделям, 4) использованием готовых R-алгоритмов из международного репозитория CRAN.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Анализ данных и процессов 3-е издание // Барсегян А.А., Куприянов М.С., Холод И.И., Тесс М.Д., Елизаров С.И.
2. PMML Version 4.2.1, 2014, Data Mining Group (DMG) Available at: http://dmg.org/pmml/v4-2-1/GeneralStructure.html.
3. Дорогов А.Ю. Абатуров В.С., Раков И.В. Сервис-ориентированная аналитическая подсистема интеллектуальной обработки данных (Sorintella). // Свидетельство о государственной регистрации программ для ЭВМ №2014616352, зарегистрирована в Реестре программ для ЭВМ 20 июня 2014.
Библиографическая ссылка
Дорогов А.Ю., Абатуров В.С., Раков И.В., Харьковский А.С. СЕРВЕР ИНТЕЛЛЕКТУАЛЬНО-АНАЛИТИЧЕСКОЙ ОБРАБОТКИ ДАННЫХ ДЛЯ ПРИКЛАДНЫХ BI-СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ // . – . – № ;
URL: istmu2016.csrae.ru/ru/0-4 (дата обращения:
04.05.2024).
Опыт разработки аналитической платформы. Аналитическая платформа Sorintella 2015 [3] (разработчик и правообладатель ПАО «Интелтех») предназначена для встраивания в промышленные ин-формационно-аналитические системы с целью обеспечения интеллектуальной обработки данных гигабайтного масштаба. Области применения аналитической платформы включают: системы поддержки принятия решений; ситуационные центры; системы поддержки бизнеса и операционной деятельности; обработка архивных данных; распределенный интеллект; оперативно-техническое обеспечение средств связи; отказоустойчивые инфокоммуникационные системы;