Аналитика существующих БД для задач АСУ ТП

Чтение делает человека знающим,

беседа – находчивым,

а привычка записывать – точным.

Ф. Бэкон

Английский философ

Введение

Сбор, структурирование и долгосрочное хранение технологических и производственных данных составляют основу современных систем оперативно-диспетчерского управления (SCADA), распределенных систем управления (РСУ/DCS) и систем управления производством (MES). В условиях цифровой трансформации и эпохи Индустрии 4.0 (а некоторые уже используют индекс 5.0) промышленные серверы архивирования превратились из пассивных регистраторов технологических параметров в ключевые элементы информационного обмена, обеспечивающие аналитическую обработку, построение предиктивных моделей и интеграцию операционных (OT) и информационных (IT) технологий.

Системы архивирования технологических данных прошли несколько важнейших этапов развития, каждый из которых становился ответом на такие вызовы, как лавинообразный рост объемов промышленной телеметрии, появление предиктивной аналитики и промышленного интернета вещей, необходимость интеграции с различными системами класса MES и ERP для аналитики.

На заре промышленной автоматизации запись данных велась в проприетарные бинарные файлы непосредственно в самой SCADA: ранние версии Wonderware InTouch Historical Log (.lgh, .idx), GE iFIX Historical Data (.htr, .hda). На смену файловой записи пришли стандартные реляционные базы данных, такие как SQLite, MS SQL Server, классический PostgreSQL. Эти системы использовались для локального ведения журналов на уровне HMI и SCADA-систем. Данные в них писались циклически в традиционные строки и таблицы без применения сложных алгоритмов сжатия.

Осознание того, что хранение технологических параметров принципиально отличается от бизнес-транзакций, привело к созданию в 1980-х годах нового класса программных продуктов - промышленных архиваторов. Родоначальником этой категории стала система PI компании «OSIsoft» (сейчас AVEVA PI System), основанная Патриком Кеннеди в 1980 году. Следом за ней появились и другие классические системы: Wonderware Historian (AVEVA Historian), GE Digital Proficy, AspenTech IP.21.

Чтобы уместить терабайты данных на жестких дисках тех лет, были разработаны специализированные алгоритмы адаптивного сжатия с потерями, такие как Swinging Door Trending (SDT, алгоритм «поворотной двери»), и Exception Deadband (EDD, алгоритм «зона нечувствительности») позволяющие сократить дисковое пространство для хранения до 90%.

Промышленные архиваторы стали золотым стандартом для цехового контура благодаря встроенной поддержке промышленных протоколов, таких как OPC DA и UA, Modbus, проприетарных протоколов различных производителей, возможности резервирования и строгому соответствию отраслевым регуляторным требованиям.

С начала 2015 года из сфер ИТ-мониторинга, облачных инфраструктур и веб-аналитики в промышленность пришли специализированные базы данных временных рядов (TSDB): InfluxDB, Cassandra, TimescaleDB, ClickHouse. Они создавались и сейчас активно внедряются для сквозной аналитики, расчета OEE, объединения технологических данных с бизнес-контекстом, построения дашбордов и интеграции производства с корпоративными BI-инструментами.

В данной статье мы попробуем разобраться, когда и как применять перечисленные системы архивирования (и как их можно эффективно сочетать на производственных площадках), рассмотрим различные сценарии по импортозамещению, произведем сравнительный анализ и обозначим критерии выбора оптимального решения для решения различных производственных задач.

Реляционные СУБД (РСУБД) и объектно-реляционные СУБД (ОРСУБД)

RDBMS (Relational Database Management System) - реляционные системы управления базами данных, использующие для взаимодействия язык SQL, начали применяться в промышленной автоматизации с начала 1980-х годов. Они использовались в качестве встроенных локальных архивов в подсистемах визуализации SCADA/HMI для циклической записи ограниченного объема информации (трендов, алармов, событий) непосредственно на операторских станциях без использования специализированных алгоритмов сжатия.

Объектно-реляционная система управления базами данных (ОРСУБД / ORDBMS) — это гибридный тип СУБД, который совмещает в себе классическую реляционную модель (хранение данных в виде связанных таблиц, строк и столбцов) и принципы объектно-ориентированного программирования (ООП). Она была создана, чтобы преодолеть разрыв между тем, как разработчики пишут код (используя объекты, классы и наследование), и тем, как классические базы данных хранят информацию.

В качестве локальных хранилищ для SCADA или центральных архивов используются Microsoft SQL Server (включая бесплатную версию SQL Server Express для локальных SCADA-логов и тяжелую Enterprise для промышленных архиваторов уровня предприятия), Oracle Database, PostgreSQL (в стандартном базовом исполнении без расширений), MySQL, SQLite (встраиваемая ультралегковесная СУБД, используемая непосредственно внутри операторских панелей и SCADA).

В основе работы классических SQL-систем лежат следующие принципы и механизмы:

- строчно-ориентированное хранение (Row-oriented): поступающие данные группируются и сохраняются на диске в виде строк (например, идентификатор сигнала, метка времени, значение и качество записываются рядом друг с другом и относятся к одной записи);

- поиск данных в таблице осуществляется благодаря индексам, которые работают как алфавитный каталог в библиотеке, сопоставляя искомый ключ, (например, метку времени или ID тега) с физическим адресом строки на диске;

- транзакционный механизм ACID (атомарность, согласованность, изолированность, долговечность) обеспечивает абсолютную целостность данных и надежность записи в базу данных.

В отличии от классических реляционных СУБД, которые позволяли работать только с плоскими таблицами и базовыми типами данных (число, строка, дата), объектно-реляционные системы управления базами данных позволили объединить данные в комплексные структуры и хранить их в одной ячейке, создавать свои типы данных, работать с мультимедиа, геоданными (GIS) и документами (JSON/XML). Благодаря этому преимуществу появилась возможность перенести иерархию предприятия (Завод-> Цех-> Линия-> Датчики-> Датчик давления) напрямую в базу данных (например, создавался базовый объект «датчик» с общими полями, а от него наследовался «датчик давления», «датчик температуры» и т. п.) и повысить скорость выборки данных для построения трендов.

При создании локальных архивов до 10–15 тысяч параметров инженерам не требовалось вручную настраивать сложные схемы данных, триггеры или хранимые процедуры (всё разворачивалось штатными конфигураторами SCADA-систем), транзакционный механизм ACID обеспечивал целостность и надежный сбор данных, взаимодействие с базой данных, ее администрирование и выборка информации выполнялись с помощью универсального языка структурированных запросов SQL - именно эти факторы были решающими для проникновения и применения классических SQL-систем в промышленной автоматизации на заре ее становления.

Однако в дальнейшем, по мере роста количества устройств на производстве и сбора информации с них, хранение данных требовало в разы больше дискового пространства, построение трендов стало занимать значительное время, механизмы обеспечения строгой транзакционности ACID создавали избыточную вычислительную нагрузку, отсутствие промышленных протоколов OPC DA, OPC UA, Modbus «из коробки» и встроенных механизмов буферизации при обрыве сетевых соединений (Store-and-Forward) подтолкнуло инженеров к созданию специализированных решений для сбора, архивирования и быстрого извлечения данных – промышленных архиваторов.

Промышленные архиваторы (Industrial Data Historians)

• Промышленный архиватор данных (Data Historian/Process Historian) – это специализированное программное обеспечение, предназначенное для высокоскоростного сбора, надежного долгосрочного хранения и быстрого извлечения технологической информации, поступающей от различного промышленного оборудования: датчиков, программируемых логических контроллеров (ПЛК), систем класса SCADA, DCS (РСУ), MES и других.

• Этот класс архиваторов зародился в 1980-х годах непосредственно в контуре операционных технологий (OT), главной задачей которых был гарантированный и детерминированный сбор, валидация и сверхплотное хранение сигналов, поступающих от низовых устройств автоматизации (ПЛК, датчиков, измерителей) с использованием специализированных алгоритмов.
• Данные в классических архиваторах жестко привязаны к понятию «тега» (измерительного канала), который помимо числового или дискретного значения в обязательном порядке содержит метку времени высокого разрешения и код качества сигнала (Good, Bad, Uncertain) в соответствии со стандартами OPC:

• Имя тега + Метка времени высокого разрешения + Значение + Код качества

• Для минимизации дискового пространства (до 80–95% по сравнению с «сырой» записью) классические архиваторы используют проприетарные структуры данных и алгоритмы сжатия на лету. В подавляющем большинстве в промышленных системах архивирования используются два последовательных алгоритма:
• первичный фильтр зоны нечувствительности (Exception Deadband);
• алгоритм поворотной двери (Swinging Door Trending, SDT).

Промышленные архиваторы отлично решали задачи цехового уровня, но с лавинообразным ростом данных, распространением IIoT и принципов Индустрии 4.0 предприятия столкнулись с необходимостью масштабируемого сбора и обработки сотен тысяч сигналов, аналитики данных и бесшовной интеграцией с современными BI-инструментами, выполнения сложных объединений с бизнес-контекстом из систем класса MES/ERP, которую архиваторы предоставить уже не могли. В это время в IT-секторе уже активно использовались специализированные базы данных временных рядов, которые и помогли решить возникшие задачи на производстве.

Специализированные базы данных временных рядов (Time-Series Databases, TSDB)

База данных временных рядов (Time-Series Database, TSDB) – это специализированная система управления базами данных, изначально спроектированная и оптимизированная для интенсивного сбора, надежного хранения и аналитической обработки последовательностей данных, привязанных к точным меткам времени (временных рядов).

Каждая запись в TSDB представляет собой событие или измерение, содержащее метку времени (timestamp), идентификатор метрики/серии (имя тега, имя измерения или набор тегов/меток) и одно или несколько значений (числовых, дискретных или текстовых).

В основе работы TSDB лежит разделение, автоматическое секционирование по времени, буферизация и сжатие данных:

• данные автоматически разбиваются на временные сегменты (чанки или гипертаблицы) и при выполнении запроса планировщик мгновенно отсекает ненужные временные блоки, предотвращая падение скорости чтения по мере роста архива;
• входящий поток транзакций на короткое время буферизуется в оперативной памяти (RAM) или журналах с дозаписью транзакций (Append-only), после чего пакетами отправляется на диск, снижая нагрузку на I/O подсистему;
• производится сжатие данных, снижающим требования к дисковому пространству для хранения на 80–98%.

Сжатие данных является ключевым компонентом TSDB, решающий две главные задачи: экономия дискового пространства для хранения большого объема данных и возможность быстрой выборки для построения исторических трендов. Выделяют две фундаментальных подхода к сжатию данных в базах данных временных рядов:

- сжатие без потерь (Lossless Compression);

- сжатие с потерями (Lossy Compression/Даунсемплинг).

Сжатие без потерь работает по принципу обычного ZIP-архива: данные уплотняются в базе и при чтении восстанавливаются со 100% точностью до каждого знака. В данном подходе для сжатия используют колоночное хранение (Columnar Storage). В отличие от обычных реляционных БД, где данные хранятся строками, TSDB записывают данные столбцами. Поскольку в одном столбце лежат однотипные значения (например, только значение температуры), стандартные алгоритмы сжатия уплотняют их в разы эффективнее. Также применяется XOR-кодирование для поступающих значений: если физический параметр меняется незначительно (было 24.00, стало 24.01), их битовые записи почти идентичны, и далее, при сравнении этих чисел через битовую операцию XOR получается длинная цепочка нулей, которая сжимается до считанных бит.

Сжатие с потерями используют алгоритмы, которые применяются в промышленных архиваторах данных: фильтр зоны нечувствительности и алгоритм «поворотной двери», а также алгоритм агрегирования и прореживания: старые данные (например, старше 1 года) автоматически уплотняются и вместо сохранения тысяч сырых точек за каждый час база оставляет только агрегированные показатели (среднее, минимум, максимум).

В современных промышленных системах эти подходы работают в связке: фильтрация с потерями (Deadband или SDT) отсекает до 80–95% шума еще на границе сбора, а алгоритмы без потерь (колоночное сжатие) сжимают оставшиеся данные, экономя дисковое пространство.

В зависимости от внутренней архитектуры и происхождения TSDB можно поделить на четыре категории:

• специализированные нативные TSBD-движки, разработанные «с нуля» исключительно для временных рядов (InfluxDB, CrateDB, QuestDB, а также отечественные Alpha.Historian и Авадс БД);
• реляционные расширения, построенные на базе классических реляционных СУБД (чаще всего PostgreSQL) путем добавления плагинов секционирования (гипертаблиц), колоночного сжатия и временных функций (TimescaleDB+ PostgresPro);
• колоночные OLAP-СУБД, оптимизированные для выполнения аналитических запросов в режиме реального времени и обработки больших объемов данных (ClickHouse, Azure Data Explorer, MariaDB ColumnStore);
• кэширующие базы данных временных рядов (In-Memory TSDB): высокоскоростные хранилища, удерживающие временные ряды за последние часы/сутки непосредственно в оперативной памяти для систем автоматического реактивного оповещения и ML-моделей (Gorilla от Meta, Raima).

Сегодня перед инженерами, заказчиками, IT-архитекторами и системными интеграторами стоят сложные вопросы выбора: какой тип СУБД использовать для OT и IT контуров, на какую СУБД поменять AVEVA PI и Wonderware Historian, как быстро посчитать OEE по всем станкам за смену и подготовить аналитику в дашбордах, нужно ли менять промышленный архиватор на базу данных временных рядов или необходимо использовать эти СУБД одновременно? Давайте попробуем ответить на эти вопросы.

Сравнительный анализ и критерии выбора

В условия санкционных ограничений, активной политики импортозамещения и требований регуляторов, остановимся на определенном перечне решений, допустимых к использованию на промышленных предприятиях РФ и решающих различные задачи на производстве и в IT-секторе:

• Классическая реляционная СУБД (RDBMS) SQLite.
• Объектно-реляционная СУБД (ORDBMS) PostgreSQL/Postgres PRO.
• Специализированная БДВР Alpha.Historian (на базе собственного noSQL-движка).
• Специализированная БДВР АВАДС Сервер архивирования (на базе собственной технологии SSDS (Solid Segment Data Storage)).
• Гибридная СУБД TimescaleDB (реализована как сложное расширение для классической СУБД PostgreSQL: гипертаблицы и колоночное сжатие).
• Колоночная аналитическая СУБД ClickHouse (в основе колоночное хранение данных и многопоточные запросы).

Для построения матрицы сравнения будем использовать несколько блоков параметров, сгруппированных по ключевым архитектурным и эксплуатационным критериям:

• архитектура, модель данных и производительность;
• применимость на производстве, решаемые задачи, масштабируемость;
• функционал, достоинства и недостатки;
• возможность замены импортных решений без потери требуемого функционала;
• безопасность, соответствие требованиям регуляторов;
• стоимость владения, политика лицензирования.

Кроме этого, произведем обязательное разделение выбранных решений на две группы: контур операционных технологий - OT-контур (технологический/АСУ ТП) и контур информационных технологий - IT-контур (корпоративный). Это разделение – не просто архитектурный каприз, а принципиальное разделение существующих СУБД в промышленной автоматизации в зависимости от решаемых на производстве задач, а также ключевое требование безопасности, отказоустойчивости и непрерывности производства.

OT-контур отвечает за управление физическими процессами на производстве и работает в жестком реальном времени, изолирован от интернета (VLAN, DMZ) и использует классические промышленные протоколы OPC UA, OPC DA, Modbus TCP/RTU, а также нативные драйвера для ПЛК (S7, FINS, Ethernet/IP, Profinet, Profibus). Приоритеты: производство не должно останавливаться, непрерывный сбор данных реального времени c фиксацией кодов качества и меткой времени, надежность управления технологическим процессом. Именно промышленные архиваторы и специализированные базы данных временных рядов (Alpha.Historian, АВАДС, Postgres Pro + TimescaleDB) оптимизированы для приема тысяч тегов с высокой частотой и обладают возможностью сжатия данных «на лету».

IT-контур управляет бизнес-процессами, планированием, финансами: ERP-системы (например, 1С, SAP), MES-системы, документооборот и BI-аналитика. В этом контуре выполняются ресурсоемкие аналитические запросы: расчет показателей OEE за длительные периоды, сквозное сравнение цехов и заводов, построение BI-дашбордов и обучение моделей машинного обучения. СУБД для IT контура (PostgreSQL, Postgres PRO, ClickHouse) нацелены на работу со стандартом ANSI SQL, гипертаблицами и колоночными структурами. В этом контуре допускаются кратковременные задержки и плановые перезагрузки серверов, у серверов имеется контролируемый доступ в интернет.

Таблица 1 - Матрица сравнения OT и IT контуров по выборочным требованиям, предъявляемых к СУБД

Таблица 2 - Архитектура, модель данных и производительность

Таблица 3 - Применимость на производстве, решаемые задачи, масштабируемость

Таблица 4 - Функционал, достоинства и недостатки

Таблица 5 - Возможность замены импортных решений без потери требуемого функционала

Таблица 7 - Стоимость владения, политика лицензирования

Проанализировав сводные таблицы, можно сделать вывод, что для решения различных задач на производстве необходимо использовать разные СУБД. Приведём несколько типовых сценариев:

• для АСУ ТП SCADA (цеховой уровень) Alpha.Historian и АВАДС Historian обеспечат нативный сбор по OPC UA, надежность записи данных и соответствие российскому законодательству;
• для аналитики MES, OEE, ТОиР и интеграции с ERP (уровень IT/OT): Postgres Pro + TimescaleDB обеспечит удобство ANSI SQL, ACID-транзакции и колоночное сжатие;
• для Big Data, IIoT и сквозных дашбордов предприятия (уровень Enterprise) ClickHouse обеспечит высокую скорость агрегации телеметрии с сотен тысяч устройств;
• для встраиваемых систем, панелей оператора, и небольших локальных SCADA SQLite будет оптимальным решением;
• если вы заменяете Oracle или MSSQL, строите MES-систему или учет в 1С: однозначный выбор – Postgres Pro.

Опыт импортозамещения иностранных систем архивирования на отечественные решения

На отечественных предприятиях в рамках программы импортозамещения и соответствия требованиям регуляторов сформировалось три основных сценария замещения систем архивирования и SCADA-систем:

• прямая замена на уровне OT/SCADA существующих промышленных архиваторов AVEVA PI, GE Proficy, Wonderware Historian, Siemens PH отечественными аналогами и специализированными TSDB-серверами;
• гибридный подход, при котором временно сохраняется промышленный действующий архиватор и SCADA, а реплицированный поток данных направляется в аналитическое хранилище верхнего уровня, позволяющий ИТ-инженерам и аналитикам свободно выполнять SQL-запросы, строить BI-дашборды и обучать ML-модели без риска замедлить работу SCADA и без остановки действующих цеховых систем;
• переход на Единое пространство имен (Unified Namespace UNS), в котором вместо монолитных связей данные от ПЛК и SCADA публикуются в центральный брокер сообщений (MQTT/Sparkplug B), а внедряемые или замещаемые промышленные архиваторы подключаются к брокеру как один из равноправных подписчиков, при этом обеспечивается независимость компонентов системы и возможность гибко подключать любые новые аналитические сервисы.

По данным ресурса tadviser.ru можно, в частности, привести примеры импортозамещения решения Aveva Historian (System Platform), Exaquantum (Yokogawa) и AVEVA PI System на решения компании «Атомик софт» - Альфа платформу, одним из компонентов которой является Alpha.Historian.

Таблица 8 – Проекты импортозамещения по данным ресурса tadviser.ru

Заключение

В современных условиях цифровизации промышленности базы данных временных рядов (TSDB) и специализированные промышленные архиваторы превратились из вспомогательных ИТ-инструментов в фундаментальную основу управления предприятием. Интеграция архиваторов с алгоритмами искусственного интеллекта позволяет перейти от констатации аварий к их предупреждению: обученные на многолетних архивах нейросети способны выявлять аномалии в работе турбин, насосов или компрессоров за несколько дней до их физической поломки, «на лету» анализирует входящий поток тегов из архиватора и выдает технологу оптимальные уставки для снижения расхода энергоресурсов, сырья или минимизации брака (цифровые подсказчики).

В условиях жестких регуляторных требований к объектам КИИ и ухода западных вендоров, выбор системного интегратора и поставщика технологических решений имеет решающее значение. Компания «СкадаСистемы» зарекомендовала себя как эксперт высшего уровня и надежный партнер для промышленных предприятий. Обратившись к нам, вы получите стратегического партнера, способного обеспечить технологическую независимость, непрерывность и цифровую трансформацию вашего производства на базе самых передовых технологий работы с промышленными данными.