Русагро: разработка хранилища данных

Получение доступа к актуальным данным в режиме реального времени – залог успеха производственной компании. Именно такой девиз должен быть у агрохолдинга федерального масштаба. Группа компаний Русагро, второй по величине ведущий производитель сахара в России, решила сделать очередной шаг на пути к «Индустрии 4.0», собирая и обрабатывая данные с заводов, производящих сахар. В качестве партнера, помогающего реализовать задуманное, была выбрана компания ФТО.

Ответственным за реализацию проекта со стороны Русагро выступил Департамент инноваций. Согласно спроектированному решению, поток данных IoT с производственных датчиков и PLC-адаптеров попадал с помощью IBM Node-RED в основное хранилище данных Cassandra. Далее было реализовано преобразование данных из неструктурированных в структурированные данные и их загрузка либо в промежуточное хранилище на базе MS SQL Server для последующей передачи в ERP-систему и формирования производственной отчетности, либо в хранилище на базе Influx DB для последующей визуализации on-line графиков и дашбордов в Gafana. Такая архитектура устойчива и масштабируема.

Основной массив данных хранится в Cassandra, а необходимая выборка данных регулярно выгружается в промежуточные ХД и далее в отчетность. Это позволяет избежать хранения избыточного объема структурированных данных и сократить место для ХД на сервере и время на обработку данных. Для контроля корректности загрузки данных была также разработана система мониторинга и оповещений, позволяющая без задержек выявить ошибки загрузки или ошибки данных и оповестить соответствующих специалистов поддержки.

В результате проект был успешно завершен в срок, а созданное решение до сих пор работает, поддерживается и развивается нашими силами и силами Заказчика. Для нас же технологии, использованные в проекте, помогли расширить компетенции, открыли новые перспективы. И теперь мы совместно с Русагро планируем новые интересные проекты на базе данного решения.

Технологии, используемые в проекте

Apache Cassandra – распределённая система управления базами данных, относящаяся к классу NoSQL-систем и рассчитанная на создание высокомасштабируемых и надёжных хранилищ огромных массивов данных, представленных в виде хэша. Использовано на проекте в качестве основного хранилища данных.

IBM Node-RED – это flow-based инструмент разработки для визуального программирования для соединения аппаратных устройств, API-интерфейсов и онлайн-сервисов в рамках Интернета вещей (IoT). Node-RED предоставляет собой браузерный редактор потоков, который можно использовать для создания функций JavaScript. Элементы приложений могут быть сохранены или переданы для повторного использования. Среда построена на Node.js. Потоки, созданные в Node-RED, хранятся с использованием JSON. Использовано на проекте в качестве ETL.

Microsoft SQL Server – система управления реляционными базами данных (РСУБД), разработанная корпорацией Microsoft. Основной используемый язык запросов — Transact-SQL. Использовано на проекте в качестве дополнительного хранилища структурированных данных, буффером между основным хранилищем и 1С.

Influx DB – NoSQL решение, представляющее собой программное обеспечение с открытым исходным кодом для хранения временных рядов. Основным назначением является хранение больших объемов данных с метками времени. Использовано на проекте в качестве дополнительного хранилища временных рядов IOT, буффером между основным хранилищем и Grafana.

Grafana – это веб-приложение с открытым исходным кодом для визуализации, мониторинга и анализа данных. Grafana позволяет пользователям создавать дашборды с панелями, каждая из которых отображает определенные показатели в течение установленного периода времени. Используется на проекте в качестве инструмента визуализации.