Шлюз загрузки данных: Разработан формат общения с KAFKA

Компания «МЦ-Сервис Инжиниринг» внедрила инновационный подход к управлению данными о вагонах в своем программном комплексе «МЦ-Слежение». Ключевым элементом этого подхода стал новый формат обмена данными с брокером сообщений Kafka, который значительно улучшил автоматизацию и оптимизацию работы систем.

Одной из важных функций нового формата является запрос информации по статическому списку вагонов. Система обрабатывает этот список, который содержит данные о вагонах различных заказчиков с частотой один раз в час. В рамках этого запроса система получает из АСОУП-3 паспорта вагонов, информацию о их дислокации, а также сведения о ремонтах, узлах и деталях.

Помимо статических запросов, система поддерживает запросы информации о динамической дислокации вагонов. Эти запросы выполняются раз в час и включают в себя историю операций с момента последнего успешного запроса. Данные для этих запросов поступают из АСОУП-3. Дополнительно, один раз в сутки система получает данные по паспортам вагонов, ремонтам, узлам и деталям для всех номеров вагонов, зафиксированных в дислокации за прошедшие сутки.

Одним из ключевых элементов нового формата является механизм взаимодействия шины (Kafka) с «МЦ-Шлюз загрузки». В рамках этого формата реализованы следующие сервисы:

1.    Сервис постановки-снятия вагонов на слежение

Список вагонов обновляется через входящую очередь Kafka, где каждое сообщение содержит информацию о постановке или снятии вагона со слежения. После успешной обработки сообщения отправляется подтверждение в соответствующую очередь Kafka.

2.     Сервис загрузки данных:

Это - основное логическое ядро «МЦ-Шлюз загрузки».

3.     Сервис базы данных:

Передача загруженных данных осуществляется через согласованный сервис между «МЦ-Шлюз загрузки» и Kafka. Для всех необходимых видов данных (дислокация, паспорта вагонов, ремонты, узлы и детали) предусмотрены отдельные очереди и форматы.

Разработка нового формата общения «МЦ-Шлюз загрузки» с Kafka предоставляет пользователям следующие преимущества:

• Автоматизация и оптимизация работы систем:

Использование Kafka в качестве шины обмена данными автоматизирует ключевые операции по управлению данными о вагонах. Например, процесс постановки-снятия вагонов на слежение теперь осуществляется автоматически через входящую очередь Kafka, где каждое сообщение содержит информацию о соответствующем действии. Система автоматически обрабатывает эти сообщения, подтверждая успешную обработку в ответной очереди Kafka.

Кроме того, использование Kafka позволяет оптимизировать процессы загрузки данных. Отдельные сервисы для различных видов данных (дислокация, паспорта, ремонты и т.д.) обеспечивают параллельную обработку и загрузку этих данных, повышая общую производительность. Согласованное взаимодействие между «МЦ-Шлюз загрузки» и Kafka также способствует оптимизации этих процессов.

• Улучшение качества данных:

Формат взаимодействия решения «МЦ-Шлюз загрузки» с платформой Kafka обеспечивает получение актуальной и достоверной информации из различных источников, таких как АСОУП-3. Использование Kafka в качестве шины обмена данными позволяет системе оперативно получать обновления из этих источников, гарантируя, что информация, доступная пользователям, всегда является актуальной.

Кроме того, решение предусматривает регулярное (ежедневное) обновление данных о паспортах вагонов, ремонтах, узлах и деталях для всех вагонов, зафиксированных в дислокации за прошедшие сутки. Это обеспечивает постоянное поддержание качества и полноты информации о состоянии парка вагонов.

• Повышение производительности:

Использование платформы Kafka в качестве шины обмена данными позволяет системе гибко и динамично реагировать на изменение нагрузки. Kafka обеспечивает горизонтальное масштабирование, позволяя увеличивать или уменьшать количество брокеров (серверов) в кластере в зависимости от требуемой пропускной способности. Это дает возможность «МЦ-Шлюз загрузки» быстро адаптироваться к пиковым нагрузкам, например, при резком увеличении потока данных о дислокации вагонов или загрузке данных по паспортам и ремонтам.

Кроме того, архитектура с отдельными сервисами для различных операций (постановка/снятие вагонов, загрузка данных, передача в базу) позволяет масштабировать каждый сервис независимо, выделяя дополнительные вычислительные ресурсы только там, где это необходимо. Это повышает общую производительность системы и делает ее гибкой к изменению нагрузки.

• Удобство и безопасность:

Наличие таблицы логинов ЭТРАН и формы редактирования повышает безопасность доступа к данным АСОУП-3. Это обеспечивает контролируемый доступ к критичным данным, что особенно важно для предотвращения несанкционированных операций.

Пользователи получают удобный интерфейс для управления вагонами, их постановки и снятия со слежения, что упрощает и ускоряет выполнение повседневных задач по работе с вагонным парком.

Кроме того, в решении «МЦ-Сервис Инжиниринг» реализовано шифрование данных на всех этапах, после попадания информации в зону ответственности «МЦ-Шлюз загрузки». Данное решение гарантирует высокий уровень защиты данных от несанкционированного доступа, что повышает безопасность всей системы.

Таким образом, новый формат общения «МЦ-Шлюз загрузки» с Kafka стал важным шагом в развитии программного комплекса «МЦ-Шлюз загрузки», значительно улучшив автоматизацию, оптимизацию, качество управления данными о вагонах, а также обеспечив удобство и безопасность работы пользователей.