ADS - Arenadata Streaming

Продукт
Название базовой системы (платформы): Apache Kafka
Разработчики: Arenadata (Аренадата Софтвер)
Дата последнего релиза: 2023/11/01

Содержание

Потоковая передача и обработка данных в реальном времени на базе Apache Kafka и NiFi

  • Корпоративная шина обмена данными для всех приложений
  • Разграничение прав доступа к потокам данных

2024: Доступность из облака «Крок»

Крок Облачные сервисы и Arenadata заключили соглашение о партнёрстве, по которому продукты Arenadata стали частью услуг, предоставляемых заказчикам на базе Облака КРОК. В частности, клиентам облачного провайдера теперь доступно решение Arenadata Streaming (ADS). Об этом Крок сообщил 17 января 2024 года. Подробнее здесь.

2023

Поддержка «Ред ОС»

Arenadata 1 ноября 2023 года выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку российской операционной системы РЕД ОС.

Таким образом был расширен перечень поддерживаемых ADS операционных систем, который теперь включает:

  • РЕД ОС 7.3;
  • CentOS 7.6.1810;
  • RHEL 7.6;
  • AltLinux 8.4 SP;
  • Astra Linux 1.7 «Орёл» SE c Axiom JDK.

Другим важным изменением Arenadata Streaming для пользователей стала реализация шифрования параметров конфигурации NiFi, призванная повысить защищённость кластера.Российский рынок ERP-систем сократился, но приготовился к росту. Обзор и рейтинг TAdviser 250 т

Помимо этого, обновленная версия ADS включила обновление NiFi до версии 1.20, благодаря чему добавились дополнительные процессоры и был устранён ряд проблем, связанных с информационной безопасностью.

«
Для клиентов Arenadata важна возможность влиять на карту развития наших продуктов, и данный релиз Arenadata Streaming это подтверждает. Так, в ответ на пожелание одного из наших заказчиков, в NiFi был добавлен дополнительный провайдер потоков GitFlow Provider, — прокомментировал Александр Ермаков, технический директор Arenadata.
»

Доступность в облаке Cloud.ru

Провайдер облачных и AI-технологий Cloud.ru стал стратегическим партнёром российского вендора ПО для хранения и обработки данных Arenadata. Теперь продукты Arenadata можно использовать в облаке Cloud.ru. Об этом Arenadata сообщила 29 августа 2023 года.

Как уточнили TAdviser представители Arenadata, в облаке Cloud.ru доступны следующие продукты компании: ADB - Arenadata DB, ADH (Arenadata Hadoop), ADQM (Arenadata QuickMarts) и ADS (Arenadata Streaming). Подробнее здесь.

Поддержка Astra Linux Special Edition «Орел»

Arenadata выпустила обновленный релиз продукта для потоковой обработки данных Arenadata Streaming (ADS), включивший в себя поддержку операционной системы Astra Linux Special Edition (релиз «Орел»). Функционал уже доступен пользователям. Об этом компания Arenadata сообщила 10 августа 2023 года.

Совместимость с российской операционной системой Astra Linux означает, что продукт подходит для большого спектра корпоративных ИТ-инфраструктур, включая нуждающихся в повышенном уровне защищённости.

«
Для клиентов Arenadata важен высокий уровень информационной безопасности. И данный релиз Arenadata Streaming, получивший поддержку Astra Linux, позволит им использовать сертифицированную операционную систему. Для этого мы провели большую работу в части изменения механизмов конфигурации системы управления сервисами и компонентами под операционную систему, — прокомментировал обновление функционала ADS Александр Ермаков, технический директор Arenadata.
»

Данный релиз Arenadata Streaming включил и другие изменения. Был переработан функционал управления пользователями в интерфейсе универсального оркестратора гибридного ландшафта Arenadata Cluster Manager (ADCM) и индивидуальные настройки сервисов для одного или группы хостов. А также исправлен ряд известных проблем.

Arenadata Streaming — масштабируемая отказоустойчивая система для потоковой обработки данных в режиме реального времени, адаптированная для корпоративного использования и построенная на базе Open source технологий Apache Kafka и Apache Nifi. Продукт включает систему мониторинга и управления, поддержку расширенной безопасности, а также ряд дополнительных инструментов для реализации репликации, проверки качества данных и других необходимых для продуктовой эксплуатации функций.

Arenadata Streaming позволяет:

  • строить потоковые конвейеры данных в реальном времени, которые надёжно передают данные между системами или приложениями;
  • разрабатывать потоковые приложения в реальном времени, преобразующие или реагирующие на потоки данных;
  • хранить потоки записей отказоустойчивым долговечным способом;
  • разграничивать права доступа к потокам данных.

На Arenadata Streaming получено свидетельство о государственной регистрации программы для ЭВМ. Помимо этого, продукт включён в единый реестр российских программ для электронных вычислительных машин и баз данных.

Доступность в beeline cloud

Экосистема продуктов Arenadata теперь доступна клиентам облачного провайдера beeline cloud. Об этом компания Arenadata сообщила 3 августа 2023 года. Как уточнили TAdviser представители Arenadata, в числе продуктов, доступных через beeline cloud: Arenadata DB, Arenadata Hadoop, Arenadata Streaming, Arenadata Postgres, Arenadata QuickMarts и Arenadata Cluster Manager. Подробнее здесь.

Совместимость с платформой Rubbles MLOps Suite

ИТ-компании Rubbles и Arenadata обеспечили совместимость своих программных продуктов. Теперь платформа Rubbles MLOps Suite и решения для хранения и обработки данных Arenadata могут работать бесшовно в едином программном комплексе. Об этом компания Arenadata сообщила 19 июля 2023 года.

Единый программный комплекс объединяет MLOps-решения Rubbles и продукты Arenadata, в том числе и Arenadata Streaming. Подробнее здесь.

Выпуск инструмента для мониторинга и управления коннекторами Apache Kafka в составе Arenadata Streaming

Российский разработчик платформы сбора, хранения и обработки данных — компания Arenadata сообщила 11 января 2023 года о выпуске на рынок инструмента для мониторинга и управления коннекторами Apache Kafka в составе продукта Arenadata Streaming (ADS). Он получил название Arenadata Streaming Command Center (ADSCC). ADSCC поддерживает управление несколькими кластерами с установленными сервисами Kafka и Kafka Connect, а также предоставляет возможность создавать, редактировать, удалять коннекторы Kafka Connect и управлять их состоянием.

Arenadata Streaming Command Center дополняет ADS и позволяет настраивать передачу данных в реальном времени между источником и приёмником с помощью source- и sink- коннекторов, получать быстрый обзор состояния кластера, а также наблюдать и контролировать коннекторы Apache Kafka к источникам и приёмникам. Наиболее востребованные сценарии использования данного инструмента — настройка передачи данных в реальном времени между различными системами, репликация и Disaster Recovery кластеров Kafka.

«
Выпуская Command Center, компания даёт возможность заказчику быстро настроить Disaster Recovery Kafka кластера и подключить внешние коннекторы (например, Debezium для настройки CDC). При этом закладываем основу для разработки функционала под запросы заказчика с поддержкой вендора, а также включения в продукт ADS других версий Kafka с поддержкой KRaft,
пояснил директор департамента управления продуктами Arenadata Александр Большаков.
»

Ранее при работе с Open Source Kafka Connect пользователям было необходимо вручную создавать файлы конфигурации и разбираться, какие параметры важны, а какие нет. У администратора системы это отнимало достаточно много ресурсов, был высок риск совершения ошибок, к тому же администратору было необходимо знать Kafka Connect API и делать кастомный мониторинг коннекторов.

Arenadata Streaming Command Center позволяет совершать все эти манипуляции прямо из пользовательского интерфейса. Практически мгновенно можно организовать перенос данных из одной точки архитектурного ландшафта в другую, также теперь есть возможность:

  • добавлять Kafka-коннекторы и управлять ими;
  • отслеживать состояние кластеров Kafka Connect;
  • работать с несколькими кластерами одновременно;
  • гибко настраивать параметры коннектора (выбирать тип коннектора, группировать параметры, режим JSON для глубокой настройки);
  • работать с пользовательскими коннекторами.

Arenadata Streaming Command Center доступен в виде отдельного бандла в составе enterprise-версии Arenadata Streaming начиная с версии 1.7.1. Установить бандл можно через Arenadata Cluster Manager.

В ближайших планах развития Arenadata Streaming Command Center реализация следующего функционала:

  • добавление LDAP/LDAPS-аутентификации;
  • мониторинг (количество сообщений, пропускная способность и т.д.) и управление топиками;
  • переназначение partitions на другие ноды;
  • добавление дашбордов и графиков;
  • выбор leader replica.

2022: Kerberos-авторизация для предотвращения несанкционированного доступа

24 февраля 2022 года компания Arenadata сообщила, что предоставила пользователям трёх своих продуктов - Arenadata Hadoop (ADH), Arenadata Streaming (ADS) и Arenadata Platform Security (ADPS) - возможность предотвращать несанкционированный доступ к сервисам и данным кластеров. Теперь достаточно включить Kerberos-авторизацию для всех компонентов, которая позволит хранить авторизационные данные в Active Directory. Подробнее здесь.



ПРОЕКТЫ (1) ИНТЕГРАТОРЫ (1) РЕШЕНИЕ НА БАЗЕ (1)
СМ. ТАКЖЕ (16)

ЗаказчикИнтеграторГодПроект
- Зарубежнефть
Форсайт2022.10Описание проекта