Apache Kafka

Продукт
Разработчики: Apache Software Foundation (ASF)
Дата последнего релиза: 2014/04/29
Технологии: СУБД

Apache Kafka - распределённый программный брокер сообщений, проект с открытым исходным кодом[1].

Разработан в рамках Apache Software Foundation. Написан на языке программирования Scala.

Одной из ключевых потребностей современных ИТ является возможность потоковой передачи данных в реальном времени. Именно для этих целей предназначена платформа Apache Kafka, которая может передавать потоковые данные об истории посещений веб-сайтов, финансовые транзакции и журналы приложений в приложения, разработанные на платформах Apache Spark Streaming, Apache Storm или Apache Samza. Kafka была разработана LinkedIn и в использует модель развития с привлечением многих заинтересованных сторон. По данным ASF, платформа применяется многими крупными компаниями, включая Airbnb, LinkedIn, MailChimp, Netflix, New York Times, Oracle, PayPal, Pinterest, Spotify, Twitter и Uber.

Свойства

  • изначально проектировался, как распределённая система, которую легко масштабировать,
  • поддерживает высокую пропускную способность, как со стороны источников, так и для систем-подписчиков,
  • поддерживает объединение подписчиков в группы,
  • обеспечивает возможность временного хранения данных для последующей пакетной обработки.

Одна из особенностей - применение техники, сходной с журналами транзакций, используемых в системах управления базами данных.

Вначале продукт разрабатывала компания LinkedIn, исходные коды проекта открыты в начале 2011 года.

Продукт распространяется под лицензией Apache License 2.0.

Примечания



ПРОЕКТЫ (9) ИНТЕГРАТОРЫ (6) РЕШЕНИЕ НА БАЗЕ (1)
СМ. ТАКЖЕ (48)


Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2017 год
2018 год
2019 год
Текущий год

  Oracle (81, 211)
  Microsoft (47, 147)
  SAP SE (43, 131)
  PostgreSQL Global Development Group (9, 59)
  Apache Software Foundation (ASF) (25, 27)
  Другие (248, 122)

  Oracle (8, 29)
  Microsoft (3, 9)
  SAP SE (2, 8)
  PostgreSQL Global Development Group (1, 8)
  Apache Software Foundation (ASF) (3, 5)
  Другие (9, 11)

  Oracle (7, 26)
  PostgreSQL Global Development Group (2, 8)
  Microsoft (2, 7)
  SAP SE (2, 6)
  Apache Software Foundation (ASF) (3, 3)
  Другие (8, 10)

  Microsoft (2, 10)
  Oracle (7, 9)
  SAP SE (3, 8)
  PostgreSQL Global Development Group (2, 8)
  Apache Software Foundation (ASF) (3, 5)
  Другие (10, 13)

Распределение базовых систем по количеству проектов, включая партнерские решения

За всю историю
2017 год
2018 год
2019 год
Текущий год

  Oracle Database - 23 (22, 1)
  PostgreSQL СУБД - 8 (8, 0)
  Microsoft SQL Server - 7 (6, 1)
  Apache Hadoop - 4 (3, 1)
  SAP HANA (High Performance Analytic Appliance) - 4 (4, 0)
  Другие 20

  Oracle Database - 19 (18, 1)
  PostgreSQL СУБД - 8 (7, 1)
  Microsoft SQL Server - 6 (6, 0)
  SAP HANA (High Performance Analytic Appliance) - 5 (5, 0)
  Tarantool СУБД - 3 (3, 0)
  Другие 16

  Microsoft SQL Server - 9 (9, 0)
  PostgreSQL СУБД - 8 (7, 1)
  SAP HANA (High Performance Analytic Appliance) - 7 (6, 1)
  Oracle Database - 4 (3, 1)
  Apache Hadoop - 3 (1, 2)
  Другие 16

  Microsoft SQL Server - 6 (6, 0)
  Oracle Database - 4 (4, 0)
  PostgreSQL СУБД - 4 (4, 0)
  Apache Hadoop - 3 (2, 1)
  Apache Kafka - 2 (2, 0)
  Другие 10