GridGain Professional и Enterprise Edition

2018

Вышла версия GridGain Professional Edition 2.4

29 марта 2018 года компания GridGain Systems объявила о выпуске GridGain Professional Edition 2.4. В версию добавлен фреймворк для непрерывного обучения, включающий в себя машинное обучение и многослойный перцептрон (нейронную сеть, которая позволяет компаниям запускать алгоритмы машинного и глубокого обучения на петабайтах операционных данных в режиме реального времени). GridGain Professional Edition 2.4 также позволяет увеличить эффективность работы Apache Spark благодаря API для фреймов данных Spark (добавлен к ранее существовавшей поддержке RDD в Spark).

GridGain Professional Edition 2.4 (2018)

Фреймворк непрерывного обучения GridGain

GridGain Professional Edition 2.4 — это первая версия, которая полностью поддерживает интегрированное машинное обучение и многослойный перцептрон Apache Ignite. Таким образом, непрерывное машинное/глубокое обучение будет напрямую доступно в GridGain. Оптимизируя библиотеки машинного обучения для массово-параллельных вычислений, версия может значительно ускорить машинное обучение на больших объемах данных. Обработка данных напрямую в кластере GridGain позволяет обеспечить непрерывный процесс обучения: больше не нужно перемещать транзакционные данные в отдельную базу перед обучением модели. Результат — обучение в реальном времени, а также непрерывное обучение с меньшей сложностью и сниженными затратами по сравнению с традиционными подходами.

Фреймворк непрерывного обучения GridGain — это структурный элемент для внутрипроцессных приложений, использующих гибридную транзакционно-аналитическую обработку данных (HTAP). В таких приложениях информационная модель постоянно обучается на основе входящих данных. Благодаря внутрипроцессным HTAP-вычислениям приложения поколения могут пользоваться преимуществами обучения в реальном времени. Различные бизнес-приложения смогут принимать более эффективные решения в реальном времени — предотвращать мошенничество, давать рекомендации в сфере электронной коммерции, одобрять кредиты, управлять логистикой и обслуживанием транспортных систем.

Расширенная поддержка фреймов данных Spark

Теперь GridGain может использоваться для хранения и управления фреймами данных Spark. Поддержка фреймов данных расширяет поддержку Spark, которая и ранее была наиболее полной среди in-memory платформ. GridGain по-прежнему включает в себя GridGain RDD API для доступа к данным GridGain как к изменяемым RDD, а также файловую систему Ignite (IGFS), которая позволяет использовать GridGain как in-memory реализацию распределенной файловой системы Hadoop (HDFS).Обзор российского рынка банковской цифровизации: импортозамещение, искусственный интеллект и собственные экосистемы 6.9 т

Spark может использоваться для обработки данных в GridGain как фреймов данных или RDD, а также для сохранения фреймов данных или RDD в GridGain для последующей обработки. Эти возможности позволяют Spark-разработчикам использовать GridGain как in-memory хранилище для доступа, сохранения и обмена данными между задачами Spark. GridGain поддерживает ANSI-99 SQL, включая индексирование данных, так что Apache Spark может использовать распределенный SQL платформы GridGain для повышения производительности нерегламентированных запросов до 1000 раз. Разработчики Spark могут также использовать фреймворк непрерывного обучения для автоматизации решений и постоянного обновления моделей с целью улучшения результатов в реальном времени.

«Компаниям, которые стремятся автоматизировать более интеллектуальный процесс принятия решений, необходимо привести к постоянному сотрудничеству две стороны цифрового мозга — машинное обучение и систему автоматического принятия решений. С выходом версии GridGain стало возможным непрерывное обучение информационных моделей в реальном времени на больших массивах данных, со скоростью и масштабом in-memory вычислений, с меньшими сложностями и расходами. Это первый шаг к тому, чтобы внутрипроцессные HTAP-приложения управляли приложениями непрерывного обучения, которые, в свою очередь, обеспечат реализацию инициатив по цифровой трансформации и внедрению омниканальности». Эйб Кляйнфелд, президент и гендиректор GridGain Systems

2017

Вышла версия GridGain Professional Edition 2.0

15 мая 2017 года компания GridGain Systems сообщила о выпуске версии GridGain Professional Edition 2.0. В продукте обновлена архитектура off-heap memory, реализована поддержка версии Apache Ignite 2.0. и добавлена поддержка языков DDL для работы с SQL-базами.

Среди основных функций GridGain Professional Edition 2.0 – архитектура off-heap memory, она выходит за пределы RAM и поддерживает системы на основе SSD и flash-памяти. Это позволяет сократить паузы в работе Java Garbage Collection. Добавлена поддержка языков DDL в рамках хранилища SQL Grid, инструментов Spring Data API, функциональность .NET и C++ и другие возможности. Релиз повышает производительность и упрощает интеграцию для пользовательских сценариев, в которых распределенные вычисления в памяти обеспечивают скорость и масштабирование высоконагруженных приложений.

В GridGain Professional Edition 2.0 модернизирована архитектура off-heap memory. Технология off-heap memory использует постраничный подход с послойным распределением памяти, которые по желанию могут привязываться к любому persistent-хранилищу без необходимости сериализации или де-сериализации данных. GridGain Professional Edition 2.0 также автоматически выполняет дефрагментацию данных и избавляется от любых заметных пауз в работе Java GC.

В GridGain Professional Edition 2.0 добавлена поддержка языков DDL во встроенном хранилище SQL Grid. Администраторы теперь могут устанавливать и менять индексы во время работы без перезагрузки кластера. Доступ к функции осуществляется через стандартные SQL-команды, включая CREATE и DROP. Поддержка DDL улучшает возможности хранилища SQL Grid и расширяет набор приложений, которые организация может ускорять и масштабировать с помощью платформы с открытым кодом.

Интеграция со Spring Data упрощает взаимодействие с кластером GridGain Professional Edition 2.0 за счет используемого Spring Data API. Подключаясь к кластеру GridGain с помощью Spring Data API, пользователи могут выполнять распределенные SQL-запросы и простые CRUD-операции.

Ignite.NET предоставляет систему плагинов для интеграции со сторонними решениями. Плагины расширяют стандартный Ignite.NET API за счет кастомизации API или добавления функциональности.

Ignite.C++ позволяет выполнять кастомизированный C++ код на удаленных узлах Ignite. Разработчикам C++ не требуется переключаться на Java, если они хотят отключить определенные обновления на узлах данных GridGain – они могут сделать это в C++.

С интеграцией кэш-памяти Hibernate L2, GridGain Professional Edition 2.0 теперь поддерживает Hibernate 5.

Функции GridGain Professional Edition 2.0 отражают наше видение простого в использовании подхода к вычислениям в памяти. Обновленная архитектура off-heap memory в GridGain Professional Edition 2.0 беспрепятственно расширяет RAM за счет поддержки систем на основе SSD и flash-памяти. Пользователи могут развернуть многоуровневую архитектуру памяти, которая лучше балансирует нагрузку в чувствительных к задержкам приложениях. Поддержка DDL усиливает возможности ANSI SQL-99, упрощая использование продукта специалистами, привыкшими к работе с базами данных с помощью стандартных команд SQL. Релиз включает профессиональную поддержку и своевременное исправление ошибок. Эйб Кляйнфилд, президент и гендиректор GridGain Systems

GridGain совместима с Hortonworks и Tableau

5 апреля 2017 года компания GridGain Systems сообщила о сертификации GridGain Professional и Enterprise Edition на совместимость с решениями Hortonworks и Tableau. Одновременно с этим компании заявили о технологическом партнёрстве.

Предполагается, что эти шаги компаний упростят для клиентов запуск систем big data, построенных на Hortonworks и использующих технологии in-memory computing. Корпоративные пользователи GridGain смогут визуализировать данные в памяти с помощью решений Tableau.

В рамках технологического сотрудничества GridGain получила сертификаты Hortonworks и Tableau, подтверждающие полную совместимость платформ GridGain Professional и Enterprise Edition с этими решениями.

Организации все чаще полагаются на Hortonworks и Tableau для ведения ключевой бизнес-аналитики и своевременного принятия решений. По мере того, как компании масштабируют свои решения для аналитики big data, платформы GridGain позволяют им добиться исключительной производительности в обработке данных, которую может обеспечить только in-memory computing. Благодаря снижению стоимости памяти и многофункциональному продвинутому дизайну GridGain, создание in-memory инфраструктуры уже стало наиболее рентабельным способом обеспечить производительность и масштабирование. Возможности нашего ODBC/JDBC API также открывают доступ к широкому кругу решений для визуализации данных, включая Tableau, для легкой работы с данными в памяти и быстрого получения результатов их обработки. Эйб Кляйнфилд, президент и гендиректор GridGain Systems

GridGain Professional Edition 1.9

13 марта 2017 года компания GridGain Systems сообщила о выпуске версии платформы GridGain Professional Edition 1.9. Основные функции релиза - поддержка версии Apache Ignite 1.9, повышенная производительность, автоматизированный контроль эффективности, поддержка системы управления кластерами контейнеров Kubernetes и расширенная поддержка языка управления данными (DML).

Apache Ignite 1.9 демонстрирует на 20-40% более высокую производительность для большинства операций кэширования и SQL в сравнении с предыдущей версией. Одно из главных усовершенствований – возможность конфигурации уровня параллелизма для SQL-запросов в Ignite SQL Grid – улучшает производительность Apache Ignite в пользовательских сценариях с высокой нагрузкой. Кроме того, добавлен автоматизированный бенчмаркинг. Пользователи могут развернуть бинарный файл Apache Ignite 1.9 и проводить тесты в среде Ignite.

Представление архитектуры GridGain Professional Edition, (2016)

Kubernetes – это решение с открытым исходным кодом, которое автоматизирует развертывание, масштабирование и управление контейнерными приложениями. Интеграция Apache Ignite с Kubernetes упрощает внедрение Ignite-кластера в контейнер Kubernetes, позволяя решению управлять ресурсами и масштабировать Ignite-кластер. К примеру, если пользователь указывает, что кластер Apache Ignite должен поддерживать как минимум пять узлов, Kubernetes автоматически обеспечит выполнение этого требования в любой момент.

Расширенная поддержка языков - Data Manipulation Language

В платформе Apache Ignite 1.9, которая совместима с ANSI SQL-99, поддержка DML теперь включает API Ignite.NET и Ignite.C++. Это расширяет возможности использования DML для пользователей Apache Ignite, которые работают с .NET или C++. Добавлен режим стриминга, обеспечивающий выполнение DML-операций в определенных сценариях – например, пакетные вставки и обновления или предварительная загрузка данных.

Расширенная поддержка .NET and C++

В Ignite.NET, версии Apache Ignite для .NET, добавлен .NET TransactionScope API, который позволяет работать с распределенными Ignite-транзакциями, полагаясь на стандартные интерфейсы в .NET. Ignite.C++, версия Apache Ignite для C++, теперь предусматривает поддержку API для наиболее популярных непрерывных запросов. За счет этого пользователи могут в своих C++ приложениях отслеживать изменения данных, происходящие в распределенном кэше Ignite.

Интеграция Apache Spark

Apache Ignite теперь интегрирована с Apache Spark 2.1, что обеспечивает использование кольцевых баз данных Ignite Shared RDD в приложениях, работающих с актуальной версией Apache Spark.

GridGain Professional Edition 1.9 получила дополнительные возможности для развертывания и управления, что упрощает использование in-memory computing в наиболее важных и высоконагруженных приложениях. Удобство интеграции, профессиональная поддержка и своевременное исправление ошибок в GridGain Professional Edition делает вычисления в операционной памяти наиболее разумным решением для организаций, решающих самые сложные задачи обработки данных. Эйб Кляйнфилд, президент и гендиректор GridGain Systems

2016

GridGain Enterprise Edition на базе Apache Ignite

Программное обеспечение GridGain Enterprise Edition на базе Apache Ignite обеспечивает масштабирование приложений с высоким объемом обработки данных до петабайтного уровня и ускорение транзакций в 1000 раз по сравнению с обработкой на диске без замены существующих баз данных. Оно предлагает высокоскоростные ACID-операции, стриминг в реальном времени и эффективную аналитику в рамках единого комплексного доступа к данным и уровня их обработки. Решение обеспечивает работу как существующих, так и новых приложений в распределенной, массово-параллельной архитектуре на доступном, стандартном в индустрии аппаратном обеспечении, которое легко масштабировать путем добавления дополнительных узлов в вычислительную систему. Платформа GridGain не требует, либо требует минимальных изменений в приложении или уровнях базы данных для архитектур на основе RDBMS, NoSQL или Apache Hadoop.

GridGain Professional Edition 1.8

19 декабря 2016 года компания GridGain сообщила о выпуске релиза версии GridGain Professional Edition 1.8. В релизе организована поддержка хранилищ In-Memory SQL Grid.

В версии 1.8 GridGain Professional Edition реализована полная поддержка последней версии Apache Ignite 1.8, возможности распределенного хранилища данных In-Memory SQL Grid. Хранилище In-Memory SQL Grid поможет пользователям ускорить и масштабировать свои SQL-приложения без изменений, либо с минимальными корректировками кода. Пользователи могут выполнять запросы к данным в GridGain, используя SQL через драйверы ODBC/JDBC, модифицировать данные посредством команд DML без кастомизированного кода.

В платформе модернизирована геопространственная поддержка. In-Memory SQL Grid обеспечит более удобную интеграцию платформы GridGain и улучшенную функциональность для большего объема пользовательских сценариев, включая облачные приложения и Internet of Things (IoT). GridGain Professional Edition 1.8 поддерживает протокол Redis и включает поддержку кэширования .NET Entity Framework 2nd-Level Cache и ASP.NET Session Caching.

In-Memory SQL Grid дает возможности распределенного хранилища данных в платформе GridGain, что позволяет значительно ускорить и масштабировать SQL-приложения без изменений, либо с минимальными корректировками кода. In-Memory SQL Grid масштабируется горизонтально, отличается отказоустойчивостью и совместимостью с ANSI SQL-99. Хранилище полностью поддерживает команды SQL и DML, включая запросы SELECT, UPDATE, INSERT, MERGE и DELETE.

In-Memory SQL Grid позволяет работать с платформой GridGain, используя стандартные SQL-команды с помощью драйверов GridGain JDBC или ODBC без кастомизации кода. Помимо поддержки Java, .NET, C++, возможности драйверов JDBC и ODBC обеспечивают основанное на SQL подключение к GridGain или Apache Ignite с платформы на любом языке программирования, включая Ruby, PHP, Python и другие.

Улучшенные геопространственные функции, также поддерживаемые In-Memory SQL Grid, адаптируют платформу GridGain для переноса вычислений в оперативную память к большему числу пользовательских сценариев в сфере IoT, основанных на геолокации – например, в области транспорта, логистики, мобильных технологий, ритейла и носимых устройств.

Поддержка протокола Redis

Redis – высокопроизводительное нереляционное распределенное хранилище данных в памяти на платформе open-source, которое может использоваться как база данных, кэш или модуль для перевода сообщений из одного протокола в другой. Интеграция с Redis в GridGain Professional Edition 1.8 позволяет хранить и извлекать распределенные данные в кэше GridGain, используя любую совместимую c Redis программу-клиент. Это дает возможность удобной миграции с решения для кэширования Redis на полноценную платформу GridGain с минимальными изменениями протоколов коммуникаций клиентов.

Кэширование .NET Entity Framework 2nd-Level и ASP.NET Session Caching

Обновленная платформа предоставляет поддержку кэширования .NET Entity Framework’s 2nd level, которое может быть легко интегрировано с действующими приложениями. Это обеспечивает рост производительности, поскольку результаты запросов к данным хранятся в распределенном отказоустойчивом кэше с возможностью совместного доступа.

Переработанный компонент для управления сессиями ASP.NET, который обеспечивает провайдер Ignite.NET, позволяет распределять сессию между кластером машин для отказоустойчивой сбалансированной нагрузки.

The GridGain Professional Edition 1.8 – это важный шаг в развитии нашей платформы для обработки данных в памяти. Ряд новых функций упрощают взаимодействие с GridGain для пользователей и улучшают работу платформы для пользовательских сценариев с высокой нагрузкой, включая облачные приложения и Internet of Things. Будучи самой продвинутой платформой в мире для переноса вычислений в оперативную память, GridGain Professional Edition 1.8 позволяет еще большему числу компаний внедрять in-memory computing для достижения целей в ускорении обработки данных и масштабирования. Эйб Кляйнфилд, президент и гендиректор GridGain Systems

GridGain вошла в AWS

17 октября 2016 года GridGain Systems объявила о размещении платформы GridGain Enterprise Edition в магазине приложений Amazon Web Services (AWS) Marketplace.

Публикация в AWS Marketplace поможет организациям любого масштаба быстро развернуть в AWS распределенное, массово-параллельное решение GridGain для переноса вычислений в оперативную память компьютера. В сентябре GridGain Systems анонсировала выпуск решения GridGain In-Memory Data Fabric на облачной платформе Microsoft Azure.

GridGain Professional Edition 1.7

13 сентября 2016 года компания GridGain Systems заявила о доступности версии 1.7 платформы GridGain Professional Edition.

В составе модернизированного продукта версия Apache Ignite 1.7, еще не вошедшие в Apache Ignite исправления и лицензии LGPL.

Основные модернизированные функции GridGain Professional Edition 1.7: поддержка non-collocated joins в SQL и расширенная поддержка управления кластерами GridGain Professional Edition. Релиз Apache Ignite 1.7 также интегрирован с бесплатным инструментом GridGain Web Console для управления установками GridGain и мониторинга производительности.

Пользователи GridGain Professional Edition получат доступ к регулярным техническим релизам с исправлениями ошибок. GridGain также передает эти разработки проекту Apache Ignite - они выйдут в следующем релизе этой платформы. Обновление GridGain Professional Edition 1.7 доступно по подписке клиентам GridGain Standard Professional Support. Платформа GridGain Professional Edition предназначена для компаний, которые заинтересованы в поддержке, своевременном исправлении ошибок и простоте установки при использовании Apache Ignite.

GridGain Professional Edition 1.7 расширяет возможности использования SQL за счет поддержки быстрых комплексных запросов к масштабным и распределенным базам данных. Кроме того, платформа предоставляет улучшенную систему управления установками ПО, критически важного для бизнеса. Эти новшества наглядно демонстрируют, почему Apache Ignite и GridGain остаются лидерами революции In-Memory Computing, разрабатывая наиболее активно растущую open-source платформу для обработки данных в оперативной памяти в мире. Эйб Кляйнфилд, президент и гендиректор GridGain

Non-collocated Joins

Поддержка non-collocated joins решает задачу обработки SQL-запросов в распределенных системах. Эта функция помогает выполнять ANSI SQL-99 запросы к данным, расположенным на нескольких распределенных узлах кластера GridGain: если данные о продажах за 2014 год с разбивкой по типам клиентов расположены на одном узле, а 2015 – на другом, пользователи могут сформулировать запрос к обеим базам данных, например: «Каковы были суммарные продажи с разбивкой по типам клиентов за 2014 и 2015 годы?»

Управление GridGain Professional Edition и Apache Ignite с инструментом GridGain Web Console

Пользователям стали доступны инструменты конфигурации, управления и мониторинга в GridGain Web Console при разворачивании ПО GridGain. Поддерживаемые функции:

• конфигурация кластеров и ячеек;
• импорт схем баз данных практически из любой RDBMS-системы;
• SQL-запросы в свободной форме;
• мониторинг и управление установкой ПО.

GridGain Professional Edition 1.6

GridGain Professional Edition - платформа для переноса вычислений в оперативную память.

29 июня 2016 года GridGain Systems сообщила о выпуске версии GridGain Professional Edition 1.6. Разработка ускоряет операции в 1 тыс. раз по сравнению с обработкой данных на диске.

Модернизированная версия получила нативную поддержку системы управления базами данных Apache Cassandra, новый драйвер ODBC, транзакции без взаимной блокировки (deadlock-free) и облачную консоль управления. Эти функции упрощают интеграцию с инструментами анализа данных, повышают производительность, предоставляют доступ к новому инструменту для конфигурации и управления установками GridGain и Apache Ignite, повышают производительность баз данных для пользователей Cassandra.

С поддержкой Apache Cassandra, GridGain расширяет возможности для ускорения работы и масштабирования наиболее популярных баз данных как SQL, так и NoSQL, Apache Hadoop. Система Apache Cassandra оптимизирована для обработки простых предопределенных запросов по данным, хранящимся на диске. Однако в ней не предусмотрена возможность обработки данных в оперативной памяти и поддержка транзакций. Используя интеграцию с GridGain, пользователи Apache Cassandra получили возможность:

• Ускорить обработку запросов в 1 тыс. раз за счет переноса вычислений с диска в RAM;
• Использовать совместимость с ANSI SQL-99 для обработки как структурированных, так и неструктурированных запросов с полной поддержкой ODBC и JDBC;
• Осуществлять транзакции, полностью выполняющие требования ACID для чтения и записи данных в своих базах Cassandra;
• Использовать преимущества встроенной поддержки Apache Spark, Apache Hadoop и стриминговых приложений.

Платформа GridGain In-Memory Data Fabric на основе Apache Ignite обеспечивает масштабируемую работу с приложениями, обрабатывающими большие объемы данных, а также тысячекратное ускорение транзакций по сравнению с обработкой данных на диске без замены существующих баз данных. Решение поддерживает высокоскоростные операции с выполнением требований ACID, стриминг в реальном времени и эффективную аналитику в рамках единого комплексного доступа к данным и уровня их обработки.

GridGain обеспечивает работу как действующих, так и модернизированных приложений в распределенной, массово-параллельной архитектуре на доступном, стандартном в индустрии аппаратном обеспечении. Платформа GridGain In-Memory Data Fabric не требует, или нуждается в минимальных изменениях в приложении или уровнях базы данных для архитектур на основе RDBMS, NoSQL или Apache Hadoop.

Основные функции релиза:

• Упрощенная интеграция с Apache Cassandra. GridGain теперь предлагает интеграцию с Apache Cassandra в готовом решении, упрощая использование Cassandra как постоянного хранилища для любой версии GridGain или Apache Ignite.
• Новый драйвер ODBC. Новинка позволяет подключаться к GridGain или Apache Ignite с платформы на любом языке программирования. Пользователи теперь также могут анализировать данные, хранящиеся в GridGain или Apache Ignite, с помощью Tableau или любого другого стандартного инструмента аналитики.
• Обновленное управление взаимными блокировками. Новая функция транзакций deadlock-free обеспечивает развертывание платформы на несколько масштабных команд без взаимной блокировки. Эта функция предусматривает автоматическое распознавание взаимных блокировок как для оптимистических, так и для пессимистических транзакций, гарантируя бесперебойную работу даже в ситуациях высокой конкуренции.
• Облачный инструмент GridGain Web Console. Консоль веб-менеджмента для GridGain и Apache Ignite упрощает управление средой за счет функций облегчения конфигураций, SQL-запросов, мониторинга и контроля.

GridGain In-Memory Data Fabric – это эффективная технология для компаний, которым необходимо обрабатывать и анализировать большие объемы данных в режиме реального времени в транзакционных, аналитических или гибридных пользовательских сценариях. В новом релизе мы упростили интеграцию GridGain с любой средой за счет функции управления взаимными блокировками, драйвера ODBC и облачной веб-консоли, которые повышают производительность для большего числа пользователей. Мы особенно рады появлению прямой поддержки Apache Cassandra, предоставляющей пользователям Cassandra новые возможности – обработку неструктурированных запросов и совместимые с требованиям ACID-транзакции с сохранением преимуществ скорости обработки данных в оперативной памяти. Эйб Кляйнфилд, президент и генеральный директор GridGain