Google BigQuery

Продукт
Название базовой системы (платформы): Google Cloud Platform (GCP)
Разработчики: Google
Технологии: BI,  Big Data,  Cloud Computing,  Data Mining

Содержание

Когда речь идет о Больших Данных, то чаще всего подразумевается, что системы их обработки будут локально внедряться самими заказчиками. Компания Google же создает сервис, который позволит анализировать огромные объемы данных в облаке.

Сервис носит название BigQuery. С его помощью организации смогут обрабатывать свои данные без самостоятельного создания соответствующей инфраструктуры, заявил менеджер по продуктам Google Джу-Кей Квек на прошедшей в Нью-Йорке конференции GigaOm Structure Data.[1]

BigQuery — сервис, позволяющий создавать приложения и предоставлять совместный доступ к данным, добавил он. Google предлагает его отдельным пользователям в ознакомительном режиме. Сроки полноценного ввода BigQuery в действие пока не называются.

В Google сочли логичным создать подобный сервис, так как в компании уже были разработаны некоторые его элементы для внутреннего использования. «Индексация Web — это в первую очередь задача обработки Больших Данных», — утверждает Квек. Системы Google также широко анализируют использование всевозможных онлайн-сервисов компании, таких как Gmail. Анализ операционных данных помогает понять, какие функции сервисов оказались полезными, а какие — нет.

Для Google чрезвычайно важно сохранять и анализировать все данные, генерируемые ее сервисами, утверждают в компании. «Анализ ‘мелкого песка’ данных очень ценен, — заявляет Квек. — Задавать много вопросов к данным просто необходимо. Чем больше задается вопросов, тем ‘умнее’ эти вопросы становятся».

Пользователи пробной версии сервиса тестируют его всевозможными способами. Например, загружают в него набор данных, а впоследствии добавляют обновления по мере того, как они появляются. С помощью разработанных в Google алгоритмов и языка запросов данные можно подвергать аналитическому разбору. Операторы баннерных сетей с помощью сервиса собирают сведения о действиях пользователей и оценивают эффективность рекламы. Еще один заказчик, оператор гостиничной сети, анализирует ее доходность с помощью сервиса, делая прогнозы на основании данных из различных финансовых систем.TAdviser выпустил новую Карту российского рынка информационной безопасности: 290 разработчиков и поставщиков услуг 81.9 т

Облачная модель анализа Больших Данных имеет ряд преимуществ, полагает Квек: важнее всего то, что она избавляет организацию от необходимости приобретать и настраивать собственное хранилище данных. «Google берет на себя все технические заботы, — утверждает он. — В сервис встроены механизмы безопасности и резервного копирования данных. Благодаря этому ускоряется извлечение полезных сведений из Больших Данных».

Один из пользователей BigQuery — французская компания We Are Cloud, предлагающая систему бизнес-анализа в виде облачного сервиса под названием Bime. Он рассчитан на малые и средние предприятия, у которых может не быть собственной системы бизнес-анализа и соответствующего технического персонала. Информационная панель сервиса может получать сведения из множества источников, например из локальных реляционных баз данных. «Заказчикам нужны подобные инструменты, чтобы чувствовать уверенность в своем бизнесе», — полагает Рашель Делакур, основатель и генеральный директор We Are Cloud.

Как пользователь бета-версии BigQuery, компания имеет право предлагать сервис Google своим заказчикам. Один из них, телекоммуникационный оператор с Ближнего Востока, загрузил для анализа с помощью Bime 15 Тбайт данных о своих абонентах. По словам Делакур, она не имеет права разглашать, сколько денег Google берет за хостинг данных, однако, по ее утверждению, тариф вполне приемлемый.

«В динамической среде пользоваться BigQuery очень удобно — сервис практически мгновенно выдает результаты обработки гигантских наборов данных», — утверждает глава We Are Cloud.

История

2025: Как Google обманывает разработчиков и берет с них по $5 тыс. за один запрос в облаке

В конце августа 2025 года стало известно о том, что компания Google взимает с разработчиков блокчейн-решений огромные суммы за работу с облачными инструментами. В частности, один запрос к сервису BigQuery может обходиться в $5000.

BigQuery — это бессерверное хранилище данных, предлагаемое облачной платформой Google Cloud. Оно предназначено для анализа больших наборов данных с помощью языка структурированных запросов (SQL). Реализованы возможности искусственного интеллекта.

Google взимает с разработчиков до 5 тысяч долларов за один запрос к облачным сервисам

Как сообщает ресурс CoinTelegraph, разработчики высокоскоростного блокчейна третьего поколения Solana жалуются, что Google выставляет за запросы к BigQuery огромные счета, которые могут оказаться разорительными. Связано это с особенностями механизмов ценообразования, которые не позволяют устанавливать ежемесячные лимиты. В октябре 2023 года Solana была интегрирована с BigQuery, что позволило пользователям запрашивать данные блокчейна, например, информацию о транзакциях или продажах NFT, через Google Cloud.

«
Каждый месяц мой счет обычно составляет несколько сотен долларов. В этом месяце я получил счет на $18 тыс. Оказалось, я выполнил три крупных обращения к Solana с ограничениями по запросу, и каждый из них стоил более $5 тыс., — написал один из разработчиков, добавив, что после жалобы в службу поддержки Google плата была снижена до $4 тыс. за запрос.
»

О проблеме сообщают и другие участники отрасли. В частности, еще один разработчик рассказал, что с него также взяли $5 тыс. за «один запрос на выборку из таблицы Solana», который «случайно» просканировал несколько терабайт данных.

«
Они намеренно не позволяют вам устанавливать жесткие ограничения, — подчеркивает Эрмин Нурович (Ermin Nurovic), соучредитель синтетического долларового протокола Flat Money.[2]
»

2024: Отключение сервиса в России

В середине августа 2024 года стало известно о том, что американская корпорация Google отключила в России облачную платформу для анализа данных BigQuery. Соответствующие уведомления получили пользователи платформы в РФ.

Как сообщает ТАСС со ссылкой на информацию, полученную от компании Softline, работу на территории России прекратит только единая платформа для анализа данных BigQuery. При этом облачные сервисы Google Workspace и Google Cloud продолжат функционировать.

Google прекратил работу облачной платформы BigQuery для анализа данных в России

Сервис BigQuery работал в России с 2014 года. Платформа предназначена для обработки большого объема данных. При этом возможно использование алгоритмов искусственного интеллекта.

С 12 сентября 2024 года вступает в силу запрет Минфина США на поставку «любому лицу в РФ» услуг ИТ-консалтинга и проектирования и услуг ИТ-поддержки и облачных услуг для управления предприятием, а также программного обеспечения для проектирования и производства. С этими нормами связан запрет Google.[3]

Примечания



СМ. ТАКЖЕ (22)


Подрядчики-лидеры по количеству проектов

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Прогноз (250)
  Loginom Company (Аналитические технологии) (128)
  RBC Group Украина (124)
  БизнесАвтоматика НПЦ (122)
  Консультационная группа АТК (100)
  Другие (2635)

  AW BI (ОСТ) ранее Analytic Workspace (9)
  Manzana Group (М Софт) (7)
  БизнесАвтоматика НПЦ (4)
  Форсайт (4)
  OptiTeam Consulting, Оптитим Консалтинг (ранее MCB Consulting, ЭмСиБи Консалтинг) (4)
  Другие (58)

  Форсайт (8)
  AW BI (ОСТ) ранее Analytic Workspace (5)
  Корус Консалтинг (5)
  БизнесАвтоматика НПЦ (5)
  Инфомаксимум (Infomaximum) (5)
  Другие (69)

  БизнесАвтоматика НПЦ (7)
  Инфомаксимум (Infomaximum) (7)
  Navicon (Навикон) (5)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (4)
  Manzana Group (М Софт) (4)
  Другие (66)

  Navicon (Навикон) (1)
  OptiTeam Consulting, Оптитим Консалтинг (ранее MCB Consulting, ЭмСиБи Консалтинг) (1)
  SAP CIS (САП СНГ) (1)
  АТОМС Консалтинг (ATOMS Consulting) (1)
  Триафлай (1)
  Другие (3)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Qlik (QlikTech) (59, 464)
  Форсайт (21, 342)
  SAP SE (71, 306)
  Oracle (65, 267)
  Loginom Company (Аналитические технологии) (4, 240)
  Другие (1179, 1680)

  AW BI (ОСТ) ранее Analytic Workspace (2, 9)
  Optimacros (Оптимакрос) (1, 9)
  Форсайт (2, 8)
  Manzana Group (М Софт) (2, 7)
  PIX Robotics (Пикс Роботикс) (1, 5)
  Другие (38, 53)

  Optimacros (Оптимакрос) (1, 11)
  Форсайт (2, 8)
  Инфомаксимум (Infomaximum) (1, 7)
  Полиматика (Polymatica) (5, 6)
  SL Soft (СЛ Софт) (5, 6)
  Другие (34, 57)

  Optimacros (Оптимакрос) (1, 11)
  БизнесАвтоматика НПЦ (1, 7)
  Инфомаксимум (Infomaximum) (1, 7)
  Manzana Group (М Софт) (3, 4)
  Полимедиа (Polymedia) (1, 4)
  Другие (37, 58)

  Optimacros (Оптимакрос) (1, 2)
  Navicon (Навикон) (1, 1)
  SAP SE (1, 1)
  Форсайт (1, 1)
  Hybris (1, 1)
  Другие (1, 1)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2023 год
2024 год
2025 год
Текущий год

  QlikView - 370
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 323
  Deductor - 226
  Visary BI Платформа бизнес-аналитики - 122
  SAP NetWeaver Business Warehouse (SAP BW/4HANA) - 106
  Другие 2100

  Optimacros Платформа для оптимизационного и консолидационного планирования - 9
  Форсайт. Аналитическая платформа (ранее Prognoz Platform) - 7
  Manzana Customer Data Platform (CDP) - 7
  AW BI: BI-платформа - 7
  PIX BI - 5
  Другие 51

  Optimacros Платформа для оптимизационного и консолидационного планирования - 11
  Инфомаксимум: Proceset (Система класса Process mining) - 7
  PIX BI - 5
  AW BI: BI-платформа - 5
  Visary BI Платформа бизнес-аналитики - 5
  Другие 51

  Optimacros Платформа для оптимизационного и консолидационного планирования - 11
  Инфомаксимум: Proceset (Система класса Process mining) - 7
  Visary BI Платформа бизнес-аналитики - 7
  Loginom - 4
  Navicon Дельта BI - 4
  Другие 56

  Optimacros Платформа для оптимизационного и консолидационного планирования - 2
  Триафлай BI-платформа - 1
  Navicon Дельта BI - 1
  SAP Marketing Cloud (ранее SAP Hybris Marketing Cloud) - 1
  Форсайт. Бюджетирование и консолидация - 1
  Другие 0

Подрядчики-лидеры по количеству проектов

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Loginom Company (Аналитические технологии) (128)
  БизнесАвтоматика НПЦ (123)
  Инфосистемы Джет (13)
  Сбербанк (12)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (11)
  Другие (777)

  БизнесАвтоматика НПЦ (4)
  Napoleon IT (Наполеон Айти) (2)
  PIX Robotics (Пикс Роботикс) (2)
  Инфосистемы Джет (2)
  Sitronics KT, Ситроникс КТ (ранее Кронштадт Технологии) (2)
  Другие (60)

  БизнесАвтоматика НПЦ (6)
  SL Soft (СЛ Софт) (3)
  Сбер Бизнес Софт (3)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (2)
  Синимекс (Cinimex) (2)
  Другие (67)

  БизнесАвтоматика НПЦ (7)
  GlowByte, ГлоуБайт (ранее Glowbyte Consulting, ГлоуБайт Консалтинг) (4)
  Loginom Company (Аналитические технологии) (3)
  Цифровые технологии и платформы (ЦТиП) (3)
  Ростелеком (3)
  Другие (94)

  Lad, Лад Ай Ти (ранее ГК Лад, Лад-Проект) (2)
  Группа компаний ЦРТ (Центр речевых технологий) (1)
  Институт искусственного интеллекта (ИИИ) МФТИ (1)
  Лаборатория измерительных систем (1)
  НКЦ ОТИС Лаборатория исследований и разработок (IPChain Lab) (1)
  Другие (16)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Loginom Company (Аналитические технологии) (2, 240)
  БизнесАвтоматика НПЦ (2, 122)
  Полиматика (Polymatica) (4, 15)
  SL Soft (СЛ Софт) (4, 15)
  Oracle (12, 14)
  Другие (423, 213)

  БизнесАвтоматика НПЦ (1, 4)
  Сбербанк (3, 3)
  Sitronics KT, Ситроникс КТ (ранее Кронштадт Технологии) (2, 2)
  Полиматика (Polymatica) (1, 2)
  CM.Expert (АвтоЭксперт) (1, 2)
  Другие (17, 20)

  БизнесАвтоматика НПЦ (1, 5)
  SL Soft (СЛ Софт) (3, 4)
  Полиматика (Polymatica) (3, 4)
  Retail Rocket (Ритейл Рокет) (1, 2)
  Rubbles (Раблз) (1, 2)
  Другие (16, 16)

  БизнесАвтоматика НПЦ (1, 7)
  Loginom Company (Аналитические технологии) (1, 4)
  РИР (Росатом Инфраструктурные решения) (1, 1)
  Т-Банк (1, 1)
  DLBI (Ди Эл Би Ай) (1, 1)
  Другие (13, 13)

  Lad, Лад Ай Ти (ранее ГК Лад, Лад-Проект) (1, 2)
  НКЦ ОТИС Лаборатория исследований и разработок (IPChain Lab) (1, 1)
  CleverDATA (Клевер Дата) (1, 1)
  Группа компаний ЦРТ (Центр речевых технологий) (1, 1)
  Другие (0, 0)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2023 год
2024 год
2025 год
Текущий год

  Deductor - 226
  Visary BI Платформа бизнес-аналитики - 122
  Loginom - 14
  Polymatica Analytics Аналитическая платформа - 13
  IBM SPSS Decision Management - 10
  Другие 197

  Visary BI Платформа бизнес-аналитики - 4
  Polymatica Analytics Аналитическая платформа - 2
  ЦРТ: Speech Analytics Lab - 2
  PIX Process Management (PIX Процессы) - 2
  CM.Expert Data Mining платформа - 2
  Другие 16

  Visary BI Платформа бизнес-аналитики - 5
  Retail Rocket: Smart Placement Ads - 2
  Rubbles Customer Insight - 2
  Polymatica Analytics Аналитическая платформа - 2
  Систематика: Optimining (ранее СвойРМ) - 1
  Другие 10

  Visary BI Платформа бизнес-аналитики - 7
  Loginom - 4
  T-Data Аналитическая платформа - 1
  Rubbles Customer Insight - 1
  VolgaBlob Smart Monitor - 1
  Другие 12

  Lad: GPTZator - 2
  IPChain Lab: SonicScout Pro - 1
  CleverData CDP - 1
  ЦРТ: SpeechXplore ИИ-решение для исследования и развития коммуникаций с клиентами - 1
  Другие 0