Главная
Новости
Строительство
Ремонт
Дизайн и интерьер




07.12.2021


06.12.2021


04.12.2021


03.12.2021


02.12.2021





Яндекс.Метрика





BigQuery

16.10.2021

BigQuery — это RESTful веб-сервис для интерактивного широкомасштабного анализа больших наборов данных, расположенных в Google Storage. Есть инфраструктура как услуга (IaaS), которую можно использовать вместе с MapReduce.

История

После ограниченного периода тестирования в 2010 году BigQuery стал доступен широкой публике в ноябре 2011 года на конференции Google Atmosphere. В 2014 году MapR представила проект Apache Drill для решения подобных задач. В апреле 2016 года случился 12-часовой сбой в работе службы для европейских пользователей. В мае 2016 года была объявлена ​​поддержка Google Sheets.

Архитектура

BigQuery предоставляет внешний доступ к технологии Dremel — масштабируемой, интерактивной специальной системе запросов ad hoc для анализа данных, доступных только для чтения. Для использования данных в BigQuery сначала их необходимо загрузить в Google Storage, а затем импортировать с помощью BigQuery API HTTP. BigQuery требует аутентификации для всех запросов с использованием ряда механизмов аутентификации, подобных OAuth.

Особенности

  • Управление данными — создание и удаление таблиц на основе JSON-схемы, импорт данных в формате CSV или JSON с Google Storage.
  • Запросы — для запросов используется стандартный диалект SQL, а результат возвращается в формате JSON с максимальным размером ответа примерно 128 MB или неограниченного размера в зависимости от настроек.
  • Интеграция — BigQuery можно использовать в Google Apps Script (например, как скрипт для Google Docs) или на любом языке, который работает с REST API или клиентскими библиотеками.
  • Контроль доступа — это возможность предоставлять доступ к данным произвольным лицам, группам или любому.