BigQuery

BigQuery — это RESTful веб-сервис для интерактивного широкомасштабного анализа больших наборов данных, расположенных в Google Storage. Есть инфраструктура как услуга (IaaS), которую можно использовать вместе с MapReduce.

История

После ограниченного периода тестирования в 2010 году BigQuery стал доступен широкой публике в ноябре 2011 года на конференции Google Atmosphere.[1] В 2014 году MapR представила проект Apache Drill для решения подобных задач.[2] В апреле 2016 года случился 12-часовой сбой в работе службы для европейских пользователей[3]. В мае 2016 года была объявлена ​​поддержка Google Sheets.[4]

Архитектура

BigQuery предоставляет внешний доступ к технологии Dremel[5][6] — масштабируемой, интерактивной специальной системе запросов ad hoc для анализа данных, доступных только для чтения. Для использования данных в BigQuery сначала их необходимо загрузить в Google Storage, а затем импортировать с помощью BigQuery API HTTP. BigQuery требует аутентификации для всех запросов с использованием ряда механизмов аутентификации, подобных OAuth.

Особенности
  • Управление данными — создание и удаление таблиц на основе JSON-схемы, импорт данных в формате CSV или JSON с Google Storage.
  • Запросы — для запросов используется стандартный диалект SQL[7], а результат возвращается в формате JSON с максимальным размером ответа примерно 128 MB или неограниченного размера в зависимости от настроек.[8]
  • Интеграция — BigQuery можно использовать в Google Apps Script[9] (например, как скрипт для Google Docs) или на любом языке, который работает с REST API или клиентскими библиотеками[10].
  • Контроль доступа — это возможность предоставлять доступ к данным произвольным лицам, группам или любому.

Примечания
  1. Iain Thomson. Google opens BigQuery for cloud analytics: Dangles free trial to lure doubters (November 14 2011). Дата обращения: 26 августа 2016.
  2. Neil McAllister. Is your data boring? MapR wants you to bore it back with Apache Drill: New release adds support for Google-y SQL-on-Hadoop tech (September 16, 2014). Дата обращения: 26 августа 2016.
  3. Simon Sharwood. Google Euro -cloud glitch (April 7, 2016). Дата обращения: 26 августа 2016.
  4. Jordan Novet. Google BigQuery now lets you analyze data from Google Sheets (May 6, 2016). Дата обращения: 26 августа 2016.
  5. Dremel: Interactive Analysis of Web-Scale Datasets. Proc. of the 36th International Conference on Very Large Data Bases (VLDB).
  6. Kazunori Sato. An Inside Look at Google BigQuery. Google (2012). Дата обращения: 26 августа 2016.
  7. SQL Reference. Дата обращения: 26 июня 2017.
  8. Quota Policy. Дата обращения: 26 июня 2017.
  9. BigQuery Service. Apps Script. Google Developers (March 15, 2018). Дата обращения: 23 апреля 2018.
  10. BigQuery Client Libraries. Дата обращения: 26 июня 2017.
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.