BRIN
BRIN (от англ. Block Range Index) — техника индексации данных, предназначенная для обработки больших[1] таблиц, в которых значение индексируемого столбца имеет некоторую естественную корреляцию с физическим положением строки в таблице. Они обладают такими качествами партиционированных таблиц, как быстрая вставка строки, быстрое создание индекса, без необходимости явного объявления партиций.[2]
Может использоваться для географических данных[3], временных рядов[4], логов или истории заказов магазина, которые пишутся последовательно, а потому некоторые колонки (дата, время, номер) частично упорядочены уже на физическом уровне, и в то же время таблицы с такими данными обычно разрастаются до гигантских размеров. Ускоряет операторы сравнения, но не влияет на like-запросы.[5]. BRIN — не уникальный индекс[6], поэтому не может использоваться в качестве индекса первичного ключа.[7]
BRIN-индексы были впервые предложены Alvaro Herrera из компании 2ndQuadrant в 2013 году под названием «Minmax-индексы». Поддержка была заявлена в PostgreSQL с версии 9.5[8]. В других СУБД есть похожие возможности, в том числе в Oracle[9][10], Netezza («zone maps»), en:Infobright («data packs»), en:MonetDBand, Apache Hive с ORC/Parquet.
Архитектура
BRIN оперирует описаниями больших блоков данных, где хранится минимальное и максимальное значение индексируемого столбца внутри блока. Во время запросов сначала фильтруются блоки (условия запроса применяется к описанию блока). Таким образом, за небольшое число проверок сокращается набор данных, которые надо будет проверять построчно.[11]
СУБД PostgreSQL хранит данные в «страницах», каждая таблица или индекс — это последовательность страниц. Стандартный размер страницы — 8 килобайт.[12] Блок или блоковый диапазон (англ. «a block range») — это группа страниц (а не строк), которые идут друг за другом в таблице. Блок в данном случае — часть индекса, а не таблицы: его размер можно определить в момент создания индекса параметром pages_per_range
.[13]
По мере того, как страницы наполняются данными, информация о блоках обновляется. Не каждой странице соответствует блок, недавно созданные страницы могут не иметь блока (создание новых блоков в индексе происходит, например, во время операции VACUUM
на таблице).
BRIN настолько компактный, что может помещаться целиком в оперативную память, уменьшая количество дисковых операций во время запроса. Это не всегда справедливо для индексов B-tree, которые нуждаются в узле дерева на приблизительно каждые N строк таблицы, где N — вместимость одного узла. Размер индекса B-tree значителен и может быть сопоставим с объёмом данных в индексируемой колонке таблицы.
См. также
Примечания
- Больших в смысле количества строк, а не размера полей или абсолютного размера таблицы в байтах.
- Mark Wong. Loading Tables and Creating B-tree and Block Range Indexes . AXLE project (10 октября 2014).
- Архивированная копия (недоступная ссылка). Дата обращения: 7 августа 2017. Архивировано 7 августа 2017 года.
- BRIN indexes, what are they and how do you use them?
- Table 62-1. Built-in BRIN Operator Classes
- When should I use BRIN indexes? : PostgreSQL
- How to promote an existing index to primary key in PostgreSQL - Database Administrators Stack Exchange
- PostgreSQL: Documentation: 9.5: Release 9.5
- Arup Nanda. Smart Scans Meet Storage Indexes (неопр.) // Oracle Magazine. — Oracle Corporation.
- Oracle Sun Database Machine Application Best Practices for Data Warehousing . Oracle.
- Herrera, Alvaro commitdiff - BRIN: Block Range Indexes . git.postgresql.org (7 ноября 2014). Дата обращения: 3 октября 2017.
- PostgreSQL: Documentation: 8.0: Database Page Layout
- PostgreSQL: Documentation: 9.5: Introduction
- Difference between GiST and GIN index . stackoverflow.com. Дата обращения: 11 апреля 2018.