Викиконспекты - Вклад участника [ru]

Репликация

2021-12-17T16:19:19Z

Gleb-kov: реализация репликации и применение

{{Определение
|definition =
'''Репликация''' — это поддержание одинаковых данных на нескольких узлах распределенной системы.}}
'''Типы репликации'''
* Синхронная -- требует введения распределенных транзакций и гарантирует одинаковое состояние реплик.
* Асинхронная -- допускает задержки репликации на репликах.

'''Схемы репликации'''
* С основной копией -- запросы на запись поступают в централизованное место, а затем реплицируются
* Симметричная -- запросы на запись могут поступать в различные копии

== Реализация репликации ==

=== С основной копией ===
[[Файл:Replication_Master.png|300px|thumb|right|Репликация с основной копией]]
Есть одна главная копия данных, изменения из неё реплицируются на все остальные копии. За согласованность изменений отвечает главная копия. Если изменения приводят к несогласованному состоянию, то транзакция откатывается. Запросы на чтение могут быть обработаны любой репликой.
Такая реализация эффективна, если количество записей сильно меньше количества запросов чтения.

=== Симметричная ===
[[Файл:Replication_Symmetric.png|300px|thumb|right|Симметричная репликация]]
Чтение и запись могут быть обработаны любой копией. При необходимости реплики могут работать автономно.

Преимущества:
* Запросы можно отправлять на географически ближайшую реплику

Недостатки:
* Необходимо обрабатывать случай записей с разных копий, которые конфликтуют при репликации.
* При выходе из строя любой реплики, состояние системы не согласовано и данные потеряны.

Таким образом, синхронная репликация сложна и малонадежна. В реалньости распределенные базы данных решают эту проблему лучше.

=== Рассылка изменений ===
Информация обо всех сделанных изменения содержится в журнале транзакций. Репликация достигается за счёт рассылки протоколов транзакций.

==== Репликация операторов ====
* На реплике выполняются те же операторы
* Пересылается малый объем данных
* Операторы должны быть детерминированны
* Необходимо учитывать взаимный порядок выполнения транзакций.

==== Репликация записей ====
* Пересылается информация об изменении записей
* Результат детерминирован
* Вынужденно пересылается большое количество записей

== Применения репликации ==

=== Вертикальное масштабирование ===
Большое количество чтений, малое количество записей. Схема репликации с одной копией. Примеры: web-сервера, erp-системы.

=== Горизонтальное масштабирование ===
Большое количество локальный операций (например, по критерию географической распределенности). Реплика отвечает за свой набор данных, т.е. по запросу всегда можно определить нужную реплику. Применение: географическая распределенность, независимость по данным, непостоянная связь.

=== Повышение доступности ===
Ассиметричная схема репликации позволяет менять основную реплику не останавливая работу системы.

=== Резервное копирование ===
Ассиметричная схема.

* Для получения резервной копии добавим специальную реплику, которая будет синхронизирована с основной.
* В момент взятия резервной копии отключаем синхронизацию.
* Чтобы сделать следующую резервную копию, синхронизация снова включается.
* Реплика получает все изменения, сделанные с момента отключения.

=== Преобразование данных ===
Ассиметричная схема репликации позволяет добавлять специальные реплики, которые занимаются обработкой данных. Периодически синхронизуясь, такая реплика преобразовывает данные, например: изменение формата хранения, консолидация данных, унификация данных.

Файл:Replication Symmetric.png

2021-12-17T15:06:27Z

Gleb-kov: Симметричная репликация

Симметричная репликация

Файл:Replication Master.png

2021-12-17T15:06:05Z

Gleb-kov: Репликация с основной копией

Репликация с основной копией

Секционирование

2021-12-17T14:55:22Z

Gleb-kov: секционирование индекса

{{Определение
|definition =
'''Секционирование''' — это разделение таблицы базы данных на отдельные фрагменты с раздельными настройками физического хранения.}}

Фрагменты могут хранится на разных компьютерах или дисках одного компьютера. Используется в целях повышения производительности и доступности больших баз данных. Это достигается за счет параллельного чтения и записи на различных дисках.

== Типы секционирования ==

=== Вертикальное ===
Разбиение таблицы "по столбцам". Условие корректности: секции содержат надключ (следует из теоремы Фейгина).

Преимущества:
* Отделение "частых" данных от "редких"
* Защита информации (можно задать разные права доступа на разные секции)
* Автоматическая поддержка для CLOB и BLOB (они хранятся отдельно от записи)

Недостатки:
* Нет специальной поддержки
* Зависимость от представления
* Необходимость обновляемых представлений

=== Горизонтальное ===
Разбиение таблицы "по строкам". Условие корректности: каждая строка попадает ровно в одну секцию.

Преимущества:
* Отделение "близких" данных от "дальних" (например, зависящих от времени).
* Уменьшение размера секции
* Встроенная поддержка
* Прозрачность для пользователя

Недостатки:
* Возможное замедление работы

Пример: таблица Points(SId, CId, Mark, Date), секции разбиты по Date на основе года.

== Методы секционирования ==

* Простые
** По диапазонам (задается границами)
** По значениям (списки конкретных значений)
** По хешу (записи разбиваются по хеш значению заданного набора столбцов)
* По выражению (секция задается любым методом простого секционирования)
* Составные (секции ращбиваются на подсекции, например, сначала по диапазону, а затем по хешу)

== Управление секциями ==

==== Удаление секции ====
'''alter table''' таблица '''drop partition''' секция''';'''

==== Разбиение секции ====
'''alter table''' таблица '''reorganize''' секция '''into ('''...''')''';

==== Перехеширование ====
'''alter table''' таблица '''add partition''' число''';'''
'''alter table''' таблица '''coalesce partition''' число''';'''

==== Оптимизация запросов ====
Оптимизатор запросов умеет использовать секционирование для повышения производительности. Ненужные секции могут быть отброшены, а запросы на оставшихся станут параллельными. Например, может быть оптимизирована операция '''select''' со сравнениями, '''=''', '''in''', '''between'''.

==== Индексы ====

Индексы могут быть секционированы.

Типы индексов:
* Локальный - один на секцию
* Глобальный - один на таблицу
* Секционированный - разбит на секции по-своему

Локальный и глобальный индекс нужны для оптимизации запросов.

Секционированный индекс имеет смысл, если глобальный индекс слишком велик по размеру. Секционирование таблицы и индекса должено быть согласовано, чтобы не относить секцию таблицы к нескольким секциям индекса. Однако разрешается относить несколько секций таблицы к одной секции индекса.

Секционирование

2021-12-17T13:34:57Z

Gleb-kov: вертикальное и индексы

{{Определение
|definition =
'''Секционирование''' — это разделение таблицы базы данных на отдельные фрагменты с раздельными настройками физического хранения.}}

Фрагменты могут хранится на разных компьютерах или дисках одного компьютера. Используется в целях повышения производительности и доступности больших баз данных. Это достигается за счет параллельного чтения и записи на различных дисках.

== Типы секционирования ==

=== Вертикальное ===
Разбиение таблицы "по столбцам". Условие корректности: секции содержат надключ (следует из теоремы Фейгина).

Преимущества:
* Отделение "частых" данных от "редких"
* Защита информации (можно задать разные права доступа на разные секции)
* Автоматическая поддержка для CLOB и BLOB (они хранятся отдельно от записи)

Недостатки:
* Нет специальной поддержки
* Зависимость от представления
* Необходимость обновляемых представлений

=== Горизонтальное ===
Разбиение таблицы "по строкам". Условие корректности: каждая строка попадает ровно в одну секцию.

Преимущества:
* Отделение "близких" данных от "дальних" (например, зависящих от времени).
* Уменьшение размера секции
* Встроенная поддержка
* Прозрачность для пользователя

Недостатки:
* Возможное замедление работы

Пример: таблица Points(SId, CId, Mark, Date), секции разбиты по Date на основе года.

== Методы секционирования ==

* Простые
** По диапазонам (задается границами)
** По значениям (списки конкретных значений)
** По хешу (записи разбиваются по хеш значению заданного набора столбцов)
* По выражению (секция задается любым методом простого секционирования)
* Составные (секции ращбиваются на подсекции, например, сначала по диапазону, а затем по хешу)

== Управление секциями ==

==== Удаление секции ====
'''alter table''' таблица '''drop partition''' секция''';'''

==== Разбиение секции ====
'''alter table''' таблица '''reorganize''' секция '''into ('''...''')''';

==== Перехеширование ====
'''alter table''' таблица '''add partition''' число''';'''
'''alter table''' таблица '''coalesce partition''' число''';'''

==== Оптимизация запросов ====
Оптимизатор запросов умеет использовать секционирование для повышения производительности. Ненужные секции могут быть отброшены, а запросы на оставшихся станут параллельными. Например, может быть оптимизирована операция '''select''' со сравнениями, '''=''', '''in''', '''between'''.

==== Индексы ====

Индексы могут быть секционированы.

Типы индексов
* Локальный - один на секцию
* Глобальный - один на таблицу
* Секционированный - разбит на секции по-своему

Локальный и глобальный индекс нужны для оптимизации запросов.