Викиконспекты - Вклад участника [ru]

Репликация

2021-12-20T11:02:13Z

93.158.179.15:

{{Определение
|definition =
'''Репликация''' — это поддержание одинаковых данных на нескольких узлах распределенной системы.}}
'''Типы репликации'''
* Синхронная -- требует введения распределенных транзакций и гарантирует одинаковое состояние реплик.
* Асинхронная -- допускает задержки репликации на репликах.

'''Схемы репликации'''
* С основной копией -- запросы на запись поступают в централизованное место, а затем реплицируются
* Симметричная -- запросы на запись могут поступать в различные копии

== Реализация репликации ==

=== С основной копией ===
[[Файл:Replication_Master.png|300px|thumb|right|Репликация с основной копией]]
Есть одна главная копия данных, изменения из неё реплицируются на все остальные копии. За согласованность изменений отвечает главная копия. Если изменения приводят к несогласованному состоянию, то транзакция откатывается. Запросы на чтение могут быть обработаны любой репликой.
Такая реализация эффективна, если количество записей сильно меньше количества запросов чтения.

=== Симметричная ===
[[Файл:Replication_Symmetric.png|300px|thumb|right|Симметричная репликация]]
Чтение и запись могут быть обработаны любой копией. При необходимости реплики могут работать автономно.

Преимущества:
* Запросы можно отправлять на географически ближайшую реплику

Недостатки:
* Необходимо обрабатывать случай записей с разных копий, которые конфликтуют при репликации.
* При выходе из строя любой реплики, состояние системы не согласовано и данные потеряны.

Таким образом, синхронная репликация сложна и малонадежна. В реалньости распределенные базы данных решают эту проблему лучше.

=== Рассылка изменений ===
Информация обо всех сделанных изменения содержится в журнале транзакций. Репликация достигается за счёт рассылки протоколов транзакций.

==== Репликация операторов ====
* На реплике выполняются те же операторы
* Пересылается малый объем данных
* Операторы должны быть детерминированны
* Необходимо учитывать взаимный порядок выполнения транзакций.

==== Репликация записей ====
* Пересылается информация об изменении записей
* Результат детерминирован
* Вынужденно пересылается большое количество записей

== Применения репликации ==

=== Вертикальное масштабирование ===
Большое количество чтений, малое количество записей. Схема репликации с одной копией. Примеры: web-сервера, erp-системы.

=== Горизонтальное масштабирование ===
Большое количество локальный операций (например, по критерию географической распределенности). Реплика отвечает за свой набор данных, т.е. по запросу всегда можно определить нужную реплику. Применение: географическая распределенность, независимость по данным, непостоянная связь.

=== Повышение доступности ===
Ассиметричная схема репликации позволяет менять основную реплику не останавливая работу системы.

=== Резервное копирование ===
Ассиметричная схема.

* Для получения резервной копии добавим специальную реплику, которая будет синхронизирована с основной.
* В момент взятия резервной копии отключаем синхронизацию.
* Чтобы сделать следующую резервную копию, синхронизация снова включается.
* Реплика получает все изменения, сделанные с момента отключения.

=== Преобразование данных ===
Ассиметричная схема репликации позволяет добавлять специальные реплики, которые занимаются обработкой данных. Периодически синхронизуясь, такая реплика преобразовывает данные, например: изменение формата хранения, консолидация данных, унификация данных.

== Литература ==
* Дейт К. Введение в системы баз данных (глава 21)
* [https://www.postgresql.org/docs/current/high-availability.html PostgreSQL: High Availability, Load Balancing, and Replication]
* [https://dev.mysql.com/doc/refman/8.0/en/replication.html MySQL: Replication]

[[Категория: Базы данных]]

Секционирование

2021-12-20T11:00:36Z

93.158.179.15:

{{Определение
|definition =
'''Секционирование''' — это разделение таблицы базы данных на отдельные фрагменты с раздельными настройками физического хранения.}}

Фрагменты могут хранится на разных компьютерах или дисках одного компьютера. Используется в целях повышения производительности и доступности больших баз данных. Это достигается за счет параллельного чтения и записи на различных дисках.

== Типы секционирования ==

=== Вертикальное ===
Разбиение таблицы "по столбцам". Условие корректности: секции содержат надключ (следует из теоремы Фейгина).

Преимущества:
* Отделение "частых" данных от "редких"
* Защита информации (можно задать разные права доступа на разные секции)
* Автоматическая поддержка для CLOB и BLOB (они хранятся отдельно от записи)

Недостатки:
* Нет специальной поддержки
* Зависимость от представления
* Необходимость обновляемых представлений

=== Горизонтальное ===
Разбиение таблицы "по строкам". Условие корректности: каждая строка попадает ровно в одну секцию.

Преимущества:
* Отделение "близких" данных от "дальних" (например, зависящих от времени).
* Уменьшение размера секции
* Встроенная поддержка
* Прозрачность для пользователя

Недостатки:
* Возможное замедление работы

Пример: таблица Points(SId, CId, Mark, Date), секции разбиты по Date на основе года.

== Методы секционирования ==

* Простые
** По диапазонам (задается границами)
** По значениям (списки конкретных значений)
** По хешу (записи разбиваются по хеш значению заданного набора столбцов)
* По выражению (секция задается любым методом простого секционирования)
* Составные (секции ращбиваются на подсекции, например, сначала по диапазону, а затем по хешу)

== Управление секциями ==

==== Удаление секции ====
'''alter table''' таблица '''drop partition''' секция''';'''

==== Разбиение секции ====
'''alter table''' таблица '''reorganize''' секция '''into ('''...''')''';

==== Перехеширование ====
'''alter table''' таблица '''add partition''' число''';'''
'''alter table''' таблица '''coalesce partition''' число''';'''

==== Оптимизация запросов ====
Оптимизатор запросов умеет использовать секционирование для повышения производительности. Ненужные секции могут быть отброшены, а запросы на оставшихся станут параллельными. Например, может быть оптимизирована операция '''select''' со сравнениями, '''=''', '''in''', '''between'''.

==== Индексы ====

Индексы могут быть секционированы.

Типы индексов:
* Локальный - один на секцию
* Глобальный - один на таблицу
* Секционированный - разбит на секции по-своему

Локальный и глобальный индекс нужны для оптимизации запросов.

Секционированный индекс имеет смысл, если глобальный индекс слишком велик по размеру. Секционирование таблицы и индекса должено быть согласовано, чтобы не относить секцию таблицы к нескольким секциям индекса. Однако разрешается относить несколько секций таблицы к одной секции индекса.

== Литература ==
* [https://www.postgresql.org/docs/current/ddl-partitioning.html PostgreSQL: Table Partitioning]
* [https://dev.mysql.com/doc/refman/8.0/en/partitioning.html MySQL: Partitioning]

[[Категория: Базы данных]]

Курсоры

2021-12-13T12:33:36Z

93.158.179.15: /* Описание команд */ Исправила форматирование

{{Определение
|definition =
'''Курсор''' — способ перебора результатов запроса, позволяющий достать из результата запроса множество строк.}}
Курсор можно рассматривать как итератор, специфичный для баз данных.

== Объявление курсора ==
=== Синтаксис ===
declare имя -- объявление курсора с именем 
{sensitive|insensitive|asensitive} -- чувствительность курсора
[[no] scroll] -- возможность ходить произвольным образом по данным вперед и назад (default - no scroll) 
cursor select... -- запрос данных, по которым будет ходить курсор
[ for {read only|update [of столбцы]}]; -- права на чтение(дефолтное право) или на обновление (всей таблицы или выбранных столбцов)

=== Чувствительность курсора ===
Данные из курсора обрабатываются по одной строке, во время таких итераций можно поменять данные самой таблицы, по которой построен текущий курсор. В зависимости от желаемого поведения в таких случаях можно выбрать разную чувствительность курсора.

* <tex>\mathtt{sensitive}</tex> - курсор, чувствительный к изменениям. Измененные данные можно будет увидеть в курсоре, если эти данные еще не были пройдены. Иначе, если изменённые данные были просмотрены в прошлом, то они не обновятся. Итерация по реальным данным.
* <tex>\mathtt{insensitive}</tex> - курсор фиксированных данных. Данные зафиксированы на момент открытия курсора. Никакие изменения данных не будут отображены через курсор. Итерация по временной копии таблицы.
* <tex>\mathtt{asensitive}</tex> - курсор, наиболее предпочтительный для данной СУБД. Связано с различными способами реализациями СУБД: для одних легче реализуем sensitive cursor, а для других - insensitive. В данном случае сама СУБД данных будет решать, какую чувствительность курсора использовать.

Если данные во время использования курсора меняться не будут, то чувствительность курсора не важна.

===Примеры===

Взятие курсора на чтение для студентов, упорядоченных по идентификатору:
declare SCursor cursor
select * from Students
order by SId;

Взятие курсора с правом на изменение поля SName для студентов группы M3439:
declare SCursor cursor
select * from Students where GId = 'M3439'
for update of SName;

==Открытие и закрытие==
Объявление курсора говорит о намерении получения данных. Реальная выборка в момент объявления не производится. Она происходит в момент открытия курсора. Если курсор ''insensitive'', то в момент открытия фиксируются данные, которые попадут в курсор.

С курсором ассоциируются ресурсы, поэтому их необходимо закрывать. При выходе из блока, в котором был объявлен курсор, он будет автоматически закрыт. При повторном открытии курсора произойдет повторная инициализация, влекущая новое прочтение данных для ''insensitive'' курсора.

=== Синтаксис ===

open курсор;
close курсор;

== Получение данных ==

=== Синтаксис ===

fetch
[next|prior|last|first|absolute n|relative n]
курсор into переменные;

==== Описание команд ====
* <tex>\mathtt{next}</tex> - получение следующей записи (доступно по умолчанию, все команды ниже доступны только для ''scroll'' курсора)
* <tex>\mathtt{prior}</tex> - предыдущая запись
* <tex>\mathtt{last}</tex> - последняя запись
* <tex>\mathtt{first}</tex> - первая запись
* <tex>\mathtt{absolute}</tex> <tex>\mathtt{n}</tex> - получить запись с номером n от начала
* <tex>\mathtt{relative}</tex> <tex>\mathtt{n}</tex>- запись с номером n, нумерация с текущей позиции (n может быть отрицательным, в этом случае движение назад)

=== Отсутствие данных ===
Если данные закончились, либо при помощи команд был осуществлен невалидный переход, то случится событие '''not found'''

=== Пример ===
fetch SCursor into Sid, FirstName, LastName;

Для получения всех данных из курсора, можно создать цикл, предварительно создав обработчик ошибок на '''not found''', в котором выйдем из цикла, когда все элементы будут обработаны.

== Позиционированные изменения ==
Изменение или удаление ровно одной строчки, которую последней выдал курсор.
=== Синтаксис ===
update таблица set что where current of курсор;
delete from таблица where current of курсор;
===Пример применения курсора===
if FirstName = 'Иван' then
delete from Students where current of SCursor;
end if;
== Пример применения курсора ==
create procedure updateNameStat(name)
begin
declare cnt int default 0;
declare exit handler for sqlstate not found begin
insert into Stats (Name, Cnt) values (name, cnt);
end;
declare SCursor cursor
select FirstName from Students;
open SCursor;
loop
declare sname varchar(20);
fetch SCursor into sname;
if name = sname then set cnt = cnt + 1; end if;
end loop;
end; 

==Особенности курсоров==
Курсоры, описанные в данной статье, являются '''внутренними'''. Они существуют внутри базы данных, используются, в том числе для взаимодействия между различными частями базы данных при планировании.

===Внешние курсоры===
Результат запроса к базе данных может быть слишком велик и стать виной нехватки памяти как на стороне клиента, так и на стороны сервера, увеличить нагрузку на сеть. Поэтому наружу данные выдаются в виде внешнего курсора. После исполнения команды select выдается внешний курсор на данные, аналогично внешний курсор выдается при возврате результат из хранимой процедуры.

===Размер выборки===
Может быть указан для внешнего курсора каким-либо образом (в количестве записей либо в объеме данных).

При выдаче курсора приходит метаинформация о курсоре и первая порция данных, размер которой мы указали. Для получения последующих порций данных необходимо обращаться к серверу. В конце сервер сообщит о том, что данные закончились, автоматически освободит ресурсы.

Возникают альтернативы:

* Малый размер выборки — много повторных обращений.
* Большой размер выборки — требуется много памяти.

Выдача курсора приводит к расходу ресурсов сервера (память, блокировки и так далее). Поэтому внешний курсор стоит закрыть как можно раньше.

==Литература==
* ''Дейт К. Введение в системы баз данных (главы 4 и 17)''
* ''Уидом Д., Ульман Д. Основы реляционных баз данных (раздел 7.4)''
* ''Gulutzan P., Pelzer T. SQL-99 complete, really''
** [https://crate.io/docs/sql-99/en/latest/chapters/25.html Chapter 25 – SQL-Invoked Routine]
** [https://crate.io/docs/sql-99/en/latest/chapters/26.html Chapter 26 – PSM: Not Just Persistent Stored Modules]
[[Категория: Базы данных]]