Неполные данные и null

Что означает null

Представим себе таблицы в БД университета ИТМО

• Students(StudentId, StudentName, GroupId)
• Groups(GroupId, GroupName)

Что может означать тот факт, что у студента null в столбце GroupId?

• Значение неизвестно (нет информации, из какой группы студент)
• Значение неверно (студент учится в какой-то группе, но эта группа не представлена в БД)
• Значение еще/уже не существует (студент был зачислен, но еще не распределен в группу или уже отчислен)
• Значение не имеет смысла (студент из другого университета, который пришел с какими-то целями в ИТМО)
• Значение недоступно (недостаточно прав узнать группу)

На основе этих предположений можно сделать вывод, что значение null сильно зависит от контекста (какую предметную область мы моделируем итд.).
Вполне возможно, что возникнет необходимость различать разные виды того, что значение в том или ином смысле отсутствует.

Можно ли обойтись без null?

Как представить кортеж с неопределенными частями в нашем случае?

• Разбить на 2 группы и сделать необязательную связь 1:1. В таком случае, в дополнительной таблице будет запись (StudentId, GroupId) тогда и только тогда, когда у студента определена группа

Где еще появляется null

• Результаты внешних соединений
• Результаты множественных операций

Оказывается, что в некоторых случаях без null не обойтись и надо уметь с ним работать.

Тернарная логика с использованием null

С точки зрения SQL, результат логического выражения может быть true, false или unknown.
С другой стороны есть тип boolean, и у него есть 3 значения: true, false и null
То есть формально unknown - это результат вычисления, а null - это конкретное значение, которое может быть записано в БД. На практике unknown представляется значением null, и это различие не будет иметь большого значения.

Конъюнкция

[math]\bf{and}[/math]	[math]\bf{true}[/math]	[math]\bf{unknown}[/math]	[math]\bf{false}[/math]
[math]\bf{true}[/math]	[math]true[/math]	[math]unknown[/math]	[math]false[/math]
[math]\bf{unknown}[/math]	[math]unknown[/math]	[math]unknown[/math]	[math]false[/math]
[math]\bf{false}[/math]	[math]false[/math]	[math]false[/math]	[math]false[/math]

Дизъюнкция

[math]\bf{or}[/math]	[math]\bf{true}[/math]	[math]\bf{unknown}[/math]	[math]\bf{false}[/math]
[math]\bf{true}[/math]	[math]true[/math]	[math]true[/math]	[math]true[/math]
[math]\bf{unknown}[/math]	[math]true[/math]	[math]unknown[/math]	[math]unknown[/math]
[math]\bf{false}[/math]	[math]true[/math]	[math]unknown[/math]	[math]false[/math]

Отрицание

[math][/math]	[math]\bf{true}[/math]	[math]\bf{unknown}[/math]	[math]\bf{false}[/math]
[math]\bf{not}[/math]	[math]false[/math]	[math]unknown[/math]	[math]true[/math]

Сравнение

Равенство

[math]\bf{=}[/math]	[math]\bf{true}[/math]	[math]\bf{unknown}[/math]	[math]\bf{false}[/math]
[math]\bf{true}[/math]	[math]true[/math]	[math]unknown[/math]	[math]false[/math]
[math]\bf{unknown}[/math]	[math]unknown[/math]	[math]unknown[/math]	[math]unknown[/math]
[math]\bf{false}[/math]	[math]false[/math]	[math]unknown[/math]	[math]true[/math]

is

[math][/math]	[math]\bf{true}[/math]	[math]\bf{unknown}[/math]	[math]\bf{false}[/math]
[math]\bf{is\ true}[/math]	[math]true[/math]	[math]false[/math]	[math]false[/math]
[math]\bf{is\ unknown}[/math]	[math]false[/math]	[math]true[/math]	[math]false[/math]
[math]\bf{is\ false}[/math]	[math]false[/math]	[math]false[/math]	[math]true[/math]
[math]\bf{is\ not\ true}[/math]	[math]false[/math]	[math]true[/math]	[math]true[/math]
[math]\bf{is\ not\ unknown}[/math]	[math]true[/math]	[math]false[/math]	[math]true[/math]
[math]\bf{is\ not\ false}[/math]	[math]true[/math]	[math]true[/math]	[math]false[/math]

Проблемы при работе с null

При работе с null в процессе разработки БД, во избежание непредвиденных ошибок, необъодимо заранее ознакомиться с тем, какие проблемы могут возникнуть.

Вывод логических выражений

В новой тернарной логике работают не все правила преобразований, присущие двоичной. Например, нельзя полагать, что [math](A\ \vee\ \neg\ A)[/math] всегда истинно, потому что теперь может получиться unknown.
Поэтому при каждом преобразовании троичного логического выражения, лучше сверяться с таблицами истинности.

Скалярные операции, порождающие null

Следующие операции с null порождают null, и иногда это может сбивать с толку начинающих разработчиков.

• [math]=[/math], [math]\lt \gt [/math], [math]\lt [/math], [math]\lt =[/math], [math]\gt [/math], [math]\gt =[/math]
• [math]+[/math], [math]−[/math], [math]*[/math],[math]/[/math]
• [math]\|[/math]
• [math]in[/math]

Рассмотрим несколько примеров.

select (1 + null) from Students;

Не смотря на то, что этот запрос не несет большого смысла, на его примере можно убедиться, что в арифметических операциях null "заразен".

select StudentId from Students where GroupId = null;

Это частая ошибка, сравнение с null дает unknown, а значит запрос вернет пустую таблицу.

Говоря об операции сравнения, стоит отметить, что она не транзитивна и не рефлексивна.

• [math]x\ =\ x[/math] - true или null
• [math]x\ \lt \gt \ x[/math] - true или null
• [math]x\ or\ x[/math] - true или null
• [math]x\ or\ not\ x[/math] - true или null
• [math]x\ and\ not\ x[/math] - false или null

Дубликаты и null

Так как null ≠ null, сравнения кортежей, содержащих null не обладают интуитивными свойствами, например:

• [math]R \cup R[/math] - не всегда [math]R[/math]
• [math]R \cap R[/math] - не всегда [math]R[/math]
• [math]R \bowtie R[/math] - не всегда [math]R[/math]

Неинтуитивность null

Рассмотрим запрос, для нахождения студентов не из группы 'M34391'.

select * from Students where GroupId <> 'M34391'

Корректность запроса зависит от смысла null. Неясно, надо ли возвращать в этом запросе студента, о котором нет информации, в какой группе он учится.

Следующий запрос, хоть и выглядит странно, предполагает просто поиск всевозможных студентов

select * from Students where GroupId <> 'M34391'
union
select * from Students where GroupId = 'M34391'

Но из-за наличия null, этот запрос не отработает так, как предполагалось. Если GroupId студента null, то сравнение не вернет true, а значит в результате это учтено не будет.
Подробнее у работе функции where будет рассказано в следующем разделе.

Работа с null в SQL

Несмотря на множество проблем, описанных выше, в SQL существуют механизмы, позволяющие корректно обработать null.

Проверки значений

Для сравнения с null используется is null (или is not null). Получить всех студентов с null в поле GroupId можно следующим образом:

select StudentId from Students where GroupId is null;

В общем виде синтаксис проверки значений выглядит следующим образом: значение is [not] {null|true|false|unknown}, например:

• x is not true
• x or x is not null

Так же в SQL существует функция coalesce(v1, v2, ...), которая принимает произвольное число аргументов и возвращает первый не не null. Если все аргументы null, то возвращает null.

Ключи и null

Можно использовать null:

• Альтернативные ключи
• Внешние ключи
  • Простые
  • Составные, отсутствующие целиком

Первичные ключи не могут содержать null.

Предикаты

DML

where и having считают истинным предикат только если он вернул true Зная этот факт можно, например убедиться, что false and unknown дает false. Следующий запрос вернет 1:

select 1 where not (0 = 1 and 0 = null)

DDL

C точки зрения check constraint-ов не подходит только false. Unknown превращается в true

Различимость

Два null не равны и не различимы. Это важно для distinct и group by
Например, кортежи (1, null) и (1, null) склеятся в случае distinct и не породят разные группы в случае group by, т.к. не различимы

Типы столбцов

В SQL столбцы могут быть nullable (по умолчанию) и не nullable

birthday date
birthday date not null

Перед созданием nullable столбца, рекомендуется дополнительно обдумать, какой конкретно смысл вкладывается в null в данном случае, не скажется ли это негативно на остальных запросах, в случае, если начать его использовать. Если есть возможность, во избежание дополнительных проблем, описанных выше, лучше объявлять столбцы not null.

Прочее

• exists
  • возвращает true или 'false'
  • если внутри получились только строки, состоящие из null, то вернет так же false
• агрегирующие функции (count, sum, avg и т.д.)
  • пропускают null, т.е. не учитывают его при подсчете
  • при отсутствии аргументов, отличных от null, возвращают null
  • исключением является count(*), что просто считает количество строк
• order by
  • Помимо указаний порядка сортировки (asc или desc), можно указывать, куда ставить null-ы - в начало или в конец. Например order by year nulls first. По умолчанию null-ы складываются либо в начало, либо в конец, это нужно уточнять в документации к конкретной СУБД.