Викиконспекты - Вклад участника [ru]

Soft-Max и Soft-Arg-Max

2022-07-01T19:10:24Z

Betson: Полностью удалено содержимое страницы

SoftMax и SoftArgMax

2022-07-01T19:01:49Z

Betson: /* Связь между вариациями SoftMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =softArgMax\left ( L \right )</tex>

Пусть <tex>y = softArgMax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>softArgMax</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>argMax</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softArgMax\left ( x - c,y-c,z-c\right )=softArgMax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>softArgMax</tex> {{---}} частный случай сигмоиды. <tex>softArgMax\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>softArgMax_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>softArgMax</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>softMax</tex> таким образом:

<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softMax\left ( a,a,a\right ) = a</tex>
*<tex>softMax\left ( x+a,y+a,z+a\right ) =softMax\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>softMax</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>softMax\left(a,a,a\right)=a</tex>
*Производная равна <tex>softArgMax</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>softMax</tex> как <tex>badSoftMax</tex>. Тогда:

*<tex>badSoftMax\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla softMax\left(x_{1},\ldots,x_{n}\right)=softArgMax\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.softArgMax_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -softMax\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии, необходимо вычислить <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>softMax</tex>, хотя вместо этого подразумевается <tex>softArgMax</tex>
*<tex>softArgMax</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>softArgMax</tex> является алгоритмом подсчёта весов для <tex>softMax</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T19:00:44Z

Betson:

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =softArgMax\left ( L \right )</tex>

Пусть <tex>y = softArgMax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>softArgMax</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>argMax</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softArgMax\left ( x - c,y-c,z-c\right )=softArgMax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>softArgMax</tex> {{---}} частный случай сигмоиды. <tex>softArgMax\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>softArgMax_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>softArgMax</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>softMax</tex> таким образом:

<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softMax\left ( a,a,a\right ) = a</tex>
*<tex>softMax\left ( x+a,y+a,z+a\right ) =softMax\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>softMax</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>softMax\left(a,a,a\right)=a</tex>
*Производная равна <tex>softArgMax</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>softMax</tex> как <tex>badSoftMax</tex>. Тогда:

*<tex>badSoftMax\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla softMax\left(x_{1},\ldots,x_{n}\right)=softArgMax\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.softArgMax_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -softMax\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии необходимо вычислить <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>softMax</tex>, хотя вместо этого подразумевается <tex>softArgMax</tex>
*<tex>softArgMax</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>softArgMax</tex> является алгоритмом подсчёта весов для <tex>softMax</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:58:31Z

Betson:

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =soft{\text -}arg{\text -}max\left ( L \right )</tex>

Пусть <tex>y = soft{\text -}arg{\text -}max\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>soft{\text -}arg{\text -}max</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>arg{\text -}max</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>soft{\text -}arg{\text -}max\left ( x - c,y-c,z-c\right )=soft{\text -}arg{\text -}max\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>soft{\text -}arg{\text -}max_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>soft{\text -}arg{\text -}max</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>soft{\text -}max</tex> таким образом:

<tex>soft{\text -}max\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .soft{\text -}arg{\text -}max\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>soft{\text -}max\left ( a,a,a\right ) = a</tex>
*<tex>soft{\text -}max\left ( x+a,y+a,z+a\right ) =soft{\text -}max\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>soft{\text -}max</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>soft{\text -}max\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>soft{\text -}max\left(a,a,a\right)=a</tex>
*Производная равна <tex>soft{\text -}arg{\text -}max</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>soft{\text -}max</tex> как <tex>bad{\text -}soft{\text -}max</tex>. Тогда:

*<tex>bad{\text -}soft{\text -}max\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .soft{\text -}arg{\text -}max\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla soft{\text -}max\left(x_{1},\ldots,x_{n}\right)=soft{\text -}arg{\text -}max\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.soft{\text -}arg{\text -}max_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -soft{\text -}max\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии необходимо вычислить <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>soft{\text -}max</tex>, хотя вместо этого подразумевается <tex>soft{\text -}arg{\text -}max</tex>
*<tex>soft{\text -}arg{\text -}max</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>soft{\text -}arg{\text -}max</tex> является алгоритмом подсчёта весов для <tex>soft{\text -}max</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:47:27Z

Betson: /* Связь между вариациями SoftMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии необходимо вычислить <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:47:16Z

Betson: /* Связь между вариациями SoftMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии необходимо подсчитывать <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:46:05Z

Betson: /* Связь между вариациями SoftMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

Для подсчёта, например, перекрёстной энтропии необходимо брать логарифм от вероятности <tex>p_{i}</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:41:22Z

Betson: /* Связь между вариациями SoftMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

Последнее свойство позволяет вычислять производную от <tex>\log\left(\right.soft{\text -}arg{\text -}max_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right)</tex>, избегая сингулярности при делении на ноль.

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:32:04Z

Betson: /* Свойства SoftArgMax */

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

SoftMax и SoftArgMax

2022-07-01T18:28:38Z

Betson: Новая страница: «==SoftArgMax== ===Постановка задачи=== Пусть есть задача мягкой классификации: Алгоритм выдает з…»

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T18:26:14Z

Betson:

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T18:23:45Z

Betson:

==SoftArgMax==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства SoftArgMax===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==SoftMax==
===Плохой SoftMax===
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями SoftMax==
Обозначим "плохой" <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T17:31:24Z

Betson: /* Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства Soft-Arg-Max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация Soft-Arg-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:57:22Z

Betson: /* Soft-Arg-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства Soft-Arg-Max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация Soft-Arg-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:55:06Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:49:16Z

Betson: /* Плохой Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:46:01Z

Betson: /* Связь между вариациями Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:42:51Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>

Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .\boldsymbol{\mathbf{soft{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:32:54Z

Betson: Отмена правки 82615, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:32:31Z

Betson: Отмена правки 82616, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:31:54Z

Betson: Отмена правки 82617, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:31:29Z

Betson: Отмена правки 82618, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:30:56Z

Betson: Отмена правки 82619, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\mathbf{softmax}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softargmax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softmax\left ( a,a,a\right ) = a</tex>
*<tex>softmax\left ( x+a,y+a,z+a\right ) =soft-max\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:29:08Z

Betson: Отмена правки 82620, сделанной Betson (обсуждение)

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{soft-arg-max}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\mathbf{softmax}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softargmax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softmax\left ( a,a,a\right ) = a</tex>
*<tex>softmax\left ( x+a,y+a,z+a\right ) =soft-max\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:26:12Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{soft{-}arg{-}max}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\mathbf{softmax}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softargmax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softmax\left ( a,a,a\right ) = a</tex>
*<tex>softmax\left ( x+a,y+a,z+a\right ) =soft-max\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:25:48Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{soft-arg-max}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\mathbf{softmax}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softargmax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softmax\left ( a,a,a\right ) = a</tex>
*<tex>softmax\left ( x+a,y+a,z+a\right ) =soft-max\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:22:04Z

Betson: /* Плохой Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

<tex>\mathbf{softmax}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softargmax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*<tex>softmax\left ( a,a,a\right ) = a</tex>
*<tex>softmax\left ( x+a,y+a,z+a\right ) =soft-max\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:20:42Z

Betson: /* Свойства soft-arg-max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>softargmax\left ( x - c,y-c,z-c\right )=softargmax\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:19:51Z

Betson: /* Soft-Arg-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = softargmax\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:18:44Z

Betson: /* Soft-Arg-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p = \mathbf{softargmax}\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T16:00:17Z

Betson: /* Связь между вариациями Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex> '''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>

==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:55:14Z

Betson: /* Постановка задачи */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, так как это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:41:42Z

Betson: /* Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, т.к. это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Хороший Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:36:10Z

Betson: /* Soft-Arg-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

У '''soft-arg-max''' такое название, т.к. это, по сути, гладкая аппроксимация модифицированного '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:35:15Z

Betson: /* Постановка задачи */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

Название '''soft-arg-max''' связано с тем, что это гладкая аппроксимация '''arg-max'''.

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:32:23Z

Betson: /* Источники */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:31:17Z

Betson: /* Источники */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
# [Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв]

[[Категория: Машинное обучение]]

Soft-Max и Soft-Arg-Max

2022-07-01T15:26:42Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''
==Источники==
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]

Soft-Max и Soft-Arg-Max

2022-07-01T15:24:30Z

Betson: /* Хороший Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняется свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Soft-Max и Soft-Arg-Max

2022-07-01T15:24:08Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняет свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Soft-Max и Soft-Arg-Max

2022-07-01T15:23:35Z

Betson:

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|100px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|100px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняет свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Soft-Max и Soft-Arg-Max

2022-07-01T15:22:56Z

Betson: /* Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.2 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняет свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Soft-Max и Soft-Arg-Max

2022-07-01T15:22:44Z

Betson: /* Плохой Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен красным)]]
[[File:GoodSoftMax.png|200px|thumb|рис.1 Плохой Soft-Max (помечен оранжевым)]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняет свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Файл:GoodSoftMax.png

2022-07-01T15:22:06Z

Betson:

Soft-Max и Soft-Arg-Max

2022-07-01T15:20:56Z

Betson: /* Soft-Max */

==Soft-Arg-Max==
===Постановка задачи===
Пусть есть задача мягкой классификации:

Алгоритм выдает значения <tex>L_{1}, L_{2},\ldots, L_{n}</tex>, где <tex>n</tex> {{---}} число классов.

<tex>L_{i}</tex> {{---}} уверенность алгоритма в том, что объект принадлежит классу <tex>i</tex>, <tex>L_{i} \in \left [ -\infty, +\infty\right ]</tex>

Для этих значений необходимо найти такие <tex>p_{1},\ldots,p_{n}</tex>, что:

*<tex>p_{i} \in \left [ 0, 1\right ]</tex>
*<tex>\sum_{i}p_{i}=1</tex>
То есть <tex>p_{1},\ldots,p_{n}</tex> {{---}} распределение вероятностей

Для этого выполним преобразование:

<tex>p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}</tex>

Тогда выполняется следующее:

*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =</tex> '''soft-arg-max'''<tex>\left ( L \right )</tex>

Пусть <tex>y = </tex> '''soft-arg-max'''<tex>\left ( x \right )</tex>, тогда:

<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
&y_{i}\left ( 1 - y_{j} \right ),~i = j \\
&-y_{i}\cdot y_{j},~~~~~~i \neq j
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>

===Свойства soft-arg-max===
*Вычисляет по вектору чисел вектор с распределением вероятностей
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*'''soft-arg-max'''<tex>\left ( x - c,y-c,z-c\right )=</tex> '''soft-arg-max'''<tex>\left ( x,y,z\right )</tex>
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>

===Модификация soft-arg-max===
'''soft-arg-max'''<tex>_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое '''soft-arg-max'''. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.

==Soft-Max==
===Плохой Soft-Max===
[[File:BadSoftMax.png|300px|thumb|рис.1 Плохой Soft-Max]]
Зададим функцию '''soft-max''' таким образом:

'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

*'''soft-max'''<tex>\left ( a,a,a\right ) = a</tex>
*'''soft-max'''<tex>\left ( x+a,y+a,z+a\right ) =</tex> '''soft-max'''<tex>\left ( x,y,z\right ) + a</tex>

Заданный выше '''soft-max''' {{---}} "плохой" в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

===Хороший Soft-Max===
'''soft-max'''<tex>\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>

*Не сохраняет свойство '''soft-max'''<tex>\left(a,a,a\right)=a</tex>
*Производная равна '''soft-arg-max'''

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

==Связь между вариациями Soft-Max==
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:

*'''bad-soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''soft-arg-max'''<tex>\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>
*<tex>\nabla</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)=</tex>'''soft-arg-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.</tex>'''soft-arg-max'''<tex>_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''soft-max'''<tex>\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==
*В большинстве статей пишется '''soft-max''', хотя вместо этого подразумевается '''soft-arg-max'''
*'''soft-arg-max''' можно называть также как обобщённая (многомерная) сигмоида
*'''soft-arg-max''' является алгоритмом подсчёта весов для '''soft-max'''

Файл:BadSoftMax.png

2022-07-01T15:20:43Z

Betson: