SoftMax и SoftArgMax — различия между версиями

Материал из Викиконспекты
Перейти к: навигация, поиск
(Связь между вариациями SoftMax)
м (rollbackEdits.php mass rollback)
 
(не показано 6 промежуточных версий 2 участников)
Строка 21: Строка 21:
 
*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
 
*<tex>L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}</tex>
 
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
 
*Модель <tex>a</tex>, возвращающая <tex>L_{i}</tex>, после преобразования будет возвращать <tex>p_{i}</tex> и останется дифференцируемой
*<tex>p =\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( L \right )</tex>
+
*<tex>p =softArgMax\left ( L \right )</tex>
  
Пусть <tex>y = \boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x \right )</tex>, тогда:
+
Пусть <tex>y = softArgMax\left ( x \right )</tex>, тогда:
  
 
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
 
<tex>\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases}
Строка 30: Строка 30:
 
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>
 
\end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )</tex>
  
У <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>\boldsymbol{\mathbf{arg{\text -}max}}</tex>.
+
У <tex>softArgMax</tex> такое название, так как это, по сути, гладкая аппроксимация модифицированного <tex>argMax</tex>.
  
 
===Свойства SoftArgMax===
 
===Свойства SoftArgMax===
 
*Вычисляет по вектору чисел вектор с распределением вероятностей
 
*Вычисляет по вектору чисел вектор с распределением вероятностей
 
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
 
*Можно интерпретировать как вероятность нахождения максимума в <tex>i</tex>-й координате
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x - c,y-c,z-c\right )=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left ( x,y,z\right )</tex>
+
*<tex>softArgMax\left ( x - c,y-c,z-c\right )=softArgMax\left ( x,y,z\right )</tex>
 
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
 
*Предыдущее свойство используют для устойчивости вычислений при <tex>c=max\left ( x,y,z \right )</tex>
*<tex>soft{\text -}arg{\text -}max</tex> {{---}} частный случай сигмоиды. <tex>soft{\text -}arg{\text -}max\left(y, 0\right) = \sigma \left(y\right)</tex>
+
*<tex>softArgMax</tex> {{---}} частный случай сигмоиды. <tex>softArgMax\left(y, 0\right) = \sigma \left(y\right)</tex>
  
 
===Модификация SoftArgMax===
 
===Модификация SoftArgMax===
<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>
+
<tex>softArgMax_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}</tex>
  
Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.
+
Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое <tex>softArgMax</tex>. Чем больше параметр <tex>t</tex>, тем больше получаемые вероятности будут похожи на равномерное распределение.
  
 
==SoftMax==
 
==SoftMax==
Строка 48: Строка 48:
 
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
 
[[File:BadSoftMax.png|200px|thumb|Плохой SoftMax (помечен красным)]]
 
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
 
[[File:GoodSoftMax.png|200px|thumb|Хороший SoftMax (помечен оранжевым)]]
Зададим функцию <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> таким образом:
+
Зададим функцию <tex>softMax</tex> таким образом:
  
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x,  \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right )  \right \rangle</tex>
+
<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x,  \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right )  \right \rangle</tex>
  
 
Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:
 
Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса {{---}} экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:
  
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( a,a,a\right ) = a</tex>
+
*<tex>softMax\left ( a,a,a\right ) = a</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x+a,y+a,z+a\right ) =\boldsymbol{\mathbf{soft{\text -}max}}\left ( x,y,z\right ) + a</tex>
+
*<tex>softMax\left ( x+a,y+a,z+a\right ) =softMax\left ( x,y,z\right ) + a</tex>
  
Заданный выше <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.
+
Заданный выше <tex>softMax</tex> {{---}} «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.
  
 
===Хороший SoftMax===
 
===Хороший SoftMax===
<tex>\boldsymbol{\mathbf{soft{\text -}max}}\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>
+
<tex>softMax\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)</tex>
  
*Не сохраняется свойство <tex>\boldsymbol{\mathbf{soft{\text -}max}}\left(a,a,a\right)=a</tex>
+
*Не сохраняется свойство <tex>softMax\left(a,a,a\right)=a</tex>
*Производная равна <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
+
*Производная равна <tex>softArgMax</tex>
  
 
В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.
 
В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.
  
 
==Связь между вариациями SoftMax==
 
==Связь между вариациями SoftMax==
Обозначим «плохой» <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex> как <tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}</tex>. Тогда:
+
Обозначим «плохой» <tex>softMax</tex> как <tex>badSoftMax</tex>. Тогда:
  
*<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x,  \right .\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left . \left (x_{1},\ldots,x_{n} \right )  \right \rangle</tex>
+
*<tex>badSoftMax\left(x_{1},\ldots,x_{n}\right)=\left \langle x,  \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right )  \right \rangle</tex>
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
+
*<tex>\nabla softMax\left(x_{1},\ldots,x_{n}\right)=softArgMax\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
+
*<tex>\log\left(\right.softArgMax_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -softMax\left(x_{1},\ldots,x_{n}\right)</tex>
  
Для подсчёта, например, перекрёстной энтропии необходимо брать логарифм от вероятности <tex>p_{i}</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.
+
Для подсчёта, например, перекрёстной энтропии, необходимо вычислить <tex>\log\left(p_{i}\right)</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(p_{i}\right)</tex>, когда <tex>p_{i} = 0</tex>.
  
 
==Примечания==
 
==Примечания==
*В большинстве статей пишется <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>, хотя вместо этого подразумевается <tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex>
+
*В большинстве статей пишется <tex>softMax</tex>, хотя вместо этого подразумевается <tex>softArgMax</tex>
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> можно называть также как обобщённая (многомерная) сигмоида
+
*<tex>softArgMax</tex> можно называть также как обобщённая (многомерная) сигмоида
*<tex>\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}</tex> является алгоритмом подсчёта весов для <tex>\boldsymbol{\mathbf{soft{\text -}max}}</tex>
+
*<tex>softArgMax</tex> является алгоритмом подсчёта весов для <tex>softMax</tex>
 
==Источники==
 
==Источники==
 
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]
 
# [https://www.youtube.com/watch?v=mlPNUbaphZA&ab_channel=MLLabITMO Лекция 7. Байесовские методы А. Забашта]

Текущая версия на 19:27, 4 сентября 2022

SoftArgMax

Постановка задачи

Пусть есть задача мягкой классификации:

Алгоритм выдает значения [math]L_{1}, L_{2},\ldots, L_{n}[/math], где [math]n[/math] — число классов.

[math]L_{i}[/math] — уверенность алгоритма в том, что объект принадлежит классу [math]i[/math], [math]L_{i} \in \left [ -\infty, +\infty\right ][/math]

Для этих значений необходимо найти такие [math]p_{1},\ldots,p_{n}[/math], что:

  • [math]p_{i} \in \left [ 0, 1\right ][/math]
  • [math]\sum_{i}p_{i}=1[/math]

То есть [math]p_{1},\ldots,p_{n}[/math] — распределение вероятностей

Для этого выполним преобразование:

[math]p_{i} = \frac{\exp\left(L_{i}\right)}{\sum_{i}\exp\left(L_{i}\right)}[/math]

Тогда выполняется следующее:

  • [math]L_{i} \leqslant L_{j} \implies p_{i} \leqslant p_{j}[/math]
  • Модель [math]a[/math], возвращающая [math]L_{i}[/math], после преобразования будет возвращать [math]p_{i}[/math] и останется дифференцируемой
  • [math]p =softArgMax\left ( L \right )[/math]

Пусть [math]y = softArgMax\left ( x \right )[/math], тогда:

[math]\frac{\partial y_{i}}{\partial x_{j}} = \begin{cases} &y_{i}\left ( 1 - y_{j} \right ),~i = j \\ &-y_{i}\cdot y_{j},~~~~~~i \neq j \end{cases} = y_{i}\left ( I\left [ i = j \right ] - y_{j}\right )[/math]

У [math]softArgMax[/math] такое название, так как это, по сути, гладкая аппроксимация модифицированного [math]argMax[/math].

Свойства SoftArgMax

  • Вычисляет по вектору чисел вектор с распределением вероятностей
  • Можно интерпретировать как вероятность нахождения максимума в [math]i[/math]-й координате
  • [math]softArgMax\left ( x - c,y-c,z-c\right )=softArgMax\left ( x,y,z\right )[/math]
  • Предыдущее свойство используют для устойчивости вычислений при [math]c=max\left ( x,y,z \right )[/math]
  • [math]softArgMax[/math] — частный случай сигмоиды. [math]softArgMax\left(y, 0\right) = \sigma \left(y\right)[/math]

Модификация SoftArgMax

[math]softArgMax_{t}\left(x\right)=\frac{\exp\left(\frac{x_{i}}{t}\right)}{\sum\exp\left(\frac{x_{j}}{t}\right)}[/math]

Данная модификация полезна, когда необходимо контролировать распределение вероятностей, получаемое [math]softArgMax[/math]. Чем больше параметр [math]t[/math], тем больше получаемые вероятности будут похожи на равномерное распределение.

SoftMax

Плохой SoftMax

Плохой SoftMax (помечен красным)
Хороший SoftMax (помечен оранжевым)

Зададим функцию [math]softMax[/math] таким образом:

[math]softMax\left ( x_{1},\ldots,x_{n}\right ) = \frac{x_{i}~\cdot~\exp \left ( x_{i} \right )}{\sum_{j}\exp \left( x_{j} \right )} = \left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle[/math]

Гладкая аппроксимация максимума. Математическое ожидание или средневзвешенное, где веса — экспоненты значений соответствующих элементов. Сохраняет некоторые свойства максимума:

  • [math]softMax\left ( a,a,a\right ) = a[/math]
  • [math]softMax\left ( x+a,y+a,z+a\right ) =softMax\left ( x,y,z\right ) + a[/math]

Заданный выше [math]softMax[/math] — «плохой» в связи с тем, что мы считаем средневзвешенное значение, которое всегда будет меньше максимума, что приведёт к проблемам с поиском максимума.

Хороший SoftMax

[math]softMax\left ( x_{1},\ldots,x_{n}\right ) = \log\left(\sum_{i}\exp\left(x_{i}\right)\right)[/math]

  • Не сохраняется свойство [math]softMax\left(a,a,a\right)=a[/math]
  • Производная равна [math]softArgMax[/math]

В этом случае сохраняется монотонность, значит, не возникнет проблем с поиском минимума и максимума.

Связь между вариациями SoftMax

Обозначим «плохой» [math]softMax[/math] как [math]badSoftMax[/math]. Тогда:

  • [math]badSoftMax\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .softArgMax\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle[/math]
  • [math]\nabla softMax\left(x_{1},\ldots,x_{n}\right)=softArgMax\left(x_{1},\ldots,x_{n}\right)[/math]
  • [math]\log\left(\right.softArgMax_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -softMax\left(x_{1},\ldots,x_{n}\right)[/math]

Для подсчёта, например, перекрёстной энтропии, необходимо вычислить [math]\log\left(p_{i}\right)[/math]. Последнее свойство позволяет вычислять производную от [math]\log\left(p_{i}\right)[/math], когда [math]p_{i} = 0[/math].

Примечания

  • В большинстве статей пишется [math]softMax[/math], хотя вместо этого подразумевается [math]softArgMax[/math]
  • [math]softArgMax[/math] можно называть также как обобщённая (многомерная) сигмоида
  • [math]softArgMax[/math] является алгоритмом подсчёта весов для [math]softMax[/math]

Источники

  1. Лекция 7. Байесовские методы А. Забашта
  2. Лекция 7. Автоматическое дифференцирование и нейронные сети С. Муравьёв