46
правок
Изменения
→Связь между вариациями SoftMax
*<tex>\nabla\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)=\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
Последнее свойство позволяет вычислять производную от <tex>\log\left(\right.soft{\text -}arg{\text -}max_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right)</tex>, избегая сингулярности при делении на ноль.
==Примечания==
