46
правок
Изменения
→Связь между вариациями SoftMax
*<tex>\log\left(\right.\boldsymbol{\mathbf{soft{\text -}arg{\text -}max}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -\boldsymbol{\mathbf{soft{\text -}max}}\left(x_{1},\ldots,x_{n}\right)</tex>
Для подсчёта, например, перекрёстной энтропии необходимо брать логарифм от вероятности <tex>p_{i}</tex>. Последнее свойство позволяет вычислять производную от <tex>\log\left(\right.soft{\text -}arg{\text -}max_p_{i}\left(x_{1}right)</tex>,\ldots,x_когда <tex>p_{ni}\right)\left.\right)= 0</tex>, избегая сингулярности при делении на ноль.
==Примечания==
