46
правок
Изменения
→Связь между вариациями Soft-Max
Обозначим "плохой" '''soft-max''' как '''bad-soft-max'''. Тогда:
*'''<tex>\boldsymbol{\mathbf{bad{\text -}soft{\text -}max'''<tex>}}\left(x_{1},\ldots,x_{n}\right)=\left \langle x, \right .</tex>'''\boldsymbol{\mathbf{soft{\text -}arg{\text -}max'''<tex>}}\left . \left (x_{1},\ldots,x_{n} \right ) \right \rangle</tex>*<tex>\nabla</tex>'''\boldsymbol{\mathbf{soft{\text -}max'''<tex>}}\left(x_{1},\ldots,x_{n}\right)=</tex> '''\boldsymbol{\mathbf{soft{\text -}arg{\text -}max'''<tex>}}\left(x_{1},\ldots,x_{n}\right)</tex>*<tex>\log\left(\right.</tex>'''\boldsymbol{\mathbf{soft{\text -}arg{\text -}max'''<tex>}}_{i}\left(x_{1},\ldots,x_{n}\right)\left.\right) = x_{i} -</tex>'''\boldsymbol{\mathbf{soft{\text -}max'''<tex>}}\left(x_{1},\ldots,x_{n}\right)</tex>
==Примечания==