[深度思考]·证明softmax不受输入的数据偏移影响

证明softmax不受输入的常数偏移影响,即softmax(x)=softmax(x+c) 也就是证明加了偏移c之后,对整个softmax层的作用不起影响。

小宋是呢

[深度思考]·证明softmax不受输入的数据偏移影响

证明softmax不受输入的常数偏移影响,即softmax(x)=softmax(x+c)

也就是证明加了偏移c之后,对整个softmax层的作用不起影响。如下:



20190425125303265.jpg

这有什么用处?

可以有效防止数据溢出


如何应用?


v2-02b14afaef92e51ba5ba8efb5201813a_hd.png


对任意a都成立,这意味着我们可以自由地调节指数函数的指数部分,一个典型的做法是取 x_{1}、x_{2}....x_{n}中的最大值:a=max{x1,x2.....xn}

这可以保证指数最大不会超过0,于是你就不会上溢出。即便剩余的部分下溢出了,加了a之后,也能得到一个合理的值。




评论列表

2019-05-06 11:58 @ wujianqinjian :

挺赞!虽然数学部分看不懂!

2019-05-06 21:21 @ 小宋是呢 :

@ wujianqinjian 其实原理很简单的,我数学一般也可以推导出来的。。

新的评论

上一篇:
下一篇: 没有了