关于深度学习面试问题
之前面试深度学习岗，问到了的题目觉得答案不太清楚，麻烦各位大佬评论区讨论；
1. batch Norm层有什么缺点（按面试官提示跟batch有关系），优点很明显；
2. FC层链接的神经元，前面有1000个神经元，后面输出了1M（兆）个类别，从而存储参数达到了4G，如何降低参数个数？
3.既然核函数是一种映射，为什么只有高斯核，拉普拉斯核，线性核，其他的核函数映射为什么不行？
#阿里巴巴##腾讯##百度##算法工程师#
2017-09-08 15:32 已编辑 算法工程师
关注
全部评论
牛客7311123 楼主
楼主 算法工程师
对于问题二， 在存储时，做矩阵UV分解，稀疏存储方法； 在计算时，做SVD分解，取主要成分，添加一层可以降低参数个数；做类似于group conv的操作，可以降低参数个数； 还有其他方法吗？
送花
回复
分享
牛客7311123 楼主
楼主 算法工程师
第三题，核函数还有更高层的抽象意义么
送花
回复
分享
滴滴
校招火热招聘中
官网直投
西瓜肚子疼
C++
问题一， 我感觉BN强行对每层特征都中心化可能并不是一个绝对正确的先验吧。 按batch来讲的话，如果batch太小，用moving average去估计global average的偏差可能会比较大，或者数据本身冗余太大， global variance的偏差会比较大。 问题二，会不会和重要采样之类的东西有关啊，这么大的类别输出，你softmax 都很难求。 问题三，核函数的话，我记得有个理论说只要kernel满足某些条件就有一个内积结构与之对应(西瓜书上好像有)，所以这个题目会不会有点问题？
送花
回复
分享
收割不到offer的收割机
中国铁道科学研究院
第二题 可以用稀疏加低秩矩阵 第三题 只要满足半正定则可，为的是使得对偶函数为凸，高手可自己构建矩阵。
送花
回复
分享
rommelyy
算法工程师
核函数不仅仅是到高维空间的映射，还要做内积，因此需要满足一定的条件
送花
回复
分享
相关推荐
蚂蚁集团一面112人在聊 点赞 评论 收藏
转发
点赞 评论 收藏
转发
点赞 评论 收藏
转发