首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
地平线xx
算法工程师
发布于广东
关注
已关注
取消关注
@球球了给我一个offer:
AI算法工程师/深度学习工程师岗位面经
记录一下面试遇到的一些题目,有的我自己写了答案,有的没写,这只是目前我能想起来的所有问题,希望可以给大家一点参考,如果我写的答案有不对的也请大家指教!1.BN和LN的区别2.什么情况下会发生梯度爆炸,如何解决(我们初始化的w是很大的数,w大到乘以激活函数的导数都大于1,那么连乘后,可能会导致求导的结果很大,形成梯度爆炸。 梯度截断:首先设置梯度阈值:clip_gradient,在后向传播中求出各参数的梯度,不直接用梯度进行参数更新,求梯度的L2范数,然后比较范数||g||与clip_gradient的大小,如果范数大,求缩放因子clip_gradient/||g||,由缩放因子可以看出梯度越大,缩放因子越小,就可以很好的控制梯度的范围。最后将梯度乘以缩放因子得到最后需要的梯度。L1范数是指向量中各个元素绝对值之和,L2范数是指向量各元素的平方和然后求平方根。2、可以通过添加正则项,避免梯度爆炸。正则化是通过对网络权重做正则限制过拟合,仔细看正则项在损失函数的形式:regularization 公式:Loss=(y−WTx)2+α∣∣W∣∣2,其中,α 是指正则项系数,因此,如果发生梯度爆炸,权值的范数就会变的非常大,通过正则化项,可以部分限制梯度爆炸的发生。 3、使用LSTM等自循环和门控制机制,避免梯度消失 4、优化激活函数,譬如将sigmold改为relu,避免梯度消失) 5、使用残差网络,避免梯度消失3.网络收敛很慢可以用什么方法解决:为了解决收敛速度慢的问题,我们可以从以下三个方面入手:数据预处理:对于训练数据,可以尝试进行数据清洗、增强、扩充等操作,以提高数据的质量,减少噪声和不平衡现象,从而帮助模型更快地收敛。优化模型:可以根据任务需求,选择合适的模型结构,避免过度复杂化,以减少计算量和训练时间。同时,可以考虑引入正则化、dropout等技术,以防止过拟合,提高模型的泛化能力。改进训练代码实现:可以选择合适的优化算法,如随机梯度下降(SGD)、Adam等,并合理设置学习率和批量大小,以加快训练速度。同时,可以尝试使用并行化、分布式等方法,利用多GPU或者多机进行训练,以提高计算效率。4.dropout为什么能起到正则化5.用了什么优化器,Adam的原理是什么,Adam为什么可以自适应调节6.数据量很大的话怎么构建图神经网络(随机游走):Mini-batch采样:将大型图数据分割为小的子图(mini-batch),然后在每个子图上进行训练。这样可以减小每个训练步骤中需要处理的数据量,降低计算和内存需求。通常,可以使用不同的采样策略(如随机采样或邻域采样)来生成子图,并在每个子图上进行训练。图剪枝和采样:对于大型稀疏图,可以通过图剪枝和采样来减少图的规模。可以根据节点的重要性、连接的强度或其他准则来剪枝图的边或节点。然后,可以根据需要对剪枝后的图进行采样,生成更小的子图进行训练。图嵌入降维:对于高维图数据,可以使用图嵌入技术将节点和边表示为低维向量。图嵌入可以通过诸如节点2vec、GraphSAGE、GCN等方法获得。通过将图数据降维为低维表示,可以减少计算和内存开销,并且可以更高效地训练图神经网络。并行计算:利用GPU和分布式计算的能力,可以在多个设备上并行处理图数据。通过将图数据分配给多个GPU或计算节点,并进行并行计算和通信,可以加速训练过程并提高效率。图网络模型的简化和优化:有时,可以对图神经网络模型进行简化和优化,以减少模型参数和计算量。例如,可以使用图卷积网络(GCN)的稀疏化技术,减少图卷积层中的参数数量,或者使用注意力机制来降低计算复杂度。近似计算:对于大型图数据,可以使用近似计算方法来加速图神经网络的训练。例如,可以使用近似的图聚合操作,或者使用近似的图卷积算子来减少计算复杂度。7.了解哪些推荐算法8.注意力机制的计算方法网络不收敛可能原因: 没有对数据进行归一化 忘记检查输入和输出 没有对数据进行预处理 没有对数据正则化 使用过大的样本 使用不正确的学习率 在输出层使用错误的激活函数 网络中包含坏梯度 初始化权重错误 过深的网络 隐藏单元数量错误 CNN和TRANSFORMER有什么区别: 一、模型结构CNN是一种基于卷积层的特征提取网络结构,主要用于图像处理领域。卷积层可以提取出图像中的空间特征,例如边缘、角点等。在卷积层后添加池化层可以进一步减小特征图的大小,降低计算量。CNN还可以通过多层卷积层和全连接层组合,实现对复杂图像的分类和识别。RNN是一种基于循环层的特征提取网络结构,主要用于处理序列数据,例如自然语言文本和时间序列数据等。循环层可以将前一个时间步的隐藏状态传递到下一个时间步,从而实现对序列数据的建模。RNN中的门控循环单元(GRU)和长短时记忆网络(LSTM)可以有效地解决梯度消失和梯度爆炸问题,提高训练效率和模型泛化能力。Transformer是一种基于自注意力机制的特征提取网络结构,主要用于自然语言处理领域。自注意力机制可以对输入序列中的每个位置进行注意力计算,从而获取全局上下文信息。Transformer中的编码器和解码器可以实现机器翻译、文本生成等任务。二、特征表示能力CNN可以通过卷积层提取出具有空间特征的特征表示,例如边缘、角点等,这些特征表示可以用于图像分类、目标检测、人脸识别等任务。RNN可以通过循环层提取出具有时序特征的特征表示,例如序列中的依赖关系和上下文信息,这些特征表示可以用于文本分类、语音识别、音乐生成等任务。Transformer可以通过多头注意力机制提取出具有上下文关联性的特征表示,例如文本中的关键词和语义信息,这些特征表示可以用于机器翻译、文本生成、问答系统等任务。三、训练效率CNN在处理大规模图像数据时训练效率较高,由于卷积层的共享权值和池化层的降采样,可以大大减小计算量和内存占用。RNN由于存在循环结构,每个时间步的计算都要依赖上一个时间步的隐藏状态,导致计算复杂度较高,而且容易出现梯度消失或梯度爆炸的问题,导致训练效率低下。Transformer采用自注意力机制进行特征提取,可以并行计算,提高训练效率。四、模型复杂度CNN和RNN在处理大规模数据时需要占用大量的内存和计算资源,尤其是在深层网络中。而Transformer在特征提取中采用了自注意力机制,避免了RNN中梯度消失和梯度爆炸问题,可以更深层次地进行特征提取,同时内存和计算资源占用也比较低。 transformer可以用于图片吗: 这是由于它的自注意力的计算复杂度是图像大小的平方,从而使计算时间和内存需求激增。相反,研究人员将这种平方计算复杂度替换为图像大小的线性计算复杂度。The Swin Transformer:实现此目的的过程非常简单。首先,像大多数计算机视觉任务一样,RGB图像被发送到网络。该图像被分解成图像块,每个图像块都被当作一个 token。这些 token 是像素本身的RGB值。与NLP进行比较,你可以看到它,因为整体图像是句子,每个图像块都是该句子的单词。自我注意力会应用到每个图像块上,这里称为窗口。然后,移动窗口从而产生新的窗口以再次应用 self-attention。同时允许跨窗口连接,从而带来更高的效率。与卷积神经网络相比,这非常有趣,因为它允许出现长距离像素关系。卷积的强大之处在于,过滤器在全局范围内使用固定的权重,从而实现了卷积的平移不变性,使其成为一个强大的广义过滤器。在自注意力中,权重不是全局固定的。相反,它们依赖于本地环境本身。因此,自注意力不仅考虑了每个像素,还考虑了它与其他像素的关系。ViT:其实很简单,原paper里首先把图像切成16*16的小块,然后再把所有小块扔进一个全连接层里,这个全连接层就可以把每个小块变成token。为什么可以这样做呢?因为全连接层(不带任何激活函数,不带bias)其实就是一个矩阵乘法。你把一个16*16=196的向量乘以一个矩阵,然后把它变成一个token,这个操作本质上和NLP里的embedding是完全一样的。Embedding就是因为one hot encoding太长太稀疏,所以需要乘以一个可学习的矩阵,把它变为一个短并且不稀疏的token。 卷积核为什么是3*3而不是2*2的: 卷积核作为一个特殊的结构,当大小为奇数的时候,方便我们确定卷积核的位置,一般情况下,卷积核在源数据上的移动是以卷积核的中心点作为基准的,这个中心点非常重要。 (1) 卷积中有一种same convolution,也就是卷积前后尺寸(高x宽)不变。实现same convolution(n + 2*padding - k + 1 = n) 。若 k 为偶数,那么padding就为奇数,就不能平均分配到卷积张量两边。(2)此外,奇数尺寸的卷积核便于用中心定位。达到相同感受野的情况下,卷积核越小,所需要的参数和计算量越小。所以2×2排除了,一般都用3×3作为卷积核的大小。1×1的卷积核不能提升感受野,不能应用在需要提升感受野的应用中,也排除了。(2)Channel数如何选取?这与特征层的大小及能抽象出来的特征数量有关,特征层池化压缩后越小,图片的潜在的东西越复杂,所需要的深度或通道数越多。 极端情况下,假设一个通道只放一个特征例如嘴的特征,那这个图如果为了做一定性能的脸部识别,有千多个特征,那深度可能要一千多个了;幸好一个通道可以不用池化压缩得太小,一个通道放多个特征也能满足卷积的要求。 什么是过拟合,怎么解决过拟合 不平衡数据怎么处理 focalloss的公式 1.准确率,精确率,召回率。AP,AUC,TPR,FPR。都是什么,有什么意义2.在比赛中如何调节的网络3.学习率的优化4.优化器的选择(ADAM,Adagrad,RMSprop的区别和优点)5.卷积中的pooling和卷积核有什么区别6.为什么大部分网络都用卷积代替池化?为什么有的网络必须用池化而不是卷积?7.卷积size的公式8.使用过opencv的什么东西9.正则化的导数?L1 L2是怎么强化网络的10.不均衡数据除了focal loss还有什么方法可以解决11.transformer的positionembedding有什么缺点,有什么改进方法12.SNN的部署,怎么从float转变为int的?在片上怎么回传的(不需要回传,使用代理梯度,每个脉冲*weight累计到therehold才传播)13.多线程和多进程
点赞 77
评论 1
全部评论
推荐
最新
楼层
还没有回复哦~
相关推荐
17号列车
05-22 23:38
门头沟学院 生态学类
顺丰 深信服 如何选
求帮助
投递深信服等公司10个岗位 >
在找工作求抱抱
点赞
评论
收藏
转发
神奇的小鱼
05-23 20:29
已编辑
门头沟学院 计算机类
求助帮选offer!快手还是字节
bg 9本,技术栈java为主,客户端要学新东西。24春招非实习快手是主站客户端,字节是抖音电商后端开发按岗位前途和平台应该都是字节稍好一些,但是楼主家在北京,在北京的话有外公外婆妈妈舅舅小姨等一大串亲戚,周末可以回家吃饭(家离西二旗地铁一个半小时,所以打算租房)去上海字节就一个人单打独斗了,但是真的很放不下字节,求帮选两个城市都没有户口需求,家庭中产不富裕还有工作两年再留学读研的想法,但是没定引流:腾讯 字节跳动 抖音 阿里 快手 百度 美团 网易
timeErrors:要是快手也是后端就无脑快手了,我主要是感觉学这么多东西比较折磨,但家里也是北京真的很诱惑,入职后感觉比较忌讳学完全不会的东西的,这样很容易拖垮自己的OKR,就一边学习完全不会的一边做公司需求,感觉很累
投递快手等公司10个岗位 >
牛客帮帮团来啦!有问必答
牛客在线求职答疑中心
点赞
评论
收藏
转发
牛客644521318号
05-27 14:32
已编辑
山西传媒学院
有没有3D建模的朋友指点一下啊啊啊啊想找工作 #在找工作求抱抱#
在找工作求抱抱
点赞
评论
收藏
转发
腾讯内推找我
05-23 17:22
腾讯_高级技术专家
求求大家投下我们腾讯吧-发的好多sp鸽麻了
想来腾讯的,扫我内推码投递,然后牛客私信我,我帮忙推进面试。如果遇到自己投递的无法内推的也可以牛客私信我,我推进。全流程推进,大家想来腾讯牛客私信我就行 #腾讯校招#
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
毕业第一课之租房攻略
3.7W
2
...
【奖】这个夏天🍉,和牛牛一起打卡刷题~
2.6W
3
...
2024华为-硬件面试题目汇总
1.8W
4
...
拼多多一面
9487
5
...
25暑期实习的心态变化 & 拥抱变化
6861
6
...
为什么都在劝退计算机国企?
5123
7
...
回首向来萧瑟处,也无风雨也无晴
4348
8
...
仰卧起坐了几个月才找到一个实习,但还是不满意。想着就这样吧,就约朋友一起去逛宜家,到了出发前两天觉得单独去太尴尬了,临时说要不要再喊一个朋友一起去,好玩一点。到了当天几乎是全程发呆,自闭。打车的时候她
4229
9
...
想知道双非的学长学姐都在简历上写什么进大厂了
4222
10
...
不要再外卖点评了
4199
正在热议
#
和牛牛一起刷题打卡
#
5450次浏览
487人参与
#
机械制造薪资爆料
#
342397次浏览
4061人参与
#
牛客帮帮团来啦!有问必答
#
998475次浏览
15400人参与
#
通信硬件薪资爆料
#
243850次浏览
2300人参与
#
来选选带哪个offer回家过年
#
186672次浏览
1786人参与
#
腾讯工作体验
#
147463次浏览
1411人参与
#
你觉得机械有必要实习吗
#
10584次浏览
147人参与
#
如何写一份好简历
#
302607次浏览
4348人参与
#
秋招开了,你想投哪些公司呢
#
130298次浏览
3395人参与
#
实习必须要去大厂吗?
#
18668次浏览
266人参与
#
你的简历改到第几版了
#
324066次浏览
4877人参与
#
找工作时遇到的神仙HR
#
198227次浏览
1862人参与
#
机械制造2024笔面经
#
411649次浏览
6063人参与
#
正在实习的你,有转正机会吗?
#
115044次浏览
1122人参与
#
毕业租房也有小确幸
#
33235次浏览
2108人参与
#
0offer互助地
#
54021次浏览
563人参与
#
为什么国企只招应届生
#
56562次浏览
412人参与
#
2022毕业生求职现身说法
#
20982次浏览
313人参与
#
2022届毕业生现状
#
338293次浏览
4603人参与
#
夸夸我的求职搭子
#
69223次浏览
839人参与
牛客网
牛客企业服务