首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
课程
专栏·文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
正在背八股的小鱼干很理性
量化分析
发布于广东
关注
已关注
取消关注
@球球了给我一个offer:
AI算法工程师/深度学习工程师岗位面经
记录一下面试遇到的一些题目,有的我自己写了答案,有的没写,这只是目前我能想起来的所有问题,希望可以给大家一点参考,如果我写的答案有不对的也请大家指教!1.BN和LN的区别2.什么情况下会发生梯度爆炸,如何解决(我们初始化的w是很大的数,w大到乘以激活函数的导数都大于1,那么连乘后,可能会导致求导的结果很大,形成梯度爆炸。 梯度截断:首先设置梯度阈值:clip_gradient,在后向传播中求出各参数的梯度,不直接用梯度进行参数更新,求梯度的L2范数,然后比较范数||g||与clip_gradient的大小,如果范数大,求缩放因子clip_gradient/||g||,由缩放因子可以看出梯度越大,缩放因子越小,就可以很好的控制梯度的范围。最后将梯度乘以缩放因子得到最后需要的梯度。L1范数是指向量中各个元素绝对值之和,L2范数是指向量各元素的平方和然后求平方根。2、可以通过添加正则项,避免梯度爆炸。正则化是通过对网络权重做正则限制过拟合,仔细看正则项在损失函数的形式:regularization 公式:Loss=(y−WTx)2+α∣∣W∣∣2,其中,α 是指正则项系数,因此,如果发生梯度爆炸,权值的范数就会变的非常大,通过正则化项,可以部分限制梯度爆炸的发生。 3、使用LSTM等自循环和门控制机制,避免梯度消失 4、优化激活函数,譬如将sigmold改为relu,避免梯度消失) 5、使用残差网络,避免梯度消失3.网络收敛很慢可以用什么方法解决:为了解决收敛速度慢的问题,我们可以从以下三个方面入手:数据预处理:对于训练数据,可以尝试进行数据清洗、增强、扩充等操作,以提高数据的质量,减少噪声和不平衡现象,从而帮助模型更快地收敛。优化模型:可以根据任务需求,选择合适的模型结构,避免过度复杂化,以减少计算量和训练时间。同时,可以考虑引入正则化、dropout等技术,以防止过拟合,提高模型的泛化能力。改进训练代码实现:可以选择合适的优化算法,如随机梯度下降(SGD)、Adam等,并合理设置学习率和批量大小,以加快训练速度。同时,可以尝试使用并行化、分布式等方法,利用多GPU或者多机进行训练,以提高计算效率。4.dropout为什么能起到正则化5.用了什么优化器,Adam的原理是什么,Adam为什么可以自适应调节6.数据量很大的话怎么构建图神经网络(随机游走):Mini-batch采样:将大型图数据分割为小的子图(mini-batch),然后在每个子图上进行训练。这样可以减小每个训练步骤中需要处理的数据量,降低计算和内存需求。通常,可以使用不同的采样策略(如随机采样或邻域采样)来生成子图,并在每个子图上进行训练。图剪枝和采样:对于大型稀疏图,可以通过图剪枝和采样来减少图的规模。可以根据节点的重要性、连接的强度或其他准则来剪枝图的边或节点。然后,可以根据需要对剪枝后的图进行采样,生成更小的子图进行训练。图嵌入降维:对于高维图数据,可以使用图嵌入技术将节点和边表示为低维向量。图嵌入可以通过诸如节点2vec、GraphSAGE、GCN等方法获得。通过将图数据降维为低维表示,可以减少计算和内存开销,并且可以更高效地训练图神经网络。并行计算:利用GPU和分布式计算的能力,可以在多个设备上并行处理图数据。通过将图数据分配给多个GPU或计算节点,并进行并行计算和通信,可以加速训练过程并提高效率。图网络模型的简化和优化:有时,可以对图神经网络模型进行简化和优化,以减少模型参数和计算量。例如,可以使用图卷积网络(GCN)的稀疏化技术,减少图卷积层中的参数数量,或者使用注意力机制来降低计算复杂度。近似计算:对于大型图数据,可以使用近似计算方法来加速图神经网络的训练。例如,可以使用近似的图聚合操作,或者使用近似的图卷积算子来减少计算复杂度。7.了解哪些推荐算法8.注意力机制的计算方法网络不收敛可能原因: 没有对数据进行归一化 忘记检查输入和输出 没有对数据进行预处理 没有对数据正则化 使用过大的样本 使用不正确的学习率 在输出层使用错误的激活函数 网络中包含坏梯度 初始化权重错误 过深的网络 隐藏单元数量错误 CNN和TRANSFORMER有什么区别: 一、模型结构CNN是一种基于卷积层的特征提取网络结构,主要用于图像处理领域。卷积层可以提取出图像中的空间特征,例如边缘、角点等。在卷积层后添加池化层可以进一步减小特征图的大小,降低计算量。CNN还可以通过多层卷积层和全连接层组合,实现对复杂图像的分类和识别。RNN是一种基于循环层的特征提取网络结构,主要用于处理序列数据,例如自然语言文本和时间序列数据等。循环层可以将前一个时间步的隐藏状态传递到下一个时间步,从而实现对序列数据的建模。RNN中的门控循环单元(GRU)和长短时记忆网络(LSTM)可以有效地解决梯度消失和梯度爆炸问题,提高训练效率和模型泛化能力。Transformer是一种基于自注意力机制的特征提取网络结构,主要用于自然语言处理领域。自注意力机制可以对输入序列中的每个位置进行注意力计算,从而获取全局上下文信息。Transformer中的编码器和解码器可以实现机器翻译、文本生成等任务。二、特征表示能力CNN可以通过卷积层提取出具有空间特征的特征表示,例如边缘、角点等,这些特征表示可以用于图像分类、目标检测、人脸识别等任务。RNN可以通过循环层提取出具有时序特征的特征表示,例如序列中的依赖关系和上下文信息,这些特征表示可以用于文本分类、语音识别、音乐生成等任务。Transformer可以通过多头注意力机制提取出具有上下文关联性的特征表示,例如文本中的关键词和语义信息,这些特征表示可以用于机器翻译、文本生成、问答系统等任务。三、训练效率CNN在处理大规模图像数据时训练效率较高,由于卷积层的共享权值和池化层的降采样,可以大大减小计算量和内存占用。RNN由于存在循环结构,每个时间步的计算都要依赖上一个时间步的隐藏状态,导致计算复杂度较高,而且容易出现梯度消失或梯度爆炸的问题,导致训练效率低下。Transformer采用自注意力机制进行特征提取,可以并行计算,提高训练效率。四、模型复杂度CNN和RNN在处理大规模数据时需要占用大量的内存和计算资源,尤其是在深层网络中。而Transformer在特征提取中采用了自注意力机制,避免了RNN中梯度消失和梯度爆炸问题,可以更深层次地进行特征提取,同时内存和计算资源占用也比较低。 transformer可以用于图片吗: 这是由于它的自注意力的计算复杂度是图像大小的平方,从而使计算时间和内存需求激增。相反,研究人员将这种平方计算复杂度替换为图像大小的线性计算复杂度。The Swin Transformer:实现此目的的过程非常简单。首先,像大多数计算机视觉任务一样,RGB图像被发送到网络。该图像被分解成图像块,每个图像块都被当作一个 token。这些 token 是像素本身的RGB值。与NLP进行比较,你可以看到它,因为整体图像是句子,每个图像块都是该句子的单词。自我注意力会应用到每个图像块上,这里称为窗口。然后,移动窗口从而产生新的窗口以再次应用 self-attention。同时允许跨窗口连接,从而带来更高的效率。与卷积神经网络相比,这非常有趣,因为它允许出现长距离像素关系。卷积的强大之处在于,过滤器在全局范围内使用固定的权重,从而实现了卷积的平移不变性,使其成为一个强大的广义过滤器。在自注意力中,权重不是全局固定的。相反,它们依赖于本地环境本身。因此,自注意力不仅考虑了每个像素,还考虑了它与其他像素的关系。ViT:其实很简单,原paper里首先把图像切成16*16的小块,然后再把所有小块扔进一个全连接层里,这个全连接层就可以把每个小块变成token。为什么可以这样做呢?因为全连接层(不带任何激活函数,不带bias)其实就是一个矩阵乘法。你把一个16*16=196的向量乘以一个矩阵,然后把它变成一个token,这个操作本质上和NLP里的embedding是完全一样的。Embedding就是因为one hot encoding太长太稀疏,所以需要乘以一个可学习的矩阵,把它变为一个短并且不稀疏的token。 卷积核为什么是3*3而不是2*2的: 卷积核作为一个特殊的结构,当大小为奇数的时候,方便我们确定卷积核的位置,一般情况下,卷积核在源数据上的移动是以卷积核的中心点作为基准的,这个中心点非常重要。 (1) 卷积中有一种same convolution,也就是卷积前后尺寸(高x宽)不变。实现same convolution(n + 2*padding - k + 1 = n) 。若 k 为偶数,那么padding就为奇数,就不能平均分配到卷积张量两边。(2)此外,奇数尺寸的卷积核便于用中心定位。达到相同感受野的情况下,卷积核越小,所需要的参数和计算量越小。所以2×2排除了,一般都用3×3作为卷积核的大小。1×1的卷积核不能提升感受野,不能应用在需要提升感受野的应用中,也排除了。(2)Channel数如何选取?这与特征层的大小及能抽象出来的特征数量有关,特征层池化压缩后越小,图片的潜在的东西越复杂,所需要的深度或通道数越多。 极端情况下,假设一个通道只放一个特征例如嘴的特征,那这个图如果为了做一定性能的脸部识别,有千多个特征,那深度可能要一千多个了;幸好一个通道可以不用池化压缩得太小,一个通道放多个特征也能满足卷积的要求。 什么是过拟合,怎么解决过拟合 不平衡数据怎么处理 focalloss的公式 1.准确率,精确率,召回率。AP,AUC,TPR,FPR。都是什么,有什么意义2.在比赛中如何调节的网络3.学习率的优化4.优化器的选择(ADAM,Adagrad,RMSprop的区别和优点)5.卷积中的pooling和卷积核有什么区别6.为什么大部分网络都用卷积代替池化?为什么有的网络必须用池化而不是卷积?7.卷积size的公式8.使用过opencv的什么东西9.正则化的导数?L1 L2是怎么强化网络的10.不均衡数据除了focal loss还有什么方法可以解决11.transformer的positionembedding有什么缺点,有什么改进方法12.SNN的部署,怎么从float转变为int的?在片上怎么回传的(不需要回传,使用代理梯度,每个脉冲*weight累计到therehold才传播)13.多线程和多进程
点赞 77
评论 1
全部评论
推荐
最新
楼层
秋招专场
校招火热招聘中
官网直投
相关推荐
sorano_
05-28 18:40
已编辑
门头沟学院 计算机类
快手oc啦
hr面说这就是oc电话,接受就去审批offer,正式offer大概1-2天后发放牛u们,手子oc后应该稳了吧我有兄弟腾子挂在录用评估,很害怕最后出问题附上timeline:4.15一面4.23二面5.23三面5.28hr面+oc目前等offer了base深圳部门做网络流量相关,主cpp辅go
快手开奖65人在聊
点赞
评论
收藏
转发
扬你一把面面土
05-31 20:21
已编辑
西安科技大学 计算机类
腾讯实习第4天,焦虑昏了
怎么办啊牛爷爷们,什么都不会。业务看不懂,文档看不懂,他们说的听不懂。整个人是空洞的,茫然无措。真怕被干掉,我该怎么办啊😭😭😭😭😭测开岗
投递腾讯等公司10个岗位 >
正在实习的碎碎念
点赞
评论
收藏
转发
白白白白白小白
05-24 16:42
门头沟学院 计算机类
我是傻*
我本来一直相信学校教书育人,更希望自己的学生变得好一些,商量商量准备工作做足还用偷着跑去实习? 现在发现我就是傻*
点赞
评论
收藏
转发
菜鸟冲击波
05-23 23:33
西安电子科技大学 电子信息类
25届嵌入式软件开发简历,大看看有啥问题
不玻璃心,有错就改
点赞
评论
收藏
转发
gylt
05-31 18:39
已编辑
北京大学深圳研究生院 计算机类
腾讯财经线技术岗暑期实习(已OC)
投暑期实习投的有点晚,不知道还能不能去腾讯实习了,因为想在深圳实习所以基本只投了深圳的实习。时间线:5.13 简历投递5.17 一面5.23 二面5.27 hr面问了hr说是一周之内出结果,但是现在官网流程上还是hr面试链接的状态。有些折磨都没心思干正事了。。。5.30 早十点收到了邮件和短信提醒信息验证,应该是云证,然后hr加了微信,同时官网流程变为了录用评估中5.31 下午4:30接到hr微信电话OC,说预计今天或者明天发offer邮件 下午6:30收到邮件确定签约前面忘了后面忘了,大雪覆盖前半生的荒凉
点赞
评论
收藏
转发
点赞
收藏
评论
分享
回复帖子
提到的真题
返回内容
全站热榜
1
...
给你们预测一下今年的秋招!
3141
2
...
海康暑期实习
2382
3
...
【🎁】25届硬件牛牛互助计划(1期)
2353
4
...
阿里体检完还没发正式offer
2325
5
...
深圳蟑螂真的很可怕吗
2149
6
...
5.31拼多多服务端开发实习生一面(75min)
2006
7
...
毕业了!
1886
8
...
拿了蓝桥杯c++b组国二,水平怎么样,找后端开发工作有多大优势?
1834
9
...
momenta 实习 C++ 一面
1769
10
...
大佬们帮选一下offer
1570
正在热议
#
和牛牛一起刷题打卡
#
13954次浏览
1286人参与
#
通信硬件薪资爆料
#
256193次浏览
2411人参与
#
不去互联网可以去金融科技
#
4265次浏览
59人参与
#
牛客帮帮团来啦!有问必答
#
1093716次浏览
16327人参与
#
面试被问第一学历差时该怎么回答
#
18280次浏览
199人参与
#
简历中的项目经历要怎么写?
#
14317次浏览
191人参与
#
工作两年想退休了
#
19301次浏览
241人参与
#
简历中的项目经历要怎么写
#
482137次浏览
8763人参与
#
实习生应该准时下班吗
#
93303次浏览
705人参与
#
你收到了团子的OC了吗
#
530861次浏览
6297人参与
#
简历无回复,你会继续海投还是优化再投?
#
23477次浏览
329人参与
#
你已经投递多少份简历了
#
338619次浏览
4905人参与
#
你怎么评价今年的春招?
#
12464次浏览
193人参与
#
晒一晒我的offer
#
3771542次浏览
58073人参与
#
我的上岸简历长这样
#
202532次浏览
4099人参与
#
担心入职之后被发现很菜怎么办
#
39618次浏览
328人参与
#
本周投递记录
#
221033次浏览
5380人参与
#
我想象的工作vs实际工作
#
105777次浏览
1700人参与
#
硬件人的简历怎么写
#
81838次浏览
849人参与
#
产品人求职现状
#
56853次浏览
823人参与
#
工作压力大怎么缓解
#
12608次浏览
176人参与
牛客网
牛客企业服务