深度学习面经-推荐算法系列

一、简介

搜广推算法在各大互联网公司中承担着重要的流量转化的作用,其中推荐算法作为一个重要分支,它旨在为用户提供个性化的推荐内容,以提高用户体验和满足他们的需求。推荐算法的应用范围非常广泛,包括电子商务、社交媒体、音乐和视频流媒体、新闻推荐等各个领域。以下是一些可能出现在推荐算法系列面试中的主题和问题,面经请关注专栏:小白机器学习面试指南。持续更新中。

二、面经及参考回答

1、你了解的常见的召回策略,算法有哪些?

参考回答:召回算法用于从大规模数据集中快速筛选出一组候选项,以供后续的排序和推荐处理。常见的召回有下面几种:

基于内容的召回:基于物品的内容召回:使用物品的属性和特征,如文本、标签或图像,来计算物品之间的相似度,以推荐相似的物品。

基于用户的内容召回:分析用户的历史行为和个人资料,以确定他们对内容的兴趣,并为其推荐相关内容。

协同过滤召回:基于用户的协同过滤:根据用户与其他用户的相似性,为目标用户推荐与相似用户喜欢的物品。基于物品的协同过滤:根据物品之间的相似性,为用户推荐与他们以前喜欢的物品相似的物品。

矩阵分解:矩阵分解方法,如奇异值分解(SVD)和交替最小二乘(ALS),用于将用户-物品交互矩阵分解为潜在因子矩阵,以捕捉用户和物品之间的潜在关系。这些方法通常用于协同过滤。

基于流行度的召回:流行度召回方法会根据物品的全局流行度为用户推荐物品。这意味着用户将看到最热门的物品,无论他们的兴趣如何。

基于规则的召回:基于规则的召回使用预定义的规则来选择候选物品。这些规则可以是手动制定的,也可以通过机器学习方法自动学习得出。在业务迭代初期,一般会使用这种召回方法;

深度学习召回:使用深度学习模型(如神经网络)进行召回,这些模型可以从用户历史数据中学习用户和物品之间的复杂关系,以生成召回结果。

多通道召回:使用多个不同的召回算法,并将它们的结果合并或加权,以提高推荐的多样性和准确性。

2、协同过滤存在什么问题?

参考回答:泛化能力弱。即协同过滤无法将两个物品相似的信息推广到其他物品的相似性上。导致的问题是热门物品具有很强的头部效应,容易跟大量物品产生相似,而尾部物品由于特征向量稀疏,导致很少被推荐。协同过滤的特点就是完全没有利用到物品本身或者是用户自身的属性,仅仅利用了用户与物品的交互信息就可以实现推荐,比较简单高效,但这也是它的一个短板所在,由于无法有效的引入用户年龄,性别,商品描述,商品分类,当前时间,地点等一系列用户特征、物品特征和上下文特征,这就造成了有效信息的遗漏,不能充分利用其它特征数据。

3、协同过滤有哪些可以改进的?

参考回答:加一些参数权重对热门物品,以及活跃用户进行一些惩罚。或者利用矩阵分解,使用更稠密的隐向量表示用户和物品,挖掘用户和物品的隐含兴趣和隐含特征。

4、什么时候使用UserCF,什么时候使用ItemCF?为什么?

参考回答:UserCF:由于是基于用户相似度进行推荐,所以具备更强的社交特性,这样的特点非常适于用户少,物品多,时效性较强的场合,比如新闻推荐场景,因为新闻本身兴趣点分散,相比用户对不同新闻的兴趣偏好,新闻的及时性,热点性往往更加重要,所以正好适用于发现热点,跟踪热点的趋势。对于用户较少,要求时效性较强的场合,就可以考虑UserCF。ItemCF:这个更适用于兴趣变化较为稳定的应用,更接近于个性化的推荐,适合用户兴趣固定持久,物品更新速度不是太快的场合,比如推荐艺术品,音乐,电影。

5、什么是faiss,它的原理是什么?

参考回答:faiss是FaceBook的AI团队开源的一套用于做稠密向量聚类和相似性搜索的软件库,它包含在任意大小向量上的搜索算法,也支持评估和参数调节。Faiss包含多种相似度检索方法,通过L2(欧氏距离)和点积确定,同时也支持余弦相似度来计算向量距离。它主要是通过向量压缩进行计算,而不是通过使用原型向量进行比较,这种方法虽然降低精度,但是可以极大缩小存储空间以及检索速度,可以达到近似检索。faiss本质是: 使用PCA、K-means、PQ等算法对数据进行操作,对数据进行分群,每一个群都有一个Index,根据要查找数据的与每个Index距离大小,定位要查找的那个群,也就是缩小了数据查找范围,进而加速。

6、还了解其他向量检索的方法吗?

参考回答:其他向量检索的方式 Kd - tree;kd - tree的构建方式是根据我们输入的多维embedding。每次分裂的时候,会选择方差最大的一列,然后选择这一列的中位数去划分结点,直到每一个结点都有一个向量,这样kd-tree就构建完成了。kdtree的查找:向量的查找也是每次从根节点出发,开始对比,比如这个结点是按照第三列某一个数划分的,就比较这个向量这个位置的数和这个结点的数的大小,从而判定是往左走还是往右走,最终会落到一个结点上,但是这样找不一定是最近的,如果还有更近的,就会回溯到上一个分裂点,看另一个结点的距离。

7、双塔的user侧特征和item侧的特征可以做交叉吗?

参考回答:可以的, 最简单的方式是取用户特征和物品特征的点积,这可以被看作是一种线性交叉方式。这个点积可以被加入到模型的最后输出或中间层。特征交叉可以更好地捕捉用户和物品之间的关系,从而提高推荐系统的效果。如何进行交叉需要根据具体问题和数据来设计和优化。

8、相似度的度量方法有哪些?

参考回答:Jaccard相关系数: 两个用户u和v所交互商品的交集的数量占这两个用户交互商品并集的数量的比例,称为两个集合的杰卡德相似系数,余弦相似度,在此基础上引入皮尔逊相关系数。余弦相似度没有考虑到不同用户平均打分偏差的问题,最直观的理解就是某一个用户的品味很高,对任何商品打分都很低,这样计算出来的余弦相似度就有差异,引入偏置a,b分别为a的平均打分情况,b的平均打分情况,每一个参数都减去这个平均值,然后再来计算。

9、矩阵分解的原理,具体是怎么分解的?

参考回答:矩阵分解算法将 m×n 维的共享矩阵 R 分解成 m×k 维的用户矩阵 U 和 k×n 维的物品矩阵 V 相乘的形式。其中m是用户数量,n是物品数量,k是隐向量维度,也就是隐含特征个数, k的大小决定了隐向量表达能力的强弱,k越大,表达信息就越强,理解起来就是把用户的兴趣和物品的分类划分的越具体。

矩阵分解的求解: 常用的做法就是特征值分解(EVD),奇异值分解(SVD)。但是特征值分解它要求分解的矩阵是方阵,在推荐系统中,显然用户-物品矩阵不满足这个要求,而传统的SVD分解,会要求原始矩阵是稠密的,而我们这里的这种矩阵一般情况下是非常稀疏的,如果想用奇异值分解,就必须对缺失的元素进行填充,而一旦补全,空间复杂度就会非常高,且补的不一定对。 然后就是SVD分解计算复杂度非常高,而我们的用户-物品矩阵非常大, 所以基本上无法使用。

Funk SVD:所以具体对SVD进行一些改变,用一种叫Funk SVD来进行求解。只针对矩阵中有用户评分的信息进行分解。Funk-SVD的思想很简单,把求解上面两个矩阵的参数问题转换成一个最优化问题,可以通过训练集里面的观察值利用最小化来学习用户矩阵和物品矩阵。FunkSVD的做法:因为我们已经有了用

剩余60%内容,订阅专栏后可继续查看/也可单篇购买

小白机器学习面试指南 文章被收录于专栏

林小白的机器学习指南,从本人面试的机器学习算法岗位出发,对机器学习“八股文”做详细的介绍、推导;

全部评论
求一个搜索算法系列的
点赞
送花
回复
分享
发布于 2023-10-13 16:54 北京

相关推荐

bg本硕华五,0实习2a会二作,一篇b会一作在投。研究生做的优化相关,冷门,勉强和多任务学习扯上一点关系之前为了投稿,找实习比较晚,差不多四月底才开始广泛投递,主要想做搜广推。现在有两个offer,各位大佬帮忙选一选1. 小红书 中台科技部 推荐 上海timeline:5.14晚笔试,a2.9/3,选择题不清楚做得怎么样,5.15约5.16上午面试,面试完下午直接oc(真的惊呆了,居然就一面,还只问了论文和手撕,看来可能是被鸽穿了,很缺人),5.17offer优点:offer已接,300/天,包三餐,无房补;按照面试官的说法做的是发现页推荐,应该算核心部门,进去大概是做排序相关,也算是推荐的链路中比较重要的缺点:实习生也要大小周,强度大;希望我能实习五个月;还有就是看经验贴说小红书转正率很低2. 阿里国际icbu 广告算法 杭州timeline:还没oc,但应该没什么问题,5月初找大实验室的师兄内推到部门,但是笔试已经没场次了,最后5.16晚上加了一次笔试,a了2.1/3(感觉阿里国际笔试算我做过比较难的),5.17晚mentor电话面,mentor研究生做的方向和我有点接近,非常友好,只问了论文相关,结束以后马上约二面,5.20下午主管二面,项目+场景题,约了5.21hr面优点:阿里国际title比小红书大一点;转正率按照主管的说法应该是都能转正,实习时间三个月即可;不需要大小周,师兄认证组内氛围不错,mentor人很好,杭州生活成本低一点缺点:小红书offer已接,撕了不知道会不会被拉黑;如果进去做的可能是优化相关,相对小红书来说,工作内容没那么核心,具体内容对秋招加成可能小一点 #找不到实习会影响秋招吗# #如何一边实习一边秋招# #想实习转正,又想准备秋招,我该怎么办# #不给转正的实习,你还去吗# #我的实习求职记录#
投递阿里国际数字商业集团等公司10个岗位 找不到实习会影响秋招吗 如何一边实习一边秋招
点赞 评论 收藏
转发
7 117 评论
分享
正在热议
# 牛客帮帮团来啦!有问必答 #
1152487次浏览 17153人参与
# 通信和硬件还有转码的必要吗 #
11234次浏览 101人参与
# 不去互联网可以去金融科技 #
20596次浏览 258人参与
# 和牛牛一起刷题打卡 #
19066次浏览 1635人参与
# 实习与准备秋招该如何平衡 #
203457次浏览 3628人参与
# 大厂无回复,继续等待还是奔赴小厂 #
4987次浏览 31人参与
# OPPO开奖 #
19274次浏览 268人参与
# 通信硬件薪资爆料 #
266003次浏览 2484人参与
# 国企是理工四大天坑的最好选择吗 #
2233次浏览 34人参与
# 互联网公司评价 #
97728次浏览 1280人参与
# 简历无回复,你会继续海投还是优化再投? #
25040次浏览 354人参与
# 0offer是寒冬太冷还是我太菜 #
454946次浏览 5125人参与
# 国企和大厂硬件兄弟怎么选? #
53925次浏览 1013人参与
# 参加过提前批的机械人,你们还参加秋招么 #
14647次浏览 349人参与
# 硬件人的简历怎么写 #
82294次浏览 852人参与
# 面试被问第一学历差时该怎么回答 #
19410次浏览 213人参与
# 你见过最离谱的招聘要求是什么? #
28335次浏览 248人参与
# 学历对求职的影响 #
161266次浏览 1804人参与
# 你收到了团子的OC了吗 #
538813次浏览 6389人参与
# 你已经投递多少份简历了 #
344299次浏览 4963人参与
# 实习生应该准时下班吗 #
97007次浏览 722人参与
# 听劝,我这个简历该怎么改? #
63527次浏览 622人参与
牛客网
牛客企业服务