一、简介  搜广推算法在各大互联网公司中承担着重要的流量转化的作用,其中推荐算法作为一个重要分支,它旨在为用户提供个性化的推荐内容,以提高用户体验和满足他们的需求。推荐算法的应用范围非常广泛,包括电子商务、社交媒体、音乐和视频流媒体、新闻推荐等各个领域。以下是一些可能出现在推荐算法系列面试中的主题和问题,面经请关注专栏:小白机器学习面试指南。持续更新中。  二、面经及参考回答  1、你了解的常见的召回策略,算法有哪些?  参考回答:召回算法用于从大规模数据集中快速筛选出一组候选项,以供后续的排序和推荐处理。常见的召回有下面几种:  基于内容的召回:基于物品的内容召回:使用物品的属性和特征,如文本、标签或图像,来计算物品之间的相似度,以推荐相似的物品。  基于用户的内容召回:分析用户的历史行为和个人资料,以确定他们对内容的兴趣,并为其推荐相关内容。  协同过滤召回:基于用户的协同过滤:根据用户与其他用户的相似性,为目标用户推荐与相似用户喜欢的物品。基于物品的协同过滤:根据物品之间的相似性,为用户推荐与他们以前喜欢的物品相似的物品。  矩阵分解:矩阵分解方法,如奇异值分解(SVD)和交替最小二乘(ALS),用于将用户-物品交互矩阵分解为潜在因子矩阵,以捕捉用户和物品之间的潜在关系。这些方法通常用于协同过滤。  基于流行度的召回:流行度召回方法会根据物品的全局流行度为用户推荐物品。这意味着用户将看到最热门的物品,无论他们的兴趣如何。  基于规则的召回:基于规则的召回使用预定义的规则来选择候选物品。这些规则可以是手动制定的,也可以通过机器学习方法自动学习得出。在业务迭代初期,一般会使用这种召回方法;  深度学习召回:使用深度学习模型(如神经网络)进行召回,这些模型可以从用户历史数据中学习用户和物品之间的复杂关系,以生成召回结果。  多通道召回:使用多个不同的召回算法,并将它们的结果合并或加权,以提高推荐的多样性和准确性。  2、协同过滤存在什么问题?  参考回答:泛化能力弱。即协同过滤无法将两个物品相似的信息推广到其他物品的相似性上。导致的问题是热门物品具有很强的头部效应,容易跟大量物品产生相似,而尾部物品由于特征向量稀疏,导致很少被推荐。协同过滤的特点就是完全没有利用到物品本身或者是用户自身的属性,仅仅利用了用户与物品的交互信息就可以实现推荐,比较简单高效,但这也是它的一个短板所在,由于无法有效的引入用户年龄,性别,商品描述,商品分类,当前时间,地点等一系列用户特征、物品特征和上下文特征,这就造成了有效信息的遗漏,不能充分利用其它特征数据。  3、协同过滤有哪些可以改进的?  参考回答:加一些参数权重对热门物品,以及活跃用户进行一些惩罚。或者利用矩阵分解,使用更稠密的隐向量表示用户和物品,挖掘用户和物品的隐含兴趣和隐含特征。  4、什么时候使用UserCF,什么时候使用ItemCF?为什么?  参考回答:UserCF:由于是基于用户相似度进行推荐,所以具备更强的社交特性,这样的特点非常适于用户少,物品多,时效性较强的场合,比如新闻推荐场景,因为新闻本身兴趣点分散,相比用户对不同新闻的兴趣偏好,新闻的及时性,热点性往往更加重要,所以正好适用于发现热点,跟踪热点的趋势。对于用户较少,要求时效性较强的场合,就可以考虑UserCF。ItemCF:这个更适用于兴趣变化较为稳定的应用,更接近于个性化的推荐,适合用户兴趣固定持久,物品更新速度不是太快的场合,比如推荐艺术品,音乐,电影。  5、什么是faiss,它的原理是什么?  参考回答:faiss是FaceBook的AI团队开源的一套用于做稠密向量聚类和相似性搜索的软件库,它包含在任意大小向量上的搜索算法,也支持评估和参数调节。Faiss包含多种相似度检索方法,通过L2(欧氏距离)和点积确定,同时也支持余弦相似度来计算向量距离。它主要是通过向量压缩进行计算,而不是通过使用原型向量进行比较,这种方法虽然降低精度,但是可以极大缩小存储空间以及检索速度,可以达到近似检索。faiss本质是: 使用PCA、K-means、PQ等算法对数据进行操作,对数据进行分群,每一个群都有一个Index,根据要查找数据的与每个Index距离大小,定位要查找的那个群,也就是缩小了数据查找范围,进而加速。  6、还了解其他向量检索的方法吗?  参考回答:其他向量检索的方式 Kd - tree;kd - tree的构建方式是根据我们输入的多维embedding。每次分裂的时候,会选择方差最大的一列,然后选择这一列的中位数去划分结点,直到每一个结点都有一个向量,这样kd-tree就构建完成了。kdtree的查找:向量的查找也是每次从根节点出发,开始对比,比如这个结点是按照第三列某一个数划分的,就比较这个向量这个位置的数和这个结点的数的大小,从而判定是往左走还是往右走,最终会落到一个结点上,但是这样找不一定是最近的,如果还有更近的,就会回溯到上一个分裂点,看另一个结点的距离。  7、双塔的user侧特征和item侧的特征可以做交叉吗?  参考回答:可以的, 最简单的方式是取用户特征和物品特征的点积,这可以被看作是一种线性交叉方式。这个点积可以被加入到模型的最后输出或中间层。特征交叉可以更好地捕捉用户和物品之间的关系,从而提高推荐系统的效果。如何进行交叉需要根据具体问题和数据来设计和优化。  8、相似度的度量方法有哪些?  参考回答:Jaccard相关系数: 两个用户u和v所交互商品的交集的数量占这两个用户交互商品并集的数量的比例,称为两个集合的杰卡德相似系数,余弦相似度,在此基础上引入皮尔逊相关系数。余弦相似度没有考虑到不同用户平均打分偏差的问题,最直观的理解就是某一个用户的品味很高,对任何商品打分都很低,这样计算出来的余弦相似度就有差异,引入偏置a,b分别为a的平均打分情况,b的平均打分情况,每一个参数都减去这个平均值,然后再来计算。  9、矩阵分解的原理,具体是怎么分解的?  参考回答:矩阵分解算法将 m×n 维的共享矩阵 R 分解成 m×k 维的用户矩阵 U 和 k×n 维的物品矩阵 V 相乘的形式。其中m是用户数量,n是物品数量,k是隐向量维度,也就是隐含特征个数, k的大小决定了隐向量表达能力的强弱,k越大,表达信息就越强,理解起来就是把用户的兴趣和物品的分类划分的越具体。  矩阵分解的求解: 常用的做法就是特征值分解(EVD),奇异值分解(SVD)。但是特征值分解它要求分解的矩阵是方阵,在推荐系统中,显然用户-物品矩阵不满足这个要求,而传统的SVD分解,会要求原始矩阵是稠密的,而我们这里的这种矩阵一般情况下是非常稀疏的,如果想用奇异值分解,就必须对缺失的元素进行填充,而一旦补全,空间复杂度就会非常高,且补的不一定对。 然后就是SVD分解计算复杂度非常高,而我们的用户-物品矩阵非常大, 所以基本上无法使用。  Funk SVD:所以具体对SVD进行一些改变,用一种叫Funk SVD来进行求解。只针对矩阵中有用户评分的信息进行分解。Funk-SVD的思想很简单,把求解上面两个矩阵的参数问题转换成一个最优化问题,可以通过训练集里面的观察值利用最小化来学习用户矩阵和物品矩阵。FunkSVD的做法:因为我们已经有了用
点赞 7
评论 1
全部评论

相关推荐

点赞 评论 收藏
分享
点赞 收藏 评论
分享
牛客网
牛客企业服务