文章目录  7.3 案例：神经网络分类   学习目标   7.3.1 美国普查数据神经网络分类 7.3.2 tf.data 7.3.3 特征处理tf.feature_colum     7.3 案例：神经网络分类 学习目标  目标  掌握tf.dataset使用 掌握tf.feature_column使用  应用  应用tf.estimator进行神经网络分类案例   7.3.1 美国普查数据神经网络分类 将tf.estimator原来为线性模型替换成神经网络模型, 当使用神经网络进行分类的时候，注意输入的特征列  连续型特征列不需要处理 离散型特征列需要进行embedding_column或...

文章目录  7.4 词向量-word2vec   学习目标   7.3.1 Word2Vec模型介绍   7.3.1.1 为什么学习词嵌入 7.3.1.2 词向量是什么 7.3.1.3 词向量训练来源思想-统计语言模型   统计语言模型案例 统计语言模型缺点  7.3.1.4 神经网络语言模型NNLMNNLM   神经网络语言模型例子  7.3.1.4 Word2Vec 举例：CBOW前向计算与向量（参数）更新推导 7.3.1.5 拓展- Word2vec 的训练trick（优化）  7.3.2 Word2vec 词向量工具使用 7.3.3 总结     7.4 词向量-word2vec 学习...

文章目录  7.5 案例：DNN文本多分类   学习目标   7.5.1 IMDB电影评论文本的神经网络分类 参数     7.5 案例：DNN文本多分类 学习目标  目标  无  应用  应用tf estimator完成文本分类   7.5.1 IMDB电影评论文本的神经网络分类  目的：对IMDB电影评论数据进行训练，预测分类 步骤：  1、电影评论数据读取 2、模型输入特征列指定 3、模型训练与保存   1、电影评论数据读取 我们将要使用的数据集是 IMDB Large Movie Review Dataset，包含用于训练的 25000 段带有明显情感倾向的电影评论，测试集有 2500...

文章目录    1.1 推荐系统简介   学习目标 1 推荐系统概念及产生背景 2 推荐系统的工作原理及作用 3 推荐系统和Web项目的区别     1.1 推荐系统简介 学习目标  了解推荐系统概念及产生背景 记忆推荐系统工作原理及作用 了解推荐系统与web项目区别  1 推荐系统概念及产生背景 个性化推荐(推荐系统)经历了多年的发展，已经成为互联网产品的标配，也是AI成功落地的分支之一，在电商(淘宝/京东)、资讯(今日头条/微博)、音乐(网易云音乐/QQ音乐)、短视频(抖音/快手)等热门应用中,推荐系统都是核心组件之一。   什么是推荐系统 没有明确需求的用户访问了我们的服务, 且服务的物...

文章目录    1.2 推荐系统设计   学习目标 1 推荐系统要素 2 推荐系统架构     1.2 推荐系统设计 学习目标  了解推荐系统要素 记忆推荐系统架构  1 推荐系统要素  UI 和 UE(前端界面) 数据 (Lambda架构) 业务知识 算法  2 推荐系统架构  推荐系统整体架构     大数据Lambda架构   Lambda架构是由实时大数据处理框架Storm的作者Nathan Marz提出的一个实时大数据处理框架。  Lambda架构的将离线计算和实时计算整合，设计出一个能满足实时大数据系统关键特性的架构，包括有：高容错、低延时和可扩展等。  分层架构  批处理层  数...

文章目录    1.3 推荐算法   学习目标 1 推荐模型构建流程 2 最经典的推荐算法：协同过滤推荐算法（Collaborative Filtering） 3 相似度计算(Similarity Calculation) 4 协同过滤推荐算法代码实现：   使用协同过滤推荐算法对用户进行评分预测      1.3 推荐算法 学习目标  了解推荐模型构建流程 理解协同过滤原理 记忆相似度计算方法 应用杰卡德相似度实现简单协同过滤推荐案例  1 推荐模型构建流程 Data(数据)->Features(特征)->ML Algorithm(选择算法训练模型)->Prediction...

文章目录    1.4 案例--基于协同过滤的电影推荐   学习目标 1 User-Based CF 预测电影评分 2 Item-Based CF 预测电影评分 3     1.4 案例–基于协同过滤的电影推荐 学习目标  应用基于用户的协同过滤实现电影评分预测 应用基于物品的协同过滤实现电影评分预测  1 User-Based CF 预测电影评分   数据集下载  下载地址：MovieLens Latest Datasets Small 建议下载ml-latest-small.zip，数据量小，便于我们单机使用和运行   加载ratings.csv，转换为用户-电影评分矩阵并计算用户之间相似...

文章目录    案例--算法实现：User-Based CF 预测评分     算法实现      案例–算法实现：User-Based CF 预测评分 评分预测公式：  p r e d ( u , i ) = r ^ u i = ∑ v ∈ U s i m ( u , v ) ∗ r v i ∑ v ∈ U ∣ s i m ( u , v ) ∣ pred(u,i)=\hat{r}_{ui}=\cfrac{\sum_{v\in U}sim(u,v)*r_{vi}}{\sum_{v\in U}|sim(u,v)|} pred(u,i)=r^ui​=∑v∈U​∣sim(u,v)∣∑v∈U​sim...

文章目录    案例--算法实现：Item-Based CF 预测评分     算法实现      案例–算法实现：Item-Based CF 预测评分 评分预测公式：  p r e d ( u , i ) = r ^ u i = ∑ j ∈ I r a t e d s i m ( i , j ) ∗ r u j ∑ j ∈ I r a t e d s i m ( i , j ) pred(u,i)=\hat{r}_{ui}=\cfrac{\sum_{j\in I_{rated}}sim(i,j)*r_{uj}}{\sum_{j\in I_{rated}}sim(i,j)} pred(u,i)...

文章目录    1.5 推荐系统评估   学习目标 1 推荐系统的评估指标 2 推荐系统评估方法     1.5 推荐系统评估 学习目标  了解推荐系统的常用评估指标 了解推荐系统的评估方法  1 推荐系统的评估指标  好的推荐系统可以实现用户, 服务提供方, 内容提供方的共赢     评估数据来源显示反馈和隐式反馈    显式反馈 隐式反馈    例子   电影/书籍评分 是否喜欢这个推荐   播放/点击 评论 下载 购买     准确性   高   低     数量   少   多     获取成本   高   低      常用评估指标 • 准确性 • 信任度 • 满意度 • 实时性 •...

文章目录    1.6 推荐系统的冷启动问题   学习目标 1 推荐系统冷启动概念 2 处理推荐系统冷启动问题的常用方法     1.6 推荐系统的冷启动问题 学习目标  记忆推荐系统冷启动概念 了解处理推荐系统冷启动的常用方法  1 推荐系统冷启动概念  ⽤户冷启动：如何为新⽤户做个性化推荐 物品冷启动：如何将新物品推荐给⽤户（协同过滤） 系统冷启动：⽤户冷启动+物品冷启动 本质是推荐系统依赖历史数据，没有历史数据⽆法预测⽤户偏好  2 处理推荐系统冷启动问题的常用方法   用户冷启动   1.收集⽤户特征   ⽤户注册信息：性别、年龄、地域  设备信息：定位、⼿机型号、app列表  社交信...

文章目录        Model-Based 协同过滤算法      Model-Based 协同过滤算法 随着机器学习技术的逐渐发展与完善，推荐系统也逐渐运用机器学习的思想来进行推荐。将机器学习应用到推荐系统中的方案真是不胜枚举。以下对Model-Based CF算法做一个大致的分类：  基于分类算法、回归算法、聚类算法 基于矩阵分解的推荐 基于神经网络算法 基于图模型算法  接下来我们重点学习以下几种应用较多的方案：  基于回归模型的协同过滤推荐 基于矩阵分解的协同过滤推荐

文章目录    基于K最近邻的协同过滤推荐    基于K最近邻的协同过滤推荐 基于K最近邻的协同过滤推荐其实本质上就是MemoryBased CF，只不过在选取近邻的时候，加上K最近邻的限制。 这里我们直接根据MemoryBased CF的代码实现 修改以下地方 class CollaborativeFiltering(object): based = None def __init__(self, k=40, rules=None, use_cache=False, standard=None): ''' :param k: 取K个最近邻来进行预测 :param rules: 过滤规则，四选...

文章目录    基于回归模型的协同过滤推荐     Baseline：基准预测 方法一：随机梯度下降法优化     step 1：梯度下降法推导 step 2：随机梯度下降 step 3：算法实现 Step 4: 准确性指标评估   方法二：交替最小二乘法优化     step 1: 交替最小二乘法推导 step 2: 交替最小二乘法应用 step 3: 算法实现 Step 4: 准确性指标评估        基于回归模型的协同过滤推荐 如果我们将评分看作是一个连续的值而不是离散的值，那么就可以借助线性回归思想来预测目标用户对某物品的评分。其中一种实现策略被称为Baseline（基准预测）。 ...