PyTorch 21. PyTorch中nn.Embedding模块  torch.nn.Embedding   torch.nn.Embedding 函数： torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, sparse=False)  参数解释：  num_embeddings: 查询表的大小 embedding_dim: 每个查询向量的维度  函数大概解释：一个保存了固定字典和大小的简单查找表。这...

python面试总结  python多线程能用多个cpu吗？ python的垃圾回收机制 迭代器和生成器的区别 装饰器 python set低层实现 python字典和set()区别 怎么对字典的值进行排序 __init__和__new__和__call__的区别 python的lamda函数 Python的内存管理 python中类方法和静态方法的区别 python多线程怎么实现 python的传参是传值还是传值 当退出python时是否释放所有内存分配？ Python中的is和==有什么区别？ gbk和utf8的区别 range在python2和python3里的区别 __init__.p...

面试总结之特征工程  特征工程有哪些 遇到缺值的情况，有哪些处理方式 样本不均衡的处理办法 出现Nan的原因 特征筛选，怎么找出相似性高的特征并去掉 包含百万，上亿特征的数据在深度学习中怎么处理 计算特征之间的相关性方法有哪些？   特征工程有哪些  数据预处理 1. 处理缺失值 2. 图片数据扩充 3. 处理异常值 4. 处理类别不平衡问题 特征缩放 1. 归一化 2. 正则化 特征编码 1. 序号编码 2. 独热编码 3. 二进制编码 4. 离散化 特征选择 1. 过滤式（filter）:先对数据集进行特征选择，其过程与后续学习器无关，即设计一些统计量来过滤特征，并不考虑后续学习器问题，如...

机器学习——PCA与LDA  PCA 推导一个PCA LDA LDA的中心思想是什么 LDA的优缺点 LDA的步骤 推导LDA PCA和LDA有什么区别 偏差与方差 SVD 伯努利分布和二项分布的区别   PCA 主成分分析（PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分 可以使用两种方法进行PCA，分别是特征分解或奇异值分解（SVD）。PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。 算法步骤 假设有m条n维数据  将原始数据按列组成n行m列矩阵X 将X的每...

机器学习——朴素贝叶斯  朴素贝叶斯 贝叶斯公式 朴素贝叶斯的“朴素”怎么理解 什么是拉普拉斯平滑法 朴素贝叶斯的应用 朴素贝叶斯对异常值敏不敏感 先验概率与后验概率    优点：  算法逻辑简单，易于实现 分类过程中时空开销小，分类准确率高，速度快 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率 对缺失数据不太敏感，算法也比较简单，常用于文本分类 对小规模的数据表现很好，能处理多分类任务，适合增量式训练 缺点：   理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比...

机器学习——模型优化  模型压缩方法 squeezeNet的Fire Module有什么特点？   模型压缩方法  低秩近似 神经网络的基本运算卷积，实则就是矩阵运算，低秩近似的技术是通过一系列小规模矩阵将权重矩阵重构出来，以此降低运算量和存储开销。目前有两种常用的方法：一是Toeplitz矩阵（指矩阵中每条自左上至右下的斜线上的元素相同）直接重构权重矩阵，二是奇异值分解（SVD），将权重矩阵分解为若干个小矩阵。 剪枝与稀疏约束 剪枝是模型压缩领域中一种经典的后处理技术，典型应用如决策树的前剪枝和后剪枝。剪枝技术可以减少模型参数量，防止过拟合，提升模型泛化能力。 剪枝被应用于神经网络中，遵循四...

机器学习——决策树  理解 决策树优缺点 决策树概况 ID3和C4.5的区别 树模型对离散特征怎么处理的 决策树出现过拟合的原因及解决办法 如何对决策树进行剪枝 决策树不需要归一化处理 决策树与逻辑回归的区别 决策树的损失函数   理解 决策树是一种分类方法，像一棵树一样进入不同的分支，然后直到叶子节点得到分类结果。那么如何进入不同的分支？这就是最重要的内容，涉及到节点（特征）的划分标准，有三种：最大信息增益、最大信息增益率、基尼系数。而这三种不同的划分标准就对应了三种典型决策树：ID3（最大信息增益）、C4.5（最大信息增益率）、CART（基尼系数） 决策树优缺点 优点：   决策树易于理解...

机器学习——KNN  KNN的优缺点 KNN概述 KNN的K值怎么选 KNN数据需要归一化吗？ KNN三要素 欧式距离与曼哈顿距离区别 KNN的k设置过大会有什么问题   KNN的优缺点 优点：  简单易用，相比其他算法，KNN算式比较简洁明了的算法 模型训练速度快 预测效果好 对异常值不敏感 缺点： 对内存要求较高，因为该算法存储了所有训练数据 预测阶段可能很慢 对不相关的功能和数据规模敏感 对数据量纲敏感，所以数据要先归一化  KNN概述 KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来...