TimeLine：一面20211109当时的BG：北邮本硕，管理类专业，一段实习经历：美团商业分析师写在前面的话：该文档记录日常实习面试的相关问题，面试时间为2021年。以下问题的答案可能存在错误，敬请读者批评指正一面1. 数据库种类有哪些？分别举例说明一下？1)关系型数据库：Oracle，Microsoft SQL Server，MySQL2)非关系型数据库：HBase2. 简要介绍一下Hive先介绍Hadoop，Hadoop是一整套大数据生态系统，主要包括：1)HDFS：海量数据的存储2)MapReduce：海量数据的分析和计算3)Yarn：资源管理和作业调度其中，MapReduce本质上是一类分布式计算框架，底层由Java写成，在实现海量数据的分析和计算上具有一定的开发难度，Hive应运而生。Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射成一张类似关系型数据库的数据表，提供了类似SQL（通常称其为HQL）的查询功能，简言之，Hive是一个将SQL任务转换为MR任务的工具3. SQL中的join有几种？4. SQL中如何实现分组排序？row_number() over(partition by ... order by ...)rank() over(partition by ... order by ...)dense_rank() over(partition by ... order by ...)5. SQL考察数据表：用户表user_profile，字段有：user_id '用户id'，login_date 登陆时间'找出连续登录时间最长的用户with a as(select user_id, login_date,row_number() over(partition by user_id order by login_date ASC) as rnfrom user_profile),with b as(select user_id, date_sub(login_date, rn) as login_startfrom a),with c as(select user_id, login_start, count(login_start）as continuous_daysfrom bgroup by user_id, login_start)select user_idfrom cgroup by user_idhaving continuous_days = max(continuous_days)6. 缺失值处理的方式？1)缺失比例过高直接舍弃2)均值/众数/中位数填充3)插值法填充（e.g.牛顿插值法）4)机器学习算法填充（以想要填充的列为label，其他数据列为features）7. 离散化特征转为连续性特征的方法？1)顺序型特征有先后顺序，直接作数值变换2)名义型特征没先后顺序，作one-hot或dummy变换8. 数据集不均衡的解决方法？1)采用ROC曲线下AUC作为分类判定标准，该指标不会受到样本集分布不均衡的影响2)过采样和欠采样（基于数据的方法）过采样，即增加少数类样本集的样本量，如SMOTE算法、Tomek Links算法等欠采样，即减少多数类样本集的样本量，如Easy Ensemble算法、NearMiss算法等3)调整正负样本的权重惩罚（基于算法的方法）改变模型训练时的目标函数，对少数类样本分类赋高权重，多数类样本分类赋低权重4)转化为单类学习、异常检测（基于算法的方法）注：从第9题开始，其后问题的答案均可在《百面机器学习》这本书中得到，十分推荐大家阅读一下这本书9. 是否了解集成学习？简要介绍一下思想？注：回答围绕bagging和boosting即可，并举例说明1)bagging：随机森林RF2)boosting：GBDT/XGBOOST/LightGBM10. 偏差和方差的概念？和bagging、boosting有什么关系？1)偏差bias：模型输出值与真实结果的偏离程度，boosting能有效改善这一点2)方差variance：模型输出值与模型输出值均值的平方差，bagging能有效改善这一点此处有追问：为什么bagging能够改善方差？boosting能够改善偏差？针对“为什么bagging能够改善方差？”bagging是对样本集做重采样，对重采样后的样本集训练模型，对多个模型的输出取平均。由于重采样后子样本集的相似性，所以各模型具有相似的偏差和方差，因此不会显著降低偏差。下面详细讲解bagging 能改善方差的原因：假设各模型间相互独立，则有若各模型完全相同，则有bagging方法得到的各模型间是有相关性的，因此模型输出均值的方差区间为针对“boosting能够改善偏差？”boosting本质上是前向加法模型，从优化角度来看，就是不断通过迭代的方式最小化损失函数其偏差自然是下降的。但这种sequential、adptive的策略使得模型之间的相关性很强，所以boosting本质上不会降低方差