阿里 数仓开发

1. 实习日常工作都做什么2. 数仓的分层，主题域3. 流量域ods层上游数据源是什么，整体的数据加工链路4. 介绍一下spark，当下能想到的所有关于spark的内容5. rdd弹性数据集，弹性体现在哪些方面6. 引起数据倾斜，spark-ui的看法7. 数仓基建，模型改造是怎么做的，背景是什么8. 简历上的旧任务迭代具体是什么9. 任务优化，主键是什么，具体怎么做的，任务执行为什么慢10. 数仓用户域的改造（个人项目11. spark的任务提交和执行流程12. 怎么评价一个模型设计的是好是坏13. hdfs的读写流程，为什么是三个副本14. 知道温存吗，生命周期是什么15. python装饰器是什么。。。。。。16. 小文件产生原因及危害17. Sql 两个简单group by 一个留存率 一个连续登录18. 算法题：移动最少区间个数 使得剩余区间无重叠  1. 输入：[1,2][2,3][4,6][1,3]  2. 输出：1  3. 解释：移除[1,3]后，剩余区间无重叠19. 算法题：链表的两数相加

1.自我介绍2.项目拷打其中涉及接口自动化的多API组合的方式没答出来，出来之后突然想起来了，就是类似于@Test注解的group和priority，设置一下组和优先级，比如接口1和接口2都要测试，但是接口2前置依赖于接口1，可以设置接口1和接口2在一个group里且接口1的priority高于接口2，就能够实现多接口测试3.没有3，全是问项目，也没有做题（可能是因为有笔试？）

【官方JD】1、协助建设全站的基础数据能力，提供丰富、稳定的短视频社区公共基础数据，探索更多数据能力的增量价值；2、支持快手主站各类数据专题体系的建设，通过数据+算法+产品，赋能业务，提供全链路、可分析、可复用的数据能力，提供更直观、更具分析指导性的产品化能力。任职要求1、25届及以后毕业的本科或研究生，能够连续实习5个月及以上，每周能保证全勤者优先；2、计算机、大数据相关专业；3、熟悉Hadoop数据体系，擅长实时或离线计算的实施优化；4、有数据仓库或者PB级数据处理经验的优先。【人话版本】北京hc，一定要能保证实习5个月以上；最好计算机和大数据相关专业，熟练SQL写法；后端方向、数分方向的勿扰！！！；需要掌握Spark、Hadoop原理，如果有PB级别处理经验更优；简历请投：**********

作业帮时间是随机的，今天下午测的。作业帮是10道选择题加2到算法题：选择题：考了数据结构排序二叉树，linux命令：awk '$NF' test 这里的test是一个有多行数据的文件，这命令是输出该文件末行的内容。还考了mapreduce优化数据倾斜的办法这里我好像选错了有两个选项一个是把count(distinct ) 替换为sum()group by 还有是将小文件先保存到内存中这两个好像是对的都可以优化数据倾斜此问题。还考了Flink的一些特性不过我还没学过flink，还考了kafka的高性能和低性能的一些问题，这我也是一脸懵。还考了六个盘的汉洛塔要移动几次才通过。然后是算法题，第一个是简单的二分查找，不过我只通过了94%，后面看估计是我对左右指针移动还是有点问题。第二个是leetcode32题，最长有效括号，可惜了我两个月前还写过但是还是没写对，只通过了63%。也不知道能不能过。阅文（寄了，以为是8.30考没想到是8.30结束结果只写了20分钟）：这好像是前面是单选题，中间是不定项，后面是问答题单选题：考了hive内置函数，考了hive与spark的对比，hadoop节点默认备份是多少~（还考了斗破苍穹的主角是谁虽然我没看过印像中好像叫萧炎）不定项：有mysql中delete，drop和truncate这三者的区别特点（我对truncate完全没印象），还考了flink的一些知识。问答题：第一个是mapredce工作流程这个还好，第二个是如何解决spark数据倾斜的方法。这里时间不够了我一点没写，也没多少印象。这里我现在写一下加深点印象1.可以增加随机前缀或后缀：来打散数据分布，在后继计算中去除前后缀从而负载均衡2.广播小表，如果是原因是小表与大表join可以将小表广播到每个节点，避免产生数据倾斜。3.salting方法：为倾斜数据填加盐值，打散倾斜数据4.分区策略调整：通过自定义分区器或者合理选择内置分区器来均匀分布数据5.增大并行度：针对只有少量数据造成的倾斜任务，增加并行度可以更快地处理这些小任务6.数据预处理：合并一些小文件，fliter操作等第三四个就是写sql语句，第三个挺简单的就是第四题来不及看了。ok就是这些了，预祝大家都能找到自己想要的工作实现，我还是继续去沉淀去了，这一个月也不知道自己在忙些啥好像就是一直在刷算法题和sql题，八股都没怎么看，对组件的掌握还是太浅了。