智臾科技数据分析岗位怎么样

抓瓦面经，经供参考一面自我介绍实习中遇到的最大困难分批处理数据问题：如何分批处理数据？回答：一开始COUNT总的条数，然后使用LIMIT和OFFSET进行分批查询。每个线程处理一个固定范围的数据，若范围内无数据则停止。追问：若多线程分批查询过程中有数据插入或者删除，则数据缺漏，如何解决问题？回答：维护事务。追问：多线程共享事务存在问题，不合适，有其他方式吗？回答：上锁，但是效率低下（面试官看我给出的两个方案都不满意，没再追问）CSRF攻击防护：问题：什么是CSRF攻击？如何防止？手撕：程序输出解释：问题：解释这个程序的输出（Java的值传递还是引用传递的例子）。绘图程序的改进：问题：如何改进绘...

 #实习生的蛐蛐区#  

他是让我运行这个项目么？，但是我没有服务号啊😅

来自百度提前批——数据研发一面  参考答案 在HDFS中，有多种文件存储格式，主要分为行式存储和列式存储两大类：  行式存储包括TextFile和SequenceFile，其中TextFile是最基本的格式，每一行就是一条记录，字段间用分隔符进行分隔，易于生成和解析但存储效率低，SequenceFile是一种二进制键值对的存储格式，存储效率更高，但不太适用于仅查询列的OLAP场景 列式存储包括ORC和Parquet，他们和SequenceFile一样都是基于二进制存储的，但是基于列式存储，更适用于OLAP分析场景，其中ORC是Hive引擎的首选，Parquet是Spark引擎的首选