大数据开发学习记录帖 Day7

【事宜】今天开始学习MapReduce,了解了MR的定义,优缺点,核心思想,从官方WordCount源码中了解了MR程序的构成,Hadoop自身的数据类型,并尝试手写了MR的WordCount案例。

【笔记】
1. MR: 分布式运算程序的编程框架。易于编写的框架,具有良好的扩展性,高容错性,适合对海量数据的离线处理,但不擅长数据的实时处理。
2. MR程序主要由驱动类,自定义Mapper类,自定义Reducer类组成。驱动类负责job的提交,自定义的Mapper和Reducer类需要继承官方的Mapper和Reducer,并重写map和reduce方法(业务逻辑)。
3. Hadoop数据类型,按规律记忆:int -> IntWritable  String -> Text

【力扣】leetcode总题数:176,每日一题。

【感想】坚持一周了,继续加油。
全部评论

相关推荐

不是你先问的我吗!
Smiley_W:底薪是多少?薪资构成是怎样的?(底薪+绩效+提成?) 是否有年终奖/季度奖?发放标准和比例如何? 五险一金的缴纳基数和比例是多少?(是否按实际工资缴纳?) 薪资是税前还是税后?是否有其他补贴(餐补、交通补、住房补等)? 调薪机制是怎样的?(每年有固定调薪吗?依据什么标准?) 工作时间是几点到几点?是否弹性打卡? 是否需要加班?加班频率如何?是否有加班费或调休? 周末和节假日是否正常休息?是否有轮班或值班制度? 年假、病假等假期如何规定?请假流程是否复杂? 是否有明确的KPI或考核标准?考核周期是多长? 公司目前的发展阶段和未来规划是什么? 是否有裁员或业务调整的风险?近期人员流动性如何? 入职后是否有试用期?试用期时长和薪资如何? 是否需要签竞业协议或保密协议? 文案自取
点赞 评论 收藏
分享
评论
点赞
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务