2021-11-04 00:11 门头沟学院 大数据开发工程师
关注
大数据开发学习记录帖 Day3
【事宜】今天跟着视频学习了hdfs的基础知识，包括hdfs的产生背景，优缺点，组成架构，文件块大小，一些基本的shell操作。基于windows的hadoop环境简单配置，简单的API操作（idea）等。
【笔记】
hdfs：hadoop distributed file system 一种分布式文件管理系统。
优点：高容错，适合处理大规模数据；缺点：不适合低延时访问，无法高效存储小文件，不支持并发写入和随机修改。
组成架构：nn，dn，2nn，client
文件块大小：64MB（1.x），128MB（2.x）为什么是128Mb？为什么块大小不能太大，也不能太小？
实操：上传，下载，一些直接操作
【力扣】leetcode总题数：172，今天的每日一题接雨水2比较难，就把接雨水1先刷了，有时间补下题。
【感想】提升学习效率，注意劳逸结合。
【事宜】今天跟着视频学习了hdfs的基础知识，包括hdfs的产生背景，优缺点，组成架构，文件块大小，一些基本的shell操作。基于windows的hadoop环境简单配置，简单的API操作（idea）等。
【笔记】
hdfs：hadoop distributed file system 一种分布式文件管理系统。
优点：高容错，适合处理大规模数据；缺点：不适合低延时访问，无法高效存储小文件，不支持并发写入和随机修改。
组成架构：nn，dn，2nn，client
文件块大小：64MB（1.x），128MB（2.x）为什么是128Mb？为什么块大小不能太大，也不能太小？
实操：上传，下载，一些直接操作
【力扣】leetcode总题数：172，今天的每日一题接雨水2比较难，就把接雨水1先刷了，有时间补下题。
【感想】提升学习效率，注意劳逸结合。
全部评论
Songfeng2020
华为_2012实验室_数据库内核开发工程师
想做大数据组件/数据库的内核开发么😁
往事暗沉不可追
门头沟学院 Java
感谢！我无意中刷到了，决定也这样记录自己的java学习过程，很棒！
相关推荐
点赞 评论 收藏
分享
10-25 22:20
门头沟学院 Java 
代码飞升：同学院本，个人亮点去了，打招呼里面的废话也去了，学院本就是路边一条，明天拉满然后该学还是学，小厂也行尽量先有一段实习。另外你的项目描述写的不好，具体列一下可被提问的点，然后量化一下指标或者收益吧 点赞 评论 收藏
分享
