大量的小文件会耗尽 NameNode 中的大部分内存,为啥？

“每个文件均按块存储，每个块的元数据存储在 NameNode 的内存中”。一个 1MB 的文件在 128MB 的块中存储，使用的是 1MB 的磁盘空间，那此时是怎么管理的？？

#数据开发工程师#
全部评论
nn存的是文件的元数据信息 如:owner permission等信息。大量小文件回导致元数据过多 大概是这个意思吧
1 回复 分享
发布于 2019-11-16 17:14
无论块大小多少，元数据大小都一样，128m数据的元数据1k，1m数据的元数据的也是1k，那你是愿意多存128m还是大量1m的数据？
点赞 回复 分享
发布于 2019-11-16 21:11
拿走不谢https://zhuanlan.zhihu.com/p/90215486
点赞 回复 分享
发布于 2019-11-16 18:19
好像操作系统在磁盘中用索引式的表示"文件",每个"文件"都占了几个数据块,inode节点也是有表去记录的
点赞 回复 分享
发布于 2019-11-16 17:19
你班上人多了，打印名单会很废纸
点赞 回复 分享
发布于 2019-11-16 17:12

相关推荐

头像
11-03 16:48
已编辑
百度_高级研发工程师
摸爬滚打，我也一定要离开华为
事实是检验真理的唯一标准。 无论我们怎么去说，去讲述，去证明，都抵不过一个offer来得实在，无论我们怎么去复现求职中的摸爬滚打、扒皮抽筋、狼狈不堪，都抵不过你在简历写上大厂的名字（外包不算）。 所以在我求职期间，我什么话都不说，什么话都不讲，因为没有意义，虽然我总讲过程才是意义，但只有当你上岸的那一刻，你才有资格回想在水里的挣扎，只有等你出了山，你才知道山的全貌。 我为什么一定要离开华为OD，难道它不稳定吗，不能赚钱吗。为了证明自己，那肯定有的。其实更多的是印证我的认知是否真的正确。 （给不了解我的人交代一下背景，在下双非一本，gap一年，华为OD外包，摸爬滚打4个月，艰难上岸百度正编）一、...
先锋战士：说得很真诚。鄙视链自古有之，学历，家庭背景，财富，权利。从小有之，小学羡慕那些当班委的，中学羡慕那些学生会的，高中羡慕尖子班拿教学金的，大学羡慕高绩点，毕业了羡慕进大厂的。工作了，又羡慕高职级的，再后来又羡慕别人早早结婚的。我想表达的观点很简单，无论是华为od还是百度，都是经历，没有孰高孰低，为了抵达下一个风景，总会付出更多东西，但不就是人生吗？正如登山，每个阶段的山，都要想办法攀登，在博主的文字中，见到了坚持和积极寻找问题解决办法的心态
学历对求职的影响
点赞 评论 收藏
分享
头像
11-05 08:33
蚌埠坦克学院 嵌入式软件开发
嵌入式秋招基本已经落下帷幕
随着11月的到来，2025年的嵌入式秋招基本已经落下帷幕。对于广大求职者来说，秋招既是一个重要的节点，也是一次心态和技能的全面检验。从最初的简历投递，到面试的角逐，再到最终的offer争夺，每一个环节都充满了挑战。如今，随着大部分公司进入了面试的收尾阶段，嵌入式行业的秋招也已经接近尾声。回顾整个秋招过程，值得总结的有很多。一、嵌入式行业的需求依然强劲尽管整体经济环境有所变化，但嵌入式行业的需求依然强劲，特别是在智能硬件、汽车电子、物联网等领域的快速发展，依然为嵌入式工程师提供了广阔的就业机会。尤其是在消费电子和工业控制等传统领域，仍然有大量的岗位在招聘。这些行业的技术更新换代加速，企业对嵌入式...
点赞 评论 收藏
分享
10-31 13:04
南华大学 Java
发offer中也能被刷
怎么现在发offer环节也要担心被刷了吗？ 闹麻了，如何说是简历不合适你不在最初就给我pass掉，在所有面试完，谈完薪，发offer了给我来这一出？ 公司：蔬东坡
嵌入式的小白：很多面试，面试前不会去打扰cto的，但一般cto不会在这些小事上刷人，只能说这个cto比较操心，啥重要不重要，紧急不紧急的，估计都会过问，平淡看待吧
点赞 评论 收藏
分享
11-04 13:10
基恩士_销售工程师(准入职员工)
基恩士内推，基恩士内推码
问题（面试刚开始会让做一个自我介绍，可以提前准备一下） 1.我是如何实现一周涨粉5000+的？ 这个问题是根据经历上面的经验提问的 我简单回答了一下 选题策划-AB测试-评论转换-账号定位一些内容 2.为什么开始这个小红书运营项目？ 其实这是老师布置的小组作业 我回答：有项目想法-调研后熟悉小红书规则等等 3.在运营账号过程中有没有低谷期或者困难你是怎么解决的？ 这个问题的核心：就是问你遇到困难是如何解决的？ 4.你有没有向他人推销产品的经历？如果有你是如何推销的？ 这个我刷到收到面试的同学好像都问了 这个问题必须准备，好好回答是一个必答题 5.你推销产品时其他人是什么反应？ 我当时的回答是“...
点赞 评论 收藏
分享
评论
1
1
分享

招聘动态

查看更多

昇维旭2026校园招聘

昇芯相连，旭写篇章

字节跳动火山引擎

2026校园招聘

联想

2026届校园招聘

字节跳动

2026校园招聘

联想

26届AI专项｜内推码NK2026

快手

2026届校园招聘

联想

2026届校园招聘

完美世界

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 联影医疗求职进展汇总 #
13430次浏览 69人参与
# 本机械人被这些公司泡过池子 #
37820次浏览 185人参与
# 联影求职进展汇总 #
58517次浏览 368人参与
# CVTE求职进展汇总 #
23958次浏览 323人参与
# 中核求职进展汇总 #
29265次浏览 193人参与
# 海康威视工作体验 #
46494次浏览 158人参与
# 京东开奖 #
480249次浏览 2702人参与
# 外包能不能当跳板？ #
48401次浏览 245人参与
# 哪些公司校招卡第一学历 #
221136次浏览 779人参与
# 机械人与华为的爱恨情仇 #
138189次浏览 1013人参与
# 嵌入式岗知多少 #
59483次浏览 548人参与
# 2022毕业即失业取暖地 #
117344次浏览 707人参与
# 毕业论文进行时 #
7920次浏览 86人参与
# 找实习你看重大厂光环还是业务方向 #
42273次浏览 164人参与
# 同bg的你秋招战况如何？ #
176329次浏览 1033人参与
# 面对逼签的应对技巧 #
8980次浏览 42人参与
# 秋招什么时候开投比较合适？ #
112065次浏览 812人参与
# 说说你知道的学历厂 #
358765次浏览 1286人参与
# 我来点评面试官 #
17825次浏览 120人参与
# 校招薪资来揭秘 #
2251次浏览 18人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务