大数据问题

想问下大哥们
大数据问题：
一个mapreduce任务里面假如需要 5个maptask 结果yarn只能提供三个container这个还能跑起来
全部评论
个人观点，这是可以运行的，不管有多少个maptask，都会进入到resourcemanager的任务队列里边儿，然后等待调度器的调度运行，每个maptask运行的相关信息都会被mrappmaster记录下来，虽然只能开启3个容器，但是并不会导致无法运行，它可以先执行3个maptask，再执行2个maptask，然后再执行reduce task，只是说运行得相对久一点而已
1 回复 分享
发布于 2022-07-16 11:42
老哥，建个大数据的群，以后可以讨论
点赞 回复 分享
发布于 2022-08-22 19:25 广东
可以的
点赞 回复 分享
发布于 2022-07-15 09:41

相关推荐

头像
10-10 08:37
蚌埠坦克学院 嵌入式软件开发
裸机开发真的不够用，RTOS 成必备了
一、从“写死循环”开始的时代早期的嵌入式系统，大多数开发者都从裸机程序开始。程序结构简单：初始化硬件、进入 while(1) 循环，不断执行任务。这种方式逻辑直观、上手容易，适合学习硬件驱动和外设控制。在 8 位单片机时代，这种开发模式几乎可以满足一切需求——传感器采集、简单通信、LED 控制、按键检测，全靠主循环+中断完成。但是，随着设备功能越来越复杂，裸机开发的局限开始显现。全网最全面的嵌入式八股文专栏：https://www.nowcoder.com/creation/manager/columnDetail/mPZ4kk二、裸机开发的困境1. 任务越来越多，主循环变得臃肿过去只有一个传...
点赞 评论 收藏
分享
10-09 09:32
海康威视_自动化开发工程师(准入职员工)
海康威视内推，海康威视内推码
分享一下自己对海康的感受，也在海康总部的3期。 之前看了网上的评论实属是有点吓人的，但是百闻不如一见自己终究是亲自感受了一下。 这可能是我国内外大大小小加起来的第6段实习或者工作。 海康首先给我的感觉是人真的好多，尤其食堂的人，我可能上学都没有见过这么多人，还有电梯，我每次坐是一头雾水。当然这些对于我来说都不是很重要。 可能很多人最关心的就是海康的工作强度和时间是不是真如网上说的那么严重，而通过这段时间的感受，我觉得海康可能是我节奏最慢的一次体验，完成了任务就可以开开心心的回家了，根本不需要无效加班，如果自己想学点产品类的知识还是可以在公司里多学一点的。 关于部门小组氛围，我一开始是有点惊讶的...
海康威视公司福利 999人发布
点赞 评论 收藏
分享
09-28 22:01
已编辑
广西科技大学 IT技术支持
毕业生求职
合适才能收到offe...：找桌面运维？
点赞 评论 收藏
分享
08-20 00:45
门头沟学院 测试工程师
点赞 评论 收藏
分享
昨天 21:29
湖南大学 算法工程师
点赞 评论 收藏
分享
评论
1
5
分享

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 国庆后，我的返工状态 #
13393次浏览 64人参与
# 校招求职有谈薪空间吗 #
171674次浏览 2172人参与
# 爱玛科技集团求职进展汇总 #
15648次浏览 147人参与
# 一觉醒来，穿越回国庆前 #
23174次浏览 88人参与
# 找工作前vs找工作后的心路变化 #
23653次浏览 198人参与
# 职场中你干过哪些“蠢”事 #
121901次浏览 702人参与
# 深信服秋招来了 #
277456次浏览 2911人参与
# 租房前辈的忠告 #
254564次浏览 7092人参与
# 电信求职进展汇总 #
17478次浏览 114人参与
# 26届秋招投递记录 #
41963次浏览 479人参与
# 实习生应该准时下班吗 #
287220次浏览 1576人参与
# 非技术岗是怎么找实习的 #
254340次浏览 2519人参与
# 央国企投递记录 #
119065次浏览 1506人参与
# 腾讯音乐求职进展汇总 #
130338次浏览 988人参与
# 面试被问“你的缺点是什么?”怎么答 #
148383次浏览 1797人参与
# 产品人专业大盘点 #
57587次浏览 300人参与
# 安利/避雷我的岗位 #
628568次浏览 5306人参与
# 米哈游求职进展汇总 #
452101次浏览 2743人参与
# 找工作有哪些冷知识 #
157477次浏览 2437人参与
# 机械人与华为的爱恨情仇 #
130465次浏览 1002人参与
# 滴！实习打卡 #
699864次浏览 6626人参与
# 薪资爆料 #
166947次浏览 1380人参与
牛客网
牛客网在线编程
牛客网题解
牛客企业服务