#hive##优化Hive配置设置hive.merge.mapfiles和hi_牛客网

牛客网ID612527157

2024-03-06 20:07 门头沟学院 Python

关注

#hive##优化Hive配置
设置hive.merge.mapfiles和hive.merge.mapredfiles为true
调整hive.merge.size.per.task和hive.merge.size.smallfiles.avgsize参数
使用更大的hive thrift socket time out
数据处理优化
减少数据倾斜，避免全表扫描
避免笛卡尔积产生，减少不必要的计算
分区粒度设计更细，减少后续任务处理数据量
JVM重用与优化
开启JVM重用，特别是在处理小文件或Task数量多的情况下
Job执行模式调整
将Job交给Yarn执行，以提高效率
SQL查询优化
不要使用MapReduce进行查询
避免在SQL字符串中配对操作
使用Parquet或ORC格式存储数据，提高读写速度
数据导入策略
确保Hive采取读时模式(Schema On Read)，以提高导入速度
解决特定问题
对于map阶段缓慢，考虑开启map端聚合等优化措施
解决任务执行进度卡在99%的问题，通过调整Counters平均值来优化

全部评论

推荐最新楼层

04-24 00:51

已编辑

南京大学 golang

TPLINK软开三面

🙌面试感想：暂无后续 1.自我介绍+项目2.（项目）GoZero 微服务框架整体情况 项目微服务是按照什么原则拆分的？MySQL 和 MongoDB 水平扩展机制有什么区别？3.项目里 Kafka 主要用来实现什么功能？除了你即时通讯这种典型生产者消费者场景，服务间什么业务场景适合用消息队列？4.为什么选择 Kafka，而不是 RabbitMQ 等其他消息队列？Kafka 吞吐量高的底层机制是什么？5.Go GMP 调度模型6.Docker 在云服务部署场景主要解决什么问题？Docker 保证环境隔离的底层机制是什么？7.你理解什么是 AI Agent？

查看12道真题和解析

点赞评论收藏

分享

04-23 20:49

广西大学算法工程师

蔚来 AI应用开发一面(暑期)

1. 自我介绍，结合一个复杂项目讲清楚你负责的核心链路2. SSE 是怎么实现的，服务端和客户端分别要做什么SSE 本质上是服务端基于 HTTP 长连接向客户端持续推送文本事件。客户端通过 EventSource 发起请求，服务端返回 Content-Type: text/event-stream，然后按照 SSE 规定的格式不断写入数据。每条消息通常由 event、id、data 组成，消息之间用空行分隔。SSE 适合 AI 流式输出、任务进度推送、实时日志、诊断过程展示这类服务端单向推送场景。它比 WebSocket 简单，浏览器原生支持自动重连，但不适合强双向通信。如果后端经过 Ngin...

AI-Agent面试实战...

点赞评论收藏

分享

03-23 23:00

黄淮学院 Java

这些题刷完能不能拿五千一个月

才浅Caiq：老家县城送外卖也5000，要求别这么低

点赞评论收藏

分享

04-22 13:08

门头沟学院 HTML5

我是应届生，不是畜生！

Data_Seven：真不知道这些企业哪来的成就感

点赞评论收藏

分享

04-23 16:48

门头沟学院 Java

分享下我写简历的话术

bg：27届/双非一本/今年开始走AI，给大家分享一下简历包装的话术 先说结果：改完简历后投了 12 家，收到 5 个面试（之前投了 20 家 0 面试）。不敢说全是简历的功劳，但改之前和改之后的区别确实很大。 改之前的简历（节选）： 技能：Java, Spring Boot, MySQL, Redis, Git 项目：学生选课管理系统（Spring Boot + Vue） - 实现了课程增删改查功能 - 实现了学生选课和退课功能 - 使用 Redis 缓存热门课程数据  改之后： 技能：Java, Spring Boot, MySQL, Redis, Git； AI 工具链：Claude A...

简历上如何体现你的“AI...

点赞评论收藏

分享

评论

点赞

收藏

招聘动态

“联宝杯”

2026 大学生创新大赛

上海人工智能实验室

2026年春季校园招聘

AI网申助手

网申字段一键填写

阿里巴巴集团

2027届实习生校园招聘

招商银行数字金融训练营

火热报名中

联想

27届暑期实习

厦门银行

2026届春季校园招聘

联想

26届补录

27届校招宝典

滴滴

2027届秋招储备实习生招聘

全站热榜

更多

创作者周榜

更多

正在热议

更多

# 如果春招能重来，我会___ #

3803次浏览 40人参与

# 想做Agent可以做哪些岗位？ #

1889次浏览 23人参与

# 联宝杯大学生创新大赛，你的技术值得产业级答案 #

42419次浏览 496人参与

# 这个offer值得去吗？ #

1543次浏览 22人参与

# 面试官拷打AI项目都会问什么？ #

1554次浏览 80人参与

# 除了线上，还能去哪些地方投简历 #

2847次浏览 30人参与

# 你觉得最好用的AI编程工具是_ #

761次浏览 23人参与

# mt对你说过最有启发的一句话 #

115045次浏览 870人参与

# 你会因为行情，降低找工作标准吗？ #

6952次浏览 77人参与

# 如何排解工作中的焦虑 #

324723次浏览 2791人参与

# 工作两年想退休了 #

272191次浏览 2057人参与

# 银行笔面经互助 #

195711次浏览 1324人参与

# 双非本科的出路是什么？ #

230655次浏览 1657人参与

# 你的第一家实习公司是什么档次？ #

73329次浏览 342人参与

# 你和你的mentor相处模式是__ #

5422次浏览 43人参与

# 你的mentor是什么样的人？ #

61528次浏览 795人参与

# 科大讯飞求职进展汇总 #

384217次浏览 3069人参与

# 实习第一天，你在干什么 #

3350次浏览 23人参与

# 哪些公司在招寒假实习？ #

95371次浏览 768人参与

# 秋招投递记录 #

416979次浏览 3283人参与

# 如果公司降薪，你会跳槽吗？ #

160834次浏览 950人参与

牛客网
牛客网在线编程
牛客网题解
牛客企业服务