gzip压缩支持文件分割,输入的文件块可以给多个map任务共用,可能会导致运行时间变长
对于大型文件,最好对整个文件进行gzip压缩,提高空间利用率
对于gzip的文本压缩文件,可以通过hadoop fs –text方式来查看文件内容
在hadoop脚本中通过设置mapred.output.compression.codec=true来设置使用默认压缩算法
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题