开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >【快速入门大数据】Hadoop3.x新特性

【快速入门大数据】Hadoop3.x新特性

作者头像

瑞新

发布于 2021-12-06 14:00:03

发布于 2021-12-06 14:00:03

3530

举报

文章被收录于专栏：用户3288143的专栏用户3288143的专栏

3.x必须在java8环境为前提

Common改进 shell被重写过时api方法可能被删除向下兼容老版本命令
hdfs改进（ec代替副本机制 50%提升空间利用率）删除编码方式支持两个以上的namenode（高可用可用+备用） datanode平衡单个datanode管理多个磁盘目录。添加或替换磁盘导致datanode数据倾斜。现有hdfsbalanse没办法解决倾斜，使用新的diskbalance去cli解决对应临时端口冲突，改进

yarn改进 timeline历史版本稳定性 contain队列稳定

mapreduce task提升30% 添加新方法、减小mr 的heap大小
其他 hadoop jar，避免hadoop的依赖和应用程序的依赖有关系上的泄露继承微软阿里存储系统文件系统

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2021/01/23 ，如有侵权请联系 cloudcommunity@tencent.com 删除