首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏大数据技术与应用实战

    hadoop2.7.3源码解析之HA架构分析

    在hadoop 1.0的时候,hadoop集群只有一个namenode,一旦namenode挂掉了,整个集群就会不可用,hadoop 的HA机制(High Availability)就是为了解决上述问题而产生的。

    1.2K20发布于 2020-09-15
  • 来自专栏大数据技术与应用实战

    hadoop2.7.3源码解析之hdfs删除文件全流程分析h

    corruptReplicas corruptReplicas.removeFromCorruptReplicasMap(block, node); } } 总结 上述只是基于hadoop2.7.3

    1.5K10发布于 2020-09-15
  • 来自专栏大数据技术与应用实战

    hadoop2.7.3源码解析之datanode注册和心跳机制

    在hadoop启动的时候,正常的流程是先启动namenoe,然后启动datanode,因为namenode要接受datanode的注册,datanode的注册和心跳是在其启动的时候就开始了,入口方法自然是datanode的main方法。

    56520发布于 2020-09-15
  • 来自专栏王小雷

    超详细从零记录Hadoop2.7.3完全分布式集群部署过程

    超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。 1.2.提前准备安装包 Windows10(宿主操作系统) VMware12 workstation(虚拟机) Ubuntu16.04.1 LTS 服务器版 Hadoop2.7.3 jdk1.8 MobaXterm Hadoop集群完全分布式部署过程 JDK配置 Hadoop集群部署 4.1.安装JDK1.8 (配置源码Github,记得start哦) 4.1.1将所需文件(Hadoop2.7.3、JDK1.8)上传至 Github源码位置——超详细从零记录Hadoop2.7.3完全分布式集群部署过程 5.4.可能问题: 权限问题: chown -R xiaolei:xiaolei hadoop-2.7.3

    2.6K100发布于 2018-01-02
  • 来自专栏大数据学习笔记

    Hadoop基础教程-第13章 源码编译(13.2 Hadoop2.7.3源码编译)

    第13章 源码编译 13.2 Hadoop2.7.3源码编译 13.2.1下载Hadoop源码包 (1)到官网http://hadoop.apache.org/releases.html下载2.7.3的

    1.3K80发布于 2018-01-02
  • 来自专栏大数据学习交流

    大数据入门学习之Hadoop技术优缺点

    目前市面上绝大部分企业使用的是Hadoop2,本书使用的是Hadoop2.7.3这一版本。 Hadoop2的一个公共模块和三大核心组件组成了四个模块,简介如下。

    62120发布于 2019-06-05
  • 来自专栏CSDNToQQCode

    Hadoop快速入门——第三章、MapReduce案例(字符统计)

    hadoop/share/hadoop/mapreduce】 下 9、创建存储文件的文件夹 10、通过【jar】执行 ​11、查看生成结果 12、总结 环境要求: 1、分布式/伪分布式的hadoop环境【hadoop2.7.3

    43810编辑于 2022-11-29
  • 来自专栏james大数据架构

    0基础搭建Hadoop大数据处理-环境

    (需要机器能访问外网) 准备资源和环境   下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive

    1.5K70发布于 2018-01-22
  • 来自专栏性能与架构

    Hadoop 集群搭建

    目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建思路 (1)准备基础设施 准备3台服务器,分别命名为

    5.3K91发布于 2018-04-04
  • 来自专栏挖掘大数据

    零基础学习大数据,搭建Hadoop处理环境

    (需要机器能访问外网) 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本

    3.7K100发布于 2018-01-19
  • 来自专栏大数据技术学习

    零基础学习大数据,搭建Hadoop处理环境

    (需要机器能访问外网) QQ图片20180614163459.png 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包

    74170发布于 2018-06-15
  • 来自专栏大数据

    零基础搭建Hadoop大数据处理环境

    (需要机器能访问外网) 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本

    1.1K80发布于 2018-02-02
  • 来自专栏深蓝居

    在Ubuntu X64上编译Hadoop

    autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev 2.5安装ProtocolBuffer 2.5.0 注意,我要编译的是Hadoop2.7.3

    1.1K10编辑于 2022-06-16
  • 来自专栏华章科技

    零基础搭建Hadoop大数据处理环境

    (需要机器能访问外网) 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本

    70630发布于 2018-08-17
  • 来自专栏大数据人工智能

    小白请点进来!零基础搭建Hadoop大数据处理环境

    (需要机器能访问外网) 准备资源和环境 下载Centos 7.2 的iso安装镜像,jdk1.8 for Linux压缩包,hadoop2.7.3压缩包(本来用hadoop3,发现后面不兼容hive的最新版本

    1.3K100发布于 2018-05-05
  • 来自专栏猿码优创

    Linux安装部署单机Hadoop及测试

    <value>/kingyifan/hadoop/hadoop-2.7.7/temp</value> </property> </configuration> 4.5修改hadoop2.7.3

    3.3K20发布于 2019-07-27
  • 来自专栏chimchim要努力变强啊

    【面试】数据仓库面试经验总结

    (dfs.block.size) Hadoop2.7.2以前是64m,Hadoop2.7.3之后是128m 过小会增加寻址时间并且会生成大量小文件占用NameNode中大量内存来存储元数据; 过大会增加磁盘传输时间

    1.2K30编辑于 2022-11-13
  • 来自专栏利炳根的专栏

    学习笔记TF065: TensorFlowOnSpark

    下载Hadoop2.7.3版 http://hadoop.apache.org/#Download+Hadoop 。0.12.1版本支持较好。

    3.5K00发布于 2017-11-13
  • 来自专栏james大数据架构

    0基础搭建Hadoop大数据处理-编程

    因为我们直接用Hadoop2.7.3自带的WordCount程序,所以报名需要和代码中的一致为"org.apache.hadoop.examples",类名也必须一致为"WordCount"。

    1.6K90发布于 2018-01-22
  • 来自专栏Hadoop实操

    0481-如何从HDP2.6.5原地升级到CDH6.0.1

    2.比较HDP2.6.5和CDH5.16.1的组件版本 HDP2.6.5 CDH6.0.1 Hadoop2.7.3 Hadoop3.0 Hive1.2.1 Hive2.1.1 HBase1.1.2 HBase2.0

    1.6K20发布于 2018-12-27
领券