- 综合排序
- 最热优先
- 最新优先
- 来自专栏懒人开发
hadoop（1）：hadoop概述
---- hadoop概述 hadoop是 Doug Cutting 在 Lucene 之后的一个项目 主要用于 计算 是一个 开源，可靠，可扩展 的分布式计算框架 主要有 hdfs 也就是 ，只是时间会长很多 yarn 分布式资源调度 当然，hadoop1 和 hadoop2 的一些名词有变化 但是，对应的实现，是没有太大区别的 好处是，可以多台机器同时处理，通过心跳去及时获取计算结果 ---- hadoop的场景 一般可以用于 日志分析 海量数据的计算 复杂算法 搜索引擎 dsp获取的个人数据以及为行为分析提供数据 对应的hadoop生态圈 ? 核心 Hadoop Common 很多项目都有common模块 常用的基础，都放在里面 Hadoop HDFS hadoop的 dfs（Distributed File System）分布式文件系统 Hadoop MapReduce 分布式离线并行计算框架 也就是核心想法（先Map，再reduce） Hadoop YARN 新的MapReduce框架， 任务调度，资源管理 ---- hdfs相关
1.5K30发布于 2018-09-12 - 来自专栏数据分析与挖掘
hadoop之hadoop基础介绍
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ ? HDFS（hadoop distributed file system） 是什么？
1.1K10发布于 2020-08-26 - 来自专栏数据分析与挖掘
hadoop之hadoop目录结构
首先是bin目录下： 然后是etc：主要存放各种配置文件 include： native：本地库 sbin：存放着一些指令 share：
1.1K20发布于 2020-08-26 - 来自专栏Danny的专栏
【Hadoop学习笔记】——Hadoop基础
Hadoop初识 ---- 随着数据量的急剧增加，遇到的两个最直接的问题就是数据存储和计算(分析/利用)。 Hadoop应用场景 ---- 简单认识了什么是Hadoop，再来了解一下Hadoop一般都适用于哪些场景。 Hadoop主要应用于大数据量的离线场景，特点是大数据量、离线。 1、数据量大：一般真正线上用Hadoop的，集群规模都在上百台到几千台的机器。这种情况下，T级别的数据也是很小的。 大量的小文件使用Hadoop来处理效率会很低。 Hadoop常用的场景有： ●大数据量存储：分布式存储（各种云盘，百度，360~还有云平台均有hadoop应用） ●日志处理 ●海量计算，并行计算 ●数据挖掘(比如广告推荐等）
1.3K30发布于 2018-09-13 - 来自专栏小道
Hadoop
1 Hadoop常用端口号 hadoop2.x Hadoop3.x 访问HDFS端口 50070 9870 访问MR执行情况端口 8088 8088 历史服务器 19888 19888 客户端访问集群端口 9000 8020 2 Hadoop配置文件 hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves 6 hadoop节点动态上线下线怎么操作? (2) 如果 transitionToStandby 方法调用失败，那么就执行 Hadoop 配置文件之中预定义的隔离措施，Hadoop 目前主要提供两种隔离措施，通常会选择 sshfence： 实际上，Hadoop的调度器远不止以上三种，最近，出现了很多针对新型应用的Hadoop调度器。
1.1K10编辑于 2023-10-17 - 来自专栏开源部署
Hadoop学习教程(四) —- Hadoop集群
下面就跟着笔者开始配置Hadoop集群吧。 (填写从节点主机名，一行一个): hadoop.slave1 hadoop.slave2 hadoop.slave3 至此，配置已经修改完了，接下来是启动。 ： hadoop fs -put /usr/local/hadoop/test.txt /user/hadoop/input1/ 4.查看文件是否已经上传至HDFS中，命令如下: hadoop fs -ls /user/hadoop/input1/ 5.运行hadoop-example.jar，命令如下： cd /usr/local/hadoop hadoop -jar hadoop-example-1.2.1.jar wordcount /user/hadoop/input1/test.txt /user/hadoop/output1 6.过程截图： 7
1.9K20编辑于 2022-07-08 - 来自专栏Hadoop数据仓库
Kettle与Hadoop（三）连接Hadoop
目录 一、环境说明 二、连接Hadoop集群 三、连接Hive 四、连接Impala 五、后续（建立MySQL数据库连接） 参考：Use Hadoop with Pentaho Kettle 可以与Hadoop协同工作。 在spoon中选择Hadoop种类 选择主菜单“Tools” -> “Hadoop Distribution...” 至此已经创建了一个Hadoop集群对象和三个数据库连接对象，如图12所示。 ? 图12 后面将在这些对象上进行一系列Kettle读写Hadoop组件的实验。 参考：Use Hadoop with Pentaho
4.9K21发布于 2020-05-29 - 来自专栏java架构师
Hadoop学习4--安装Hadoop
178: /usr/hadoop/logs/hadoop-master-datanode-slave2.out: Permission denied 个人分析，/usr目录的所有者是root，而我安装hadoop tip： 解压缩命令：tar -zxvf hadoop-2.7.0.tar.gz 解压出来的文件是hadoop-2.7.0 copy命令：cp -r hadoop-2.7.0 ~/work/hadoop 这里直接重命名为hadoop 二、创建工作文件夹 一共三个，我建在了~/hadoop/这个文件夹下，便于管理： 附命令： cd ~/hadoop mkdir tmp mkdir -p dfs/name ~/work/hadoop/etc/hadoop/yarn-env.sh ~/work/hadoop/etc/hadoop/slaves ~/work/hadoop/etc/hadoop/core-site.xml ~/work/hadoop/etc/hadoop/hdfs-site.xml ~/work/hadoop/etc/hadoop/mapred-site.xml ~/work/hadoop/etc/hadoop
1.6K90发布于 2018-04-16 - 来自专栏韩曙亮的移动开发专栏
【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils )
/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz 官方下载速度很慢 ; 这里提供一个 Hadoop 版本 , Hadoop 3.3.4 + winutils , CSDN 解压 Hadoop 完成后 , Hadoop 路径为 D:\001_Develop\052_Hadoop\hadoop-3.3.4 三、设置 Hadoop 环境变量 ---- 在 环境变量 中 , 设置 HADOOP_HOME = D:\001_Develop\052_Hadoop\hadoop-3.3.4 系统 环境变量 ; 在 Path 环境变量中 , 增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 环境变量 ; 四、配置 Hadoop 环境脚本 ---- 设置 D:\001_Develop\052_Hadoop\hadoop-3.3.4\etc\hadoop ; 七、验证 Hadoop 安装效果 ---- 然后在命令行中 , 执行 hadoop -version 验证 Hadoop 是否安装完成 ; C:\Windows\system32>hadoop -
8.2K31编辑于 2023-10-11 - 来自专栏后台技术底层理解
hadoop + docker 搭建hadoop学习环境
同时docker搭建hadoop环境可以省去很多重复的步骤。 同时现在hadoop的版本比较多，虽然推荐使用HDP和CDH进行集群的搭建，但是在学习时间推荐使用Apache Hadoop进行搭建，可以更快的学习hadoop的工作原理。 配置 在/data下解压hadoop-2.7.3 进入hadoop-2.7.3/etc/hadoop/下进行修改配值文件 vim hadoop-env.sh 在其中添加java环境 export </description> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/hadoop-2.6.0/dfs =/data/hadoop-2.7.3 exportPATH=.
2.5K40发布于 2020-08-05 - 来自专栏Linux云运维
Hadoop
一，网卡配置 二，免密登录 1，创建一个Hadoop用户 useradd hadoop passwd hadoop 2，修改主机名 hostnamectl set-hostname master 3， 配置IP地址映射 4，配置SSH免密登录（切换到hadoop用户） 生成公钥私钥文件 ssh-keygen -t rsa -P ''yes master， slave1，slave2互相传送公钥文件 ssh-copy-id hadoop@master ssh-copy-id hadoop@slave1 ssh-copy-id hadoop@slave2 三，JDK环境配置 1，先进入opt目录，如图 配置 1，先进入opt目录，如图： 2，将安装包解压到/usr/local/src/software/ tar -xvf hadoop-2.7.1.tar.gz - C . 3，设置Hadoop hadoop 了。
65030编辑于 2023-03-17 - 来自专栏如来的java学习
【Hadoop入门】Hadoop的架构介绍
Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。 Hadoop框架透明地为应用提供可靠性和数据移动。 Hadoop的历史及特点 1. Hadoop的历史 ? image.png 2. 可靠性（Reliable） hadoop 能自动地维护数据的多份副本，并且在任务失败后能自动重新部署(redeploy)计算任务 Hadoop的组成 1. Hadoop的核心组件 ? （8）可扩展性 由于Hive是建立在Hadoop之上的，因此Hive的可扩展性是和Hadoop的可扩展性是一致的（世界上最大的Hadoop集群在Yahoo!，2009年的规模在4000台节点左右）。 Hadoop的应用实例 1. 回顾Hadoop的整体架构 ? image.png 2.Hadoop的应用——流量查询系统 （1）流量查询系统总体框架 ?
4.3K31发布于 2020-07-14 - 来自专栏大数据
Hadoop 学习总结（1）-Hadoop搭建
jar \ /opt/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar \ wordcount =HADOOP_MAPRED_HOME=/opt/hadoop-3.2.1 # Reduce Task 运行环境 MAPRED_CONF_mapreduce_reduce_env=HADOOP_MAPRED_HOME /hadoop.env datanode1: image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8 container_name /hadoop.env datanode2: image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8 container_name /hadoop.env resourcemanager: image: bde2020/hadoop-resourcemanager:2.0.0-hadoop3.2.1-java8
26320编辑于 2026-06-25 - 来自专栏程序媛驿站
Hadoop | 海量数据与Hadoop初识
2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop 不得不说Google和Yahoo对Hadoop的贡献功不可没。 Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。 要想了解Hadoop，就必须知道HDFS和MapReduce是什么。 HDFS HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。 大量的小文件 频繁修改文件（基本就是写1次） 最后 要知道，Hadoop的使用范围远小于SQL或Python之类的脚本语言，所以不要盲目使用Hadoop，看完这篇文章，要知道Hadoop是否适用于你的项目
1.4K20编辑于 2022-04-11 - 来自专栏容器计算
【Hadoop】 Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc编译Hadoop问题
[ERROR] Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc After correcting the problems, you can resume the build with the command [ERROR] mvn <args> -rf :hadoop-common 在打包 Hadoop 2.8.5 的时候，报错信息大概如上，其实很好解释，就是本地的 protoc 的版本跟 Hadoop 需要的版本不一样了，从报错信息可以知道，本地是 2.6.1，只要改成 2.5.0
1K30发布于 2021-05-27 - 来自专栏Java学习123
《Hadoop基础教程》之初识Hadoop
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop核心 Hadoop的核心就是HDFS和MapReduce，而两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如 HBase、Hive等，这些都是基于 但要知道，Hadoop的使用范围远小于SQL或Python之类的脚本语言，所以不要盲目使用Hadoop，看完这篇试读文章，我知道Hadoop不适 用于我们的项目。 不过Hadoop作为大数据的热门词，我觉得一个狂热的编程爱好者值得去学习了解，或许你下一个归宿就需要Hadoop人才，不是吗。
1K50发布于 2018-05-16 - 来自专栏Hadoop实操
Hadoop已死，Hadoop万岁
云，在地平线之内 最近又有很多关于“Hadoop已死”的论调，似乎每隔一段时间就会有一些类似的文章或声音。几年前Cloudera就已经停止了以Hadoop来营销自己，而是一家企业数据公司。 那么，如果Hadoop不是“项目”或一组项目，它是什么？ 就个人而言，“Hadoop”是一门哲学 - 向管理和分析数据现代架构的转变。 呃，再说一次？ Merv问他为什么那是Hadoop，他回答说：“它是“Hadoop”，因为Hadoop团队建立了它”。此外，使用的Spark确实来自Hadoop发行版。因此Merv指出：“情人眼里出Hadoop”。 所以，Hadoop已死？ 你所认为的传统的Hadoop已经死了，确实如此。 Hadoop已死，“Hadoop”万岁。
1.9K20发布于 2019-09-16 - 来自专栏机器学习算法与Python学习
Hadoop已死？Hadoop万岁！
话虽如此，在“Hadoop已死”这一负面论调的汪洋大海中航行，还是困难重重。 Hadoop是什么？ 首先，从最基本的层面来讲——Hadoop最初是Apache 软件基金会的一个开源项目。 “Hadoop 哲学” “Hadoop 哲学”始终遵循以下原则： 1. Merv问他为什么选择Hadoop，他回答是因为Hadoop团队创建了它。而且，使用的Spark来自Hadoop发行版。因此，Merv指出：“通常，旁人才能看出Hadoop的价值所在。” 那么，Hadoop已经死去了吗？ 对Hadoop旧的认知已经过时了——尘埃落定。 Hadoop作为一种理念，正在推动着开源技术生态系统和开放数据标准不断发展，使人们能够将数据转化为观点，这种理念是鲜活而持久的。 只要有数据，就会有Hadoop。 Hadoop的旧理念已死。
1.2K30发布于 2019-10-14 - 来自专栏大数据学习笔记
Hadoop基础教程-第2章 Hadoop快速入门（2.1 Hadoop简介）
第2章 Hadoop快速入门 2.1 Hadoop简介 2.1.1 Hadoop编年史 （1）2002年10月，Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。 （10）2008年6月，Hadoop的第一个SQL框架——Hive成为了Hadoop的子项目。 2.1.2 Hadoop 核心组件 Hadoop 包含以下模块： Hadoop Common：常见实用工具，用来支持其他 Hadoop 模块。 其他与 Apache Hadoop 的相关项目包括： Ambari：一个基于Web 的工具，用于配置、管理和监控的 Apache Hadoop 集群，其中包括支持 Hadoop HDFS、Hadoop 2.1.3 Hadoop三大发行版 （1） Apache Hadoop Apache Hadoop最原始版本，所有其他发行版均基于该发行版实现的。
73920编辑于 2022-05-06 - 来自专栏迁移内容
初识Hadoop：大数据与Hadoop概述
Hadoop 在大数据技术体系中的地位至关重要，Hadoop 是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。 hadoop是什么？ Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 主要解决数据存储和海量数据的分析计算问题。 广义上说，Hadoop通常指一个广泛的概念——Hadoop生态圈。 Hadoop的优势！ 高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。 高扩展性。 Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 低成本。 Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。 hadoop的组成！
85930编辑于 2022-12-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号