- 综合排序
- 最热优先
- 最新优先
- 来自专栏开源部署
Hadoop本地模式配置
我使用的是VMware虚拟机，Ubuntu14.04 LTS，64位，已经安装Java，如果不知道如何配置网上有很多教程，不再赘述，我安装的是1.6.0_30版本。建议不要安装太高版本，我原来安装了1.8版本的，尝试配置Hadoop-2.6，死活都不成功，最后改成1.7版本的才配置成功。
89020编辑于 2022-07-04 - 来自专栏SmartSi
Hive 本地执行模式
Hive 可以通过本地模式在单台机器上处理所有的任务。 对于本地模式，如果你的查询启动的 MapReduce 作业少于4个 Mapper，那么 MapReduce 作业将在本地运行，这样可以在更短的时间内输出查询结果。 配置 需要满足如下三个配置条件，才能在本地模式下运行 Hive 查询： 参数 默认值 描述 hive.exec.mode.local.auto false 让Hive确定是否自动启动本地模式运行 hive.exec.mode.local.auto.inputbytes.max 134217728(128MB) 当第一个参数为true时，输入字节小于此值时才能启动本地模式 hive.exec.mode.local.auto.input.files.max 4 当一个参数为true 时，任务个数小于此值时才能启动本地模式 3.
3.4K20发布于 2019-08-07 - 来自专栏开源部署
Twitter Storm: 本地模式简介
这篇文章主要介绍storm的两种操作方式之一: 本地模式。 本地模式在一个进程里面模拟一个storm集群的所有功能， 这对开发和测试来说非常方便。 以本地模式运行topology跟在集群上运行topology类似。 要关闭一个本地集群，简单调用: 1 cluster.shutdown(); 就可以了。 本地模式下的一些常用配置 你可以在这里看到完整的配置列表： 1. 一般来说生成环境的这个配置很大(100左右), 而这对于本地测试来说太大了， 这个配置可以让你把它调小。 2.
49820编辑于 2022-06-30 - 来自专栏后端开发随笔
Flink本地模式安装和使用
启动本地模式集群： $ ./bin/start-cluster.sh Starting cluster. Starting standalonesession daemon on host xxx. 停止本地模式集群： $ ./bin/stop-cluster.sh Stopping taskexecutor daemon (pid: 3900) on host xxx. 写在最后 通常来讲，在安装Flink本地集群模式学习时，除了需要安装Flink本身以外，需要同时安装Kafka和MySQL作为数据输入源和数据输出目的地。
98910编辑于 2022-10-05 - 来自专栏奕空
hadoop3.0搭建本地模式和伪分布模式
HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export PATH #保存退出后设置生效 source ~/.bash_profile 设置免密登录 点击这里查看 本地模式 注意：本地模式不能hdfs，只能测试mapreduce 修改配置文件：hadoop-env.sh vi hadoop-env.sh #执行:set number显示行号，37行配置jdk路径 JAVA_HOME 排序按字母默认排序） [root@Hadoopc1 wordcountresult]# cat part-r-00000 北京 3 在 2 属于 1 我 2 西直门 2 伪分布模式
1.5K41发布于 2019-05-14 - 来自专栏大数据成长之路
Spark基础环境搭建——local本地模式
2.为了方便浏览和更改配置信息，我们把主机名更换为node01,node02..... local本地模式 <1> 安装 我们需要下载Spark的安装包。 /spark-shell 表示使用local 模式启动，在本机启动一个SparkSubmit进程 <2>还可指定参数 --master，如： spark-shell --master local[N] 表示在本地模拟N个线程来运行当前任务 spark-shell --master local[*] 表示使用当前机器上所有可用的资源 <3>不携带参数默认就是 spark-shell node01:7077,node02:7077 <5>退出spark-shell 使用 :quit ok，说了那么多概念，接下来让我们来感受一下Spark的具体使用~ <3>初体验-读取本地文件
1.2K50发布于 2021-01-27 - 来自专栏迁移内容
Spark入门- Spark运行Local本地模式
一、Spark单机模式部署 Spark版本 ： spark-2.4.7-bin-hadoop2.7 1、安装配置JDK环境 2、下载Spark 官网下载http://spark.apache.org –class 你的应用的启动类 (如 org.apache.spark.examples.SparkPi) –deploy-mode 是否发布你的驱动到 worker节点(cluster 模式) 或者作为一个本地客户端 (client 模式) (default: client) –conf: 任意的 Spark 配置属性， 格式key=value. img-fCXxgJmX-1609287306339)(image/image2.png)] 4.6、 提交流程 4.7、 wordcount 数据流程分析 textFile("input")：读取本地文件
2.1K10编辑于 2022-12-01 - 来自专栏不温卜火
Spark快速入门系列(2) | Spark 运行模式之Local本地模式
Local 模式就是指的只在一台计算机上来运行 Spark. 通常用于测试的目的来使用 Local 模式, 实际的生产环境中不会使用 Local 模式. 一. –class 你的应用的启动类 (如 org.apache.spark.examples.SparkPi) –deploy-mode 是否发布你的驱动到 worker节点(cluster 模式) 或者作为一个本地客户端 (client 模式) (default: client) –conf: 任意的 Spark 配置属性， 格式key=value. textFile("input")：读取本地文件input文件夹数据； flatMap(_.split(" "))：压平操作，按照空格分割符将一行数据映射成一个个单词； map((_,1))：对每一个元素操作
5.2K21发布于 2020-10-28 - 来自专栏大数据技术
【赵渝强老师】部署Hadoop本地模式
source /root/.bash_profile Hadoop在本地模式下将没有HDFS和Yarn。 因此，Hadoop本地模式只能测试MapReduce任务，并把MapReduce任务运行本地，与运行一个普通的Java程序完全一样。Hadoop本地模式的配置非常简单，只需要修改一个参数即可。 下面以bigdata111的虚拟主机为例，演示如何完成Hadoop本地模式的部署。 3.1.2/etc/hadoop/（2）修改文件hadoop-env.sh，设置JAVA_HOMEexport JAVA_HOME=/root/training/jdk1.8.0_181至此Hadoop本地模式配置完成
39810编辑于 2024-08-12 - 来自专栏机器学习与统计学
大模型本地部署，vLLM 睡眠模式来了
为什么睡眠模式优于快速权重加载器 即使拥有即时权重加载能力，每次冷启动仍需支付睡眠模式能够避免的隐藏成本： 成本项 描述 快速权重加载器 睡眠模式 1. 睡眠模式L1与无睡眠模式的性能对比 下方的交互式图表显示了执行5次模型切换的总时间：在模型A上运行推理，切换到模型B，在模型B上运行推理，然后重复这个模式（A→B→A→B→A→B）。 使用睡眠模式： 模型在切换间休眠/唤醒，保留基础设施。 不使用睡眠模式： 每次切换需要完整的vLLM重启和重载。 vLLM官方博客 吃瓜，大模型推理引擎，vLLM和SGLang 杠起来了 Xinference 大模型推理框架，离线部署，支持vLLM、SGLang、llama.cpp等引擎 快手编程大模型真实水平，本地部署 ，实测 智谱GLM-4.5-Air量化大模型，本地部署，实测 字节跳动开源大模型Seed-OSS-36B，本地部署，性能实测
1.3K10编辑于 2025-11-20 - 来自专栏WorkBuddy知识库
AI开发成本控制实战：本地模式 vs 云端模式成本对比
-16,000元/月+合规风险成本（难以量化）结论：本地模式虽然直接成本略高，但综合成本更低4.4场景4：离线环境（工厂、野外、航空等）必须使用：本地模式理由：无网络连接，效率模式无法使用本地模式离线可用 ：必须使用本地模式实施建议：制定企业内部的《AI使用规范》对员工进行培训，明确哪些任务可以用效率模式，哪些必须用本地模式定期审计AI使用日志，确保合规6.2优化硬件配置本地模式硬件建议：CPU：≥6核（ ：工作日白天使用效率模式（需要快速响应）夜间批量任务使用本地模式（成本更低）敏感任务强制使用本地模式实施工具：使用Marvis的"双模式自动切换"功能配置规则：如文件包含"合同"、"财务"等关键词，自动切换到本地模式 ：本地模式的推理能力会不会太弱？ →是：本地模式；否：继续是否对响应速度要求极高？→是：效率模式；否：本地模式（成本更低）Q4：本地模式对设备要求高吗？老旧设备能用吗？
23421编辑于 2026-06-09 - 来自专栏学习java的小白
hadoop-3.2.0------>入门三 本地模式 WordCount实例
7、保存并退出（先点击esc退出编辑模式，然后输入wq！
1.2K10发布于 2020-12-07 - 来自专栏学习java的小白
hadoop-3.2.0------>入门二 本地模式 grep实例
bin：存放的是我们用来实现管理脚本和使用的脚本的目录，我们对hadoop文件系统操作的时候用的就是这个目录下的脚本
1.1K10发布于 2020-12-07 - 来自专栏气象杂货铺
模式检验库Meteva笔记：加载本地观测数据
本地数据 本文使用 NWPC 制作的观测数据，每个时次一个文件。 原始观测数据来自从 CIMISS 检索的全球地面逐小时数据 (SURF_GLB_MUL_HOR)。 验证 对比从 GDS 上检索的数据和本地观测数据 筛选 按照 GDS 数据的站点号过滤 gts_data 使用 pd.merge() 函数合并两个 DataFrame，使用 inner 合并，仅保留两个数据中都有的站点观测 mem.continuous.rmse( merged_station_data["T"], merged_station_data["TEM"] ) 0.0020223775004260154 两个数据差别很小，说明本地观测数据文件可以在某种程度上代替 指标 以 RMSE 为例说明 计算 NCEP GFS 模式 24 小时 2 米温度相对于观测站点的 RMSE 数据 格点数据路径 forecast_date_utc = obs_date_utc - pd.Timedelta grib2_path PosixPath('/g1/COMMONDATA/glob/gfs/2020/gfs.2020091800/gfs.t00z.pgrb2.0p50.f024') 观测数据使用本地载入的数据
3.1K22发布于 2020-09-24 - 来自专栏java相关资料
Sentinel + SpringBoot 基于本地文件模式实现规则持久化
/artifactId> <version>1.18.12</version> <scope>provided</scope> </dependency> 接下来添加Sentinel的本地文件持久化代码 implements InitFunc { @Override public void init() throws Exception { // TIPS: 持久化在本地的目录 以上基于本地文件模式持久化规则,到此就结束了。
2.4K30发布于 2020-09-08 - 来自专栏路过君BLOG from CSDN
EXTJS7 combobox本地模式 动态修改选项
声明内存store xtype: 'combobox', // 默认为remote,store.remoteFilter会被设置为true,且每次下拉都会触发store.load()导致下拉选项被清空 queryMode: 'local', store: { data:[] } 修改选项数据 store.loadData([...]); 如果如果没有设置 queryMode=‘local’,通过以下方法修改选项数据 // 此处proxy为Ext.data.proxy.Memory store.getPro
97410发布于 2020-06-19 - 来自专栏Lansonli技术博客
大数据Flink进阶（十二）：Flink本地模式开启WebUI
Flink本地模式开启WebUI 在工作中我们一般使用IntelliJ IDEA开发工具进行代码开发，为了能方便快速的调试Flink和了解Flink程序的运行情况，我们希望本地开发工具中运行Flink 时能查看到WebUI，这就可以在编写Flink程序时开启本地WebUI。 一、在Flink 项目中添加本地模式 WebUI的依赖 在Flink1.15版本之前根据使用Scala版本在Java Flink项目或Scala Flink项目中添加对应Scala版本的依赖。 WebUI Flink Java 代码启动本地WebUI： Configuration conf = new Configuration(); //设置WebUI绑定的本地端口 conf.setString StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(configuration) 三、编写完整代码启动并访问WebUI Java 代码示例： //1.使用本地模式
10.2K11编辑于 2023-04-08 - 来自专栏桥路_大数据
spark集群模式下textFile读取file本地文件报错解决
前言 如果在spark-shell中使用textFile(“file://path”)演示，在local模式下是没有问题的，因为毕竟就是在本机运行，读取本地的文件。
2.2K10发布于 2019-02-20 - 来自专栏圣杰的专栏
分布式事务 | 使用 dotnetcoreCAP 的本地消息表模式
本地消息表模式 本地消息表模式，其作为柔性事务的一种，核心是将一个分布式事务拆分为多个本地事务，事务之间通过事件消息衔接，事件消息和上个事务共用一个本地事务存储到本地消息表，再通过定时任务轮询本地消息表进行消息投递 发件箱模式的示意图如下所示： 从上图可以看出，其实现原理与上面提及的本地消息表模式十分相似，我们可以理解其也是本地消息表模式的一种实现。 作者Savorboard也正是受该电子书启发，实现了.NET版本的本地消息表模式，并命名为dotnetcore/CAP，其架构如下图所示。 基于dotnetcore/CAP 实现分布式事务 那具体如何使用dotnetcore/CAP来解决分布式事务问题呢，基于本地消息表加补偿模式实现。 同时基于dotnetcore/CAP的本地消息表模式和补偿模式，也可以有效的实现分布式事务。
1.3K30编辑于 2023-02-10 - 来自专栏开源部署
Spark实战1：单节点本地模式搭建Spark运行环境
比如 scala> sc res13: org.apache.spark.SparkContext = org.apache.spark.SparkContext@be3ca72 这里只是本地运行，
1.1K30编辑于 2022-07-03
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号