- 综合排序
- 最热优先
- 最新优先
- 来自专栏杂烩
jstorm2.1.1及jstorm webui安装
Jstorm 首先下载安装包，地址https://github.com/alibaba/jstorm/releases/download/2.1.1/jstorm-2.1.1.zip 然后配置环境变量 export JSTORM_HOME=/opt/jstorm/jstorm-2.1.1 export PATH=$PATH:$JSTORM_HOME/bin 为了保险，在bashrc中做同样的操作，然后执行 的war包在jstorm的安装目录，下载一个tomcat，然后将war拷贝到webapps下，并且解压到root文件夹，以下是官方命令 mkdir ~/.jstorm cp -f $JSTORM_HOME cd apache-tomcat-7.0.37 cd webapps cp $JSTORM_HOME/jstorm-ui-2.1.1.war ./ mv ROOT ROOT.old ln -s jstorm-ui jstorm deactivate {toponame} 5、列出所有TOPOLOGY ? jstorm list
1.1K30发布于 2018-08-17 - 来自专栏运维前线
CentOS 6.8 安装JStorm集群（jstorm-2.1.1 ）
[图片] JStorm 是一个分布式实时计算引擎 JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，JStorm将这个任务跑起来 因此，从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度， JStorm是一套类似MapReduce的调度系统。 从数据的角度，JStorm是一套基于流水线的消息处理机制。 && mv jstorm-2.1.1 jstorm # mkdir /opt/jstorm/jstorm_data echo '# jstorm env' >> ~/.bashrc echo 'export JSTORM_HOME=/opt/jstorm' >> ~/.bashrc echo 'export PATH=$PATH:$JSTORM_HOME/bin' >> ~/.bashrc source # 下面命令只需要在安装 jstorm_ui 和提交jar节点的机器上面执行即可 mkdir ~/.jstorm cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
1.1K60发布于 2018-01-02 - 来自专栏全栈程序员必看
Jstorm 环境搭建
解压安装包，配置JStorm_Home unzip jstorm-2.4.0.zip # 配置环境变量 $ vi ~/.bashrc export JSTORM_HOME=/home/jstorm/jstorm echo $JSTORM_HOME 3. home/jstorm/jstorm-2.4.0/data" jstorm.log.dir: "/home/jstorm/jstorm-2.4.0/logs" java.library.path: .安装WEB UI mkdir ~/.jstorm cp -f /home/jstorm/jstorm-2.4.0/conf/storm.yaml ~/.jstorm #编辑文件，在末尾添加一下配置， 启动jstorm # 在主节点服务器上执行以下命令 $ cd jstorm-2.4.0 $ nohup bin/jstorm nimbus & # 查看是否启动成功 $ jps 4346 Bootstrap
81020编辑于 2022-11-17 - 来自专栏全栈程序员必看
JStorm使用总结
JStorm 是一个类似Hadoop MapReduce的系统， 用户按照指定的接口实现一个任务，然后将这个任务递交给JStorm系统，JStorm将这个任务跑起来，并且按7 * 24小时运行起来 因此，从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度， JStorm是一套类似MapReduce的调度系统。 从数据的角度，JStorm是一套基于流水线的消息处理机制。 优点 在Storm和JStorm出现以前，市面上出现很多实时计算引擎，但自Storm和JStorm出现后，基本上可以说一统江湖： 究其优点： 开发非常迅速：接口简单，容易上手，只要遵守Topology、 实时推荐系统， 将推荐算法运行在jstorm中，达到秒级的推荐效果 在实际应用中，一般会通过spout与其他系统集成，例如RocketMQ这样的消息队列。 第二，对直播间内容进行利用 JStorm 实时收集，实时为直播间打上分类标签、topic、主题词等标签，并定时更新用户画像内容。
58220编辑于 2022-11-04 - 来自专栏杂烩
storm togolopy转换jstorm topology
artifactId> <version>1.0.2</version> </dependency> 转换成 <dependency> <groupId>com.alibaba.jstorm </groupId> <artifactId>jstorm-core</artifactId> <version>2.1.0</version> <scope>provided</scope file.exists()) { new File("\\opt\\jstorm").mkdirs(); try { new jar jar包地址 main方法主类 参数（空格分割） jstorm jar /opt/hadoop/loganalyst/storm-dependend/data/teststorm-1.0.jar /jstorm list 另一种是在webui界面上查看
86220发布于 2018-08-17 - 来自专栏我是攻城师
Jstorm2.1.1集群安装
的压缩包： https://github.com/alibaba/jstorm/releases （4）解压到指定目录并配置环境变量： unzip jstorm-2.1.1.zip vi .bashrc :$JAVA_HOME/lib export PATH=$JAVA_HOME/bin:$PATH #jstorm export JSTORM_HOME=/home/search/jstorm % is the jstorm home directory storm.local.dir: "%JSTORM_HOME%/data" # please set absolute path, JSTORM_HOME/logs/nimbus.log，检查是否有错误 B：在supervisor节点上执行 “nohup jstorm supervisor &”, 查看$JSTORM_HOME/logs ://storm.apache.org/ https://github.com/alibaba/jstorm/wiki/JStorm-Chinese-Documentation
1.4K40发布于 2018-05-14 - 来自专栏linux教程
CentOS 6.8 安装并使用JStorm集群
从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度， JStorm是一套类似MapReduce的调度系统。 从数据的角度，JStorm是一套基于流水线的消息处理机制。 && mv jstorm-2.1.1 jstorm # mkdir /opt/jstorm/jstorm_data echo '# jstorm env' >> ~/.bashrc echo 'export JSTORM_HOME=/opt/jstorm' >> ~/.bashrc echo 'export PATH=PATH:JSTORM_HOME/bin' >> ~/.bashrc source ~/ # 下面命令只需要在安装 jstorm_ui 和提交jar节点的机器上面执行即可 mkdir ~/.jstorm cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm logs/supervisor.log检查有无错误 9、JStorm Web UI JStorm集群启动成功截图如下： CentOS 6.8 实战部署JStorm集群CentOS 6.8 实战部署JStorm
90410编辑于 2023-04-26 - 来自专栏基哥杂记
基于JStorm开发一个实时计算平台
Jstorm Cluster 核心计算集群，基于storm的java版本，改进HA问题和计算性能优化。
1.1K20发布于 2020-07-06 - 来自专栏Albert陈凯
Jstorm事务，实现Storm事务思想Storm 事务的核心设计思想：
https://github.com/alibaba/jstorm/wiki/%E4%BA%8B%E5%8A%A1 storm的事务主要用于对数据准确性要求非常高的环境中，尤其是在计算交易金额或笔数，数据库同步的场景中 JStorm下一步将重新设计基于Meta 1 和Meta3 的事务模型，让使用者更简便，代码更清晰。 源码可以参考 jstorm-example Storm 事务的核心设计思想： Transaction 还是基于基本的属性之上，做的一层封装，从而满足transaction ##核心设计1 提供一个strong 这个阶段可以并发 commit阶段：这个阶段必须强顺序性，因此，一个时刻，只要一个batch在被处理 任何一个阶段发生错误，都会完整重发batch [ ](https://github.com/alibaba/jstorm
1.1K40发布于 2018-04-04 - 来自专栏我是攻城师
一次ArrayList的使用不当导致线上jstorm任务启动失败的案例
起因： 最近一次的的项目版本迭代中，我们的jstorm项目里面增加了一些新的功能，开发完毕后，按照正常的上线流程，代码是需要在开发，测试和预发布环境，测试完毕后才能上线。 基本排除了是操作步骤的和环境的问题之后，又仔细的检查了代码，发现了这个ArrayList是静态变量： static List<String> list=new ArrayList<>(); 而jstorm
1.5K20发布于 2018-12-25 - 来自专栏sunsky
Docker实用debug调试技巧锦集
$ docker run --name jstorm-zookeeper zookeeper:3.4 ... $ docker run --name jstorm-zookeeper zookeeper --name jstorm-zookeeper zookeeper:3.4 $ docker start jstorm-zookeeper # no error <! $ docker run -d --name jstorm-zookeeper zookeeper:3.4 $ docker logs jstorm-zookeeper ZooKeeper JMX enabled $ docker run -d --name jstorm-zookeeper zookeeper:3.4 && sleep 0.1 && docker pause jstorm-zookeeper & && docker logs jstorm-zookeeper jstorm-zookeeper ZooKeeper JMX enabled by default Using config: /conf
3K10发布于 2020-08-20 - 来自专栏sunsky
Docker/Dockerfile debug调试技巧
$ docker run --name jstorm-zookeeper zookeeper:3.4 ... $ docker run --name jstorm-zookeeper zookeeper --name jstorm-zookeeper zookeeper:3.4 $ docker start jstorm-zookeeper # no error <! $ docker run -d --name jstorm-zookeeper zookeeper:3.4 $ docker logs jstorm-zookeeper ZooKeeper JMX enabled $ docker run -d --name jstorm-zookeeper zookeeper:3.4 && sleep 0.1 && docker pause jstorm-zookeeper & && docker logs jstorm-zookeeper jstorm-zookeeper ZooKeeper JMX enabled by default Using config: /conf
3K20发布于 2020-08-20 - 来自专栏我是攻城师
实时收集Storm日志到ELK集群
辅助脚本 放在logstash的根目录下面 启动脚本：start_jstorm.shnohup bin/logstash -f config/jstorm.conf &> jstorm_logstash.log >jstorm_logstash_pid& 关闭脚本：stop_jstorm.shkill -9 `cat jstorm_logstash_pid` 收集检索效果 一切完成后，启动logstash收集进程后
1.4K40发布于 2018-05-14 - 来自专栏暴走大数据
Flink成为字节跳动流处理唯一标准
大概在 17 年 7 月份左右，当时 Jstorm 集群个数大概 20 左右，集群规模达到 5000 机器。 ? 当时使用 Jstorm 集群遇到了以下几个问题： ? 其次由于平台针对 Java Jstorm 的一些 Debug 工具，SDK 较弱，故推广 Java Jstorm 作业较难。 Jstorm->Flink 作业迁移 在迁移过程中，开始着手构建了一个流式管理平台。 ，完成将 Jstorm topology 转换为 Flink 作业。 Jstorm 和 Flink 在资源配置管理方面还是有些不同，Jstorm 没有 slot 的概念，Jstorm 没有 network buffer 等，因此为了方便用户迁移作业，我们完成了一个资源配置脚本
2.2K40发布于 2019-09-17 - 来自专栏飞总聊IT
大数据那些事(32):风暴，山寨风暴和遥遥无期的风暴二代
这个克隆的东西叫做JStorm。被阿里巴巴集团加入Apache基金会的时候作为厚礼之一给捐献给了基金会，成为了Storm下面孵化器里面的子项目，取名JStorm。 用真名更像花名的JStorm主将封仲淹的话来说，这代表着更高更快更强。封大大也加盟进了Storm的PMC。这算得上是开源界里面当年的一件很牛逼的事情了。 2015年JStorm进去作为子项目的时候，就听到传闻社区要出Storm2.0，会基于JStorm。但是大家也都知道，有人的地方就有江湖啊。 18个月过去了，JStorm还在孵化器里面孵化着。基于JStorm的Storm2.0也没啥声音。由不得我不去联想阴谋论和雷声大雨点小了。 但是无论如何，我觉得JStorm这个项目展现出了中国人在开源的世界里面的拳头和实力。是非常值得骄傲的事情。
1K80发布于 2018-04-08 - 来自专栏全栈程序员必看
(一个）kafka-jstorm集群实时日志分析 它 ———kafka实时日志处理
我们选择kafka集群，日志的处理分析选择jstorm集群，至于jstorm处理的结果，你能够选择保存到数据库里。入hbase、mysql。maridb等。
52100编辑于 2022-07-05 - 来自专栏Technology Share
天机阁——全链路跟踪系统设计与实现
子span在jstorm实时计算的时候，合并成“合并span”存储到hbase，上报过程见图8。 通过下表的对比，当初我们选择了Jstorm（其实现在Flink在多个方面已经比Jstorm做得更好，我们计划后续替换才Flink）。 实时性比较好办，Jstorm天生就能满足此要求，目前天机阁可以在3分钟左右发出告警，比模调系统快2到3分钟。 所谓一致性，是指jstorm处理的数据与agent上报的数据一致。 注：启用ack的弊端也很明显：jstorm内存消耗明显增大，jstorm处理性能也会下降。 目前天机阁的jstorm集群机器不足，暂时关闭了ack机制。 什么是确定性？ 实时性高：得益于jstorm的实时计算，天机阁的告警延时在2到3分钟。 2.
8K50发布于 2019-06-26 - 来自专栏携程技术
干货 | 携程实时大数据平台实践分享
今年我们尝试的第二个方向就是Jstorm，Storm的内核使用Clojure编写，这给后续深入的研究和维护带来了一定的困难，而Jstorm是阿里开源的项目，它完全兼容storm的编程模型，内核全部使用Java 来编写，这就方便了后续的研究和深入地调研；阿里的Jstorm团队非常Open，也非常专业化，我们一起合作解决了一些在使用上遇到的问题；除了内核使用Java编写这个优势之外，Jstorm对比storm在性能上也有一定的优势 我们现在基本上已经把三分之一的storm应用已经迁到Jstorm上了，我们使用的版本是2.1；在使用过程中有一些经验跟大家分享一下： 第一点是我们在与kafka集成中遇到的一些问题，这些在新版本中已经修复了 ： • 在Jstorm中，Spout的实现有两种不同的方式：Multi Thread（nextTuple，ack & fail方法在不同的进程中调用）和Single Thread，原生的Storm的Kafka 未来方向 在分享的最后，我来和大家聊聊实时数据平台未来的发展方向，主要有两个： 继续推动平台整体向Jstorm迁移，当然我们也会调研下刚刚开源的Twitter的Heron，与Jstorm做一个对比；
2.8K60发布于 2018-03-16 - 来自专栏程序架道
13个速度与激情般的开源中件间
09 实时计算：JStorm ? JStorm是Storm的Java版本,使用Java重写的同时在其基础上进行了大幅度的改进与优化.与Hadoop对大数据进行离线全量处理相对应，JStorm主要做的是对大数据的实时增量计算与流式计算。 Jstorm主要应用场景有： 1.信息流处理，如聚合、分析等 2.持续计算，如实时数据统计、监控 3.分布式rpc调用 Jstorm在内核上对storm的改进有： 1.模型简化 2.多维度资源调度 3. 网络通信层改造 4.采样重构 5.worker/task内部异步化处理 6.classload、HA 开源项目地址：https://github.com/alibaba/jstorm 10 天枢 VipServer 9，实时计算：JStorm。使用Java重写的同时在其基础上进行了大幅度的改进与优化.与Hadoop对大数据进行离线全量处理相对应，JStorm主要做的是对大数据的实时增量计算与流式计算。
2.8K30发布于 2019-08-27 - 来自专栏码上修行
看 Log4j2 频繁爆雷给出几点日志使用建议
示例：如依赖 jstorm 会引入 Logback 和 log4j-over-slf4j，如果在你⾃己的项⽬中使用 Log4j 或其他 Log 实现的话，就需要加上exclusion: <dependency > <groupId>com.alibaba.jstorm</groupId> <artifactId>jstorm-core</artifactId> <version>2.1.1
86241编辑于 2021-12-27
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号