聊聊storm nimbus的LeaderElector

序 本文主要研究一下storm nimbus的LeaderElector Nimbus org/apache/storm/daemon/nimbus/Nimbus.java public static nimbus = new Nimbus(conf, inimbus, metricsRegistry); nimbus.launchServer(); final ThriftServer server.serve(); return nimbus; } public Nimbus(Map<String, Object> conf, INimbus inimbus ", e); Utils.exitProcess(13, "Error on initialization of nimbus"); } } Nimbus nimbus进行校验，需要本地拥有所有的active topologies以及所有dependencies，否则放弃leadership doc Highly Available Nimbus Design

聊聊storm nimbus的mkAssignments

序 本文主要研究一下storm nimbus的mkAssignments Nimbus.mkAssignments storm-2.0.0/storm-server/src/main/java/org/ apache/storm/daemon/nimbus/Nimbus.java void doRebalance(String topoId, StormBase stormBase) throws mkAssignments(String scratchTopoId) storm-2.0.0/storm-server/src/main/java/org/apache/storm/daemon/nimbus 分配新的assignments lockingMkAssignments storm-2.0.0/storm-server/src/main/java/org/apache/storm/daemon/nimbus /Nimbus.java private Map<String, SchedulerAssignment> computeNewSchedulerAssignments(Map<String,

JWT 使用 nimbus-jose-jwt 进行解码

常用的可以使用 OAuth0 提供的解码包，你也可能会使用 nimbus-jose-jwt 包。 Maven 配置参数为： <dependency> <groupId>com.nimbusds</groupId> <artifactId>nimbus-jose-jwt</artifactId nimbus-jose-jwt 返回的结果是 set。随后你就可以根据返回的 Set 去查询你需要的内容了。 请注意，有时候返回的内容可能是不同的数据格式，你可能需要转换。 比如说我们这里是 roles，nimbus-jose-jwt 返回的是 JSONArray。 core-java-modules/core-java-io/src/test/java/com/ossez/jwt/JWTTest.java https://www.ossez.com/t/jwt-nimbus-jose-jwt

聊聊storm client的nimbus.seeds参数

序 本文主要研究一下storm client的nimbus.seeds参数 NIMBUS_SEEDS storm-core-1.1.0-sources.jar! public static final String NIMBUS_SEEDS = "nimbus.seeds"; 可以看到这里废除了nimbus.host参数，而nimbus.seeds参数主要用于发现 ; } 这里仍然兼容NIMBUS_HOST参数，如果有NIMBUS_HOST参数则从中读取seeds，没有则从NIMBUS_SEEDS参数获取 之后遍历seeds，根据每个seed创建NimbusClient Did you specify a valid list of nimbus hosts for config nimbus.seeds?”) 小结 对于storm client来说，nimbus.seeds参数用于client进行寻找nimbus leader，而nimbus.host参数已经被废弃 寻找nimbus leader的过程就是挨个遍历

Storm客户端提交任务失败原因分析

at backtype.storm.daemon.nimbus$fn__4364.invoke(nimbus.clj:1173) ~[storm-core-0.9.7.jar:0.9.7] (Nimbus.java:1240) ~[storm-core-0.9.7.jar:0.9.7] at backtype.storm.generated.Nimbus$Processor * @see NIMBUS_INBOX_JAR_EXPIRATION_SECS */ public static final String NIMBUS_CLEANUP_INBOX_FREQ_SECS * @see NIMBUS_CLEANUP_FREQ_SECS */ public static final String NIMBUS_INBOX_JAR_EXPIRATION_SECS = " nimbus.inbox.jar.expiration.secs"; NIMBUS_CLEANUP_INBOX_FREQ_SECS： 表示nimbus多久唤醒一次清理线程去进行清理； NIMBUS_INBOX_JAR_EXPIRATION_SECS

storm0.9.5集群安装

supervisor.slots.ports -6701 -6702 -6703 -6704 -6705 #指定nimbus启动JVM最大可用内存大小 nimbus.childopts:"-Xmx1024m 新浪微博：intsmaze刘洋洋哥 启动storm 在storm/bin目录下         先在nimbus主机上启动nimbus         . /storm nimbus          ./storm ui 这样启动如果关闭会话窗口nimbus服务就会关闭。 输入下面命令，让nimbus在后台进程；运行。         nohup . 5、Storm集群的进程及日志熟悉 5.1、查看nimbus的日志信息 在nimbus的服务器上 cd /export/servers/storm/logs tail -100f /export /servers/storm/logs/nimbus.log 5.2、查看ui运行日志信息 在ui的服务器上，一般和nimbus一个服务器 cd /export/servers/storm/logs

linux中查找所有已安装的字体

列出所有字体 要列出 Linux 系统上所有已安装的字体，请运行以下命令 > fc-list /usr/share/fonts/urw-base35/NimbusMonoPS-Italic.otf: Nimbus urw-base35/D050000L.t1: D050000L:style=Regular /usr/share/fonts/urw-base35/NimbusSansNarrow-Regular.t1: Nimbus Sans Narrow:style=Regular /usr/share/fonts/urw-base35/NimbusSansNarrow-BoldOblique.t1: Nimbus Sans Narrow :style=Bold Oblique /usr/share/fonts/urw-base35/NimbusMonoPS-Bold.otf: Nimbus Mono PS:style=Bold /usr Sans:style=Italic /usr/share/fonts/urw-base35/NimbusSans-Bold.t1: Nimbus Sans:style=Bold /usr/share/

60亿美金，Nimbus许可给武田的NDI-034858Zasocitinib是AI还是Fast-Follow ?

CentOS 6.X 安装中文字体

mkfontscale 安装完成后，使用fc-list命令查看系统中已经安装的字体 [root@aniu-pd-api-2 ~]# fc-list Utopia:style=Bold Italic Nimbus L:style=Regular Hershey\-Plain\-Duplex:style=Regular URW Palladio L:style=Italic Nimbus Sans L:style =Bold Condensed URW Gothic L:style=Demi Nimbus Roman No9 L:style=Medium Italic Nimbus Mono L:style=Bold Oblique Dingbats:style=Regular Nimbus Roman No9 L:style=Medium Nimbus Sans L:style=Bold Italic DejaVu Sans:style=Oblique Nimbus Mono L:style=Regular Hershey\-Plain\-Triplex:style=Regular Hershey\-Script

【Storm篇】--Storm 容错机制

其中各个组件的作用如下： Nimbus 资源调度 任务分配 接收jar包 Supervisor 接收nimbus分配的任务 启动、停止自己管理的worker进程（当前supervisor上worker 所以当程序提交完后，任务信息都存储在zookeeper里面，即使nimbus宕机，程序依然会继续执行。 三、容错机制 从以下三个方面考虑： 1、集群节点宕机（集群角度） Nimbus服务器 单点故障时可以添加报警，但程序银镜加载到内存中运行了。 非Nimbus服务器 故障时，该节点上所有Task任务都会超时，Nimbus会将这些Task任务重新分配到其他服务器上运行 2、进程挂掉 Worker 挂掉时，Supervisor会重新启动这个进程。 如果启动过程中仍然一直失败，并且无法向Nimbus发送心跳，Nimbus会将该Worker重新分配到其他服务器上 Supervisor 无状态（所有的状态信息都存放在Zookeeper中来管理） 快速失败

Storm的故障容忍性

本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节：当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性，以及Nimbus是否存在单点故障问题 如果这个Worker连续在启动时失败，并且无法让Nimbus观察到它的心跳，Nimbus将这个Worker重新分配到另一台机器上。 当一个节点挂了会怎样？ 分配给这台机器的任务将会超时，并且Nimbus将这些任务重新分配给其它机器。 当Nimbus或者Supervisor daemon进程挂了会怎样？ Nimbus是否有单点故障？ 当你丢失了Nimbus节点，Worker将依然可以继续工作。此外，Supervisor将可以继续重启挂掉的Worker。 Nimbus deamon进程挂掉不会引起任何灾难发生。在将来，计划将Nimbus设计成高可用。 Storm如何保证数据处理?

storm drpc实例

drpc.port=3772 -c drpc.invocations.port=3773 -c drpc.http.port=3774 depends_on: - nimbus - zookeeper links: - nimbus - zookeeper restart: drpc.port=3772 -c drpc.invocations.port=3773 -c drpc.http.port=3774 depends_on: - nimbus ,Arrays.asList("192.168.99.100")); //配置nimbus连接主机地址，比如：192.168.10.1 conf.put(Config.NIMBUS_THRIFT_PORT ,3); conf.put(Config.STORM_NIMBUS_RETRY_INTERVAL,10000); conf.put(Config.STORM_NIMBUS_RETRY_INTERVAL_CEILING

大数据干货系列（七）-Storm总结

和Supervisor之间的所有协调工作都是通过Zookeeper集群完成 • Nimbus进程和Supervisor进程都是快速失败（fail-fast），即可以用kill -9来杀死Nimbus和Supervisor • Nimbus进程和Supervisor进程都是无状态的。 最重要的是，worker进程不会因为Nimbus或者Supervisor挂掉而受影响。这跟Hadoop是不一样的，当JobTracker挂掉，所有的任务都会没了。 1)当Nimbus挂掉会怎样？ 如果启动一直失败那么此时worker也就不能和Nimbus保持心跳了，Nimbus会重新分配worker到其他机器。 4) Nimbus存在单点问题吗？ 但是，没有了Nimbus，当需要的时候(如果worker机器挂掉了)，worker就不能被重新分配到其他机器了。 所以答案是，Nimbus在“某种程度”上属于单点故障的。

Strom搭建全分布HA

- "bigdata112" - "bigdata113" - "bigdata114" // 主节点信息（此处配置多个实现HA） nimbus.seeds supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703 // 配置一个目录，用于Nimbus 保存任务和元信息目录 storm.local.dir: "/root/training/apache-storm-1.0.3/tmp" 3.复制到其他节点 4.启动 storm nimbus storm supervisor storm ui & (后台启动) 5.HA // 如果要搭建Storm的HA，只需要在nimbus.seeds中设置多个nimbus即可。 其他节点也做相关修改 nimbus.seeds: ["bigdata112", "bigdata113"]

【转】storm和zookeeper中的节点的关系

一、Nimbus Nimbus既需要在Zookeeper中创建元数据，也需要从Zookeeper中获取元数据。 如上图箭头1所示： 1、对于路径a，Nimbus只会创建路径，不会设置数据，数据是稍后由Worker设置的。 2、对于路基b和c，Nimbus在创建她们的时候就会设置数据。 如上图箭头2所示： 1、Nimbus需要从路径a读取当前已经被分配的Worker的运行状态。根据该信息，Nimbus可以得知哪些Worker状态正常，哪些需要被重新调度。 这个路径是Nimbus写入的对Topology的任务分配信息，Supervisor从该路径可以获取到Nimbus分配给它的所有任务。 Nimbus会每隔一段时间获取该路径下的数据，同时Nimbus还会在它的内存中保存上一次的信息。

storm如何分配任务和负载均衡？

5、如果配置了NIMBUS-SLOTS-PER-TOPOLOGY，在提交topology到nimbus时，会验证topology所需的worker总数，如果超过了这个值，说明不能够满足需求，则抛出异常。 storm-id] (let [conf (:conf nimbus) storm-base (.storm-base (:storm-cluster-state nimbus) storm-id nil 进行任务分配 这里回顾并补充下nimbus进行任务分配的主要流程： 任务分配的流程 1、nimbus将一组node + port 称为worker-slot，由executor到worker-slot的映射信息 3、nimbus分配的任务包含了topology代码所在的路径（在nimbus本地）、tasks、executors及workers信息。 2、同时，nimbus进程启动后，会周期性地进行任务分配。

storm(2)-基于k8s的安装

=/home/frank/hard_disk/storm/nimbus \ STORM_LOG_DIR=/home/frank/logs/storm \ STORM_ROOT=/home =${NIMBUS_ADDRESS:-$(hostname -f)} ACTION_CMD="nimbus" sed -i -e "s/nimbus.seeds : \[localhost\]/nimbus.seeds: \["${NIMBUS_ADDRESS}"\]/" /home/frank/conf/storm/storm.yaml echo "pod hostname match nimbus config host, change action to nimbus." nimbus ui logviewer supervisor" nohup /home/frank/platform/storm/bin/storm nimbus >> /tmp/nimbus.log

实时流计算框架——Storm

/usr/local/Cellar/storm/1.2.2: 514 files, 181.7MB, built in 4 minutes 50 seconds Storm结构与部署 (1)Nimbus >/dev/null 2>&1 & #后台启动dev-zookeeper 方法1 nohup storm dev-zookeeper & #后台启动dev-zookeeper 方法2 启动主节点Nimbus , storm nimbus storm nimbus >/dev/null 2>&1 & #后台启动nimbus 方法1 nohup storm nimbus & #后台启动nimbus hold住tuple在处理 IBolt会在一个运行的机器上创建，使用Java序列化它,然后提交到主节点(nimbus)上去执行。 nimbus会启动会worker来反序列化，调用prepare方法，然后才开始处理tuple 常见错误 xception in thread "main" java.lang.NoClassDefFoundError

Apache Storm使用

Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。 : Storm集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，以便下载Topologies的jars、confs等文件，如： nimbus.host: “111.222.333.444 : "nimbus" nimbus.host: "192.168.9.185" # supervisor's work ports supervisor.slots.ports: -6700 以下是启动Storm各个后台进程的方式： Nimbus: 在Storm主控节点上运行 nohup storm nimbus & 启动Nimbus后台程序，并放到后台执行； Supervisor: 在Storm 经测试，Storm UI必须和Storm Nimbus 部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。

【Storm】Storm之what

对于路径b和c，Nimbus在创建它们的时候就会设置数据。 当Nimbus死掉时，其他节点是可以继续工作的，但是不能提交新的Topology，也不能重新进行任务分配和负载调整，因此目前Nimbus还是存在单点的问题。 这保证了Nimbus能及时得知当前集群中机器的状态，这是Nimbus可以进行任务分配的基础，也是Storm具有容错性以及可伸缩性的基础。 我们知道它是Nimbus对Topology的任务分配信息，Supervisor从该路径可以获取到Nimbus分配给它的所有任务。 Nimbus会每隔一定时间获取该路径下的数据，同时Nimbus还会在它的内存中保存上一次的信息。