标签：Storm - 程序萌部落

远程IDEA调试Storm

Z.TIAN

2017年3月15日

大约1.3k字

阅读需11分钟

现在IDEA编译成功topo后，使用WinSCP将打包好的包传到主节点
注意：打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

//本地测试模式           
    LocalCluster cluster = new LocalCluster();
    cluster.submitTopology("firstTopo", conf, builder.createTopology());
    Utils.sleep(100000);
    cluster.killTopology("firstTopo");
    cluster.shutdown();
//集群提交模式
    StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

阅读全文

IDEA中运行Topology

Z.TIAN

2017年3月4日

大约1.3k字

阅读需10分钟

基本调试过程

现在IDEA编译成功topo后，使用WinSCP将打包好的包传到主节点

注意：打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

//本地测试模式           
LocalCluster cluster = new LocalCluster();
    cluster.submitTopology("firstTopo", conf, builder.createTopology());
    Utils.sleep(100000);
    cluster.killTopology("firstTopo");
    cluster.shutdown();
    //集群提交模式
    StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

阅读全文

Flume、Kafka、Storm如何结合使用

Z.TIAN

2017年3月2日

大约877字

阅读需7分钟

原理

如何仔细阅读过关于Flume、Kafka、Storm的介绍，就会知道，在他们各自之间对外交互发送消息的原理。
在后面的例子中，主要对Flume的sink进行重构，调用kafka的消费生产者(producer)发送消息;在Storm的spout中继承IRichSpout接口，调用kafka的消息消费者(Consumer)来接收消息，然后经过几个自定义的Bolt，将自定义的内容进行输出。

阅读全文