现在IDEA编译成功topo后,使用WinSCP将打包好的包传到主节点
注意:打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

1
2
3
4
5
6
7
8
//本地测试模式           
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("firstTopo", conf, builder.createTopology());
Utils.sleep(100000);
cluster.killTopology("firstTopo");
cluster.shutdown();
//集群提交模式
StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

基本调试过程

现在IDEA编译成功topo后,使用WinSCP将打包好的包传到主节点

注意:打包之前–要讲 [ 本地模式 ] 改为 [ 集群模式 ]

1
2
3
4
5
6
7
8
//本地测试模式           
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("firstTopo", conf, builder.createTopology());
Utils.sleep(100000);
cluster.killTopology("firstTopo");
cluster.shutdown();
//集群提交模式
StormSubmitter.submitTopology("firstTopo", conf, builder.createTopology());

在IDEA的maven项目中编写Topology出错:
NoClassFound找不到主类:解决–
在pom.xml中,找到中的storm,添加<>compi<>

1
2
3
4
5
6
7
8
kafka中的topic不新建也可以使用
如果不执行 ./kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic test
直接执行下述两条命令:
kafka生产者客户端命令
./kafka-console-producer.sh --broker-list hadoop01:9092 --topic test
kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper hadoop01:2181 --from-beginning --topic test
也可以起到新建topic的目的




全站共计 313.7k 字,自豪地使用 Volantis 主题

博客内容遵循 署名-非商业性使用-相同方式共享 4.0 国际 (CC BY-NC-SA 4.0) 协议