使用flume完成数据的接收 Z.TIAN 2017年3月16日 大约963字 阅读需9分钟 使用flume完成数据的接收场景:source是通过tcp发送,chnnel处理过滤字段,sink存在集群中 阅读全文
Flume+Kafka联通 Z.TIAN 2017年3月5日 大约352字 阅读需5分钟 前提前提是要先把flume和kafka独立的部分先搭建好。下载插件包下载flume-kafka-plus:https://github.com/beyondj2ee/flumeng-kafka-plugin把lib目录下的 阅读全文
Flume、Kafka、Storm如何结合使用 Z.TIAN 2017年3月2日 大约877字 阅读需7分钟 原理如何仔细阅读过关于Flume、Kafka、Storm的介绍,就会知道,在他们各自之间对外交互发送消息的原理。在后面的例子中,主要对Flume的sink进行重构,调用kafka的消费生产者(producer)发送消息;在Storm的spout中继承IRichSpout接口,调用kafka的消息消费者(Consumer)来接收消息,然后经过几个自定义的Bolt,将自定义的内容进行输出。 阅读全文