环境准备

Zookeeper下载地址:
http://zookeeper.apache.org/releases.html#download
Kafka下载:http://kafka.apache.org/downloads
Mac便捷安装:brew install kafka
启动zookeeper命令: zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
启动kafka命令: 进入kafka安装目录,cd /usr/local/Cellar/kafka/1.1.0/
启动命令:./bin/kafka-server-start /usr/local/etc/kafka/server.properties
启动kafka生存者:./bin/kafka-console-producer --broker-list localhost:9092 --topic imooc-kafka-topic
启动kafka消费者:./bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic imooc-kafka-topic --from-beginning
简单案例
环境启动
简单生产者
简单消费者
下载zookeeper
下载kafka
安装、解压,配置env
mac:brew install kafka,包含zookeeper
zookeeper -server-start zookeepr.propoties
进入按装目录,启动kafka
./bin/kafka-server-start /usr/local/etc/kafka.properties





生成和消费消息
from beginning可以收消费者上线以前的消息
下载zookeeper
下载kaflka
kafka 自带测试命令
kafka producer consumer
kafka console
zk启动命令
kafka 启动
kafka命令
./kafka-server-start.sh /export/servers/kafka_2.11-1.1.1/config/server-1.properties
./kafka-console-producer.sh --broker-list 192.168.150.121:9092 --topic imocc
./kafka-console-consumer.sh --bootstrap-server hadoop01:9092 --topic imocc --from-beginning
from-beginning从头开始消费
下载与安装
命令行操作,首先进入kafka安装目录下bin目录
创建topic
./kafka-topics --create --zookeeper ip:port --replication-factor 1 --partitions 3 --topic mytopic
其中replicattion为备份数
查看指定节点主机的topic列表
./kafka-topics --list --zookeeper ip:port
注意:这里的ip;port为zookeeper的安装主机ip和端口
进入生产者指定的topic内部,开始生成数据
./kafka-console-producer --broker-list ip:port --topic mytopic
注意:这里的ip;port为kafka的安装主机ip和端口
进入消费者指定的topic内部,开始接收数据
./kafka-console-consumer --bootstrap-server ip:port --topic mytopic --from-begining
注意:--from-begining意思是从头开始读,去掉的话就不会从头开始消费数据
Zookeeper下载地址:
http://zookeeper.apache.org/releases.html#download
Kafka下载:http://kafka.apache.org/downloads
Mac便捷安装:brew install kafka
from beginning可以让消费者决定是否从头进行消费还是从中间进行消费。。。
控制台操作
Kafka下载与安装
启动zookeeper命令: zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
启动kafka命令: 进入kafka安装目录,cd /usr/local/Cellar/kafka/1.1.0/
启动命令:./bin/kafka-server-start /usr/local/etc/kafka/server.properties
启动kafka生存者:./bin/kafka-console-producer --broker-list localhost:9092 --topic imooc-kafka-topic
启动kafka消费者:./bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic imooc-kafka-topic --from-beginning
kafka环境的下载与安装
Kafka
下载与安装(官网):
*Zookeeper的下载:
*Kafka下载
kafka的启动:
##进入kafka的安装目录 cd /usr/local/Cellar/kafka/1.1.0/
##启动命令:./bin/kafka-server-start +(指定配置文件)
##可以在bin目录下查看kafka下有那些命令:
./bin
##创建kafka的topic
./bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic hello
结果:Create topic "hello"
##查看kafka的topic
./bin/kafka-topics --list --zookeeper localhost:2181
##生产者命令:
./bin/kafka-console-producer --broker-list localhost:9092 --topic hello
>(进入交互模式)
##消费者命令:
./bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic hello --from-beginning