很多人第一次学 Kafka一上来就看到Broker Partition Offset Consumer Group直接懵。其实Kafka 最开始你只需要理解发消息 收消息就够了。别一开始研究底层。一、Kafka 到底是什么一句话Kafka 存消息的地方你可以理解成高级版消息队列二、消息是什么例如用户下单。订单系统可以发送一条消息用户下单成功Kafka负责保存这条消息然后别的程序再去读取。三、Kafka 最核心流程必须理解Kafka本质就三步。1. 生产者发消息Producer2. Kafka 存消息Topic3. 消费者读消息Consumer四、先理解 Topic最重要Kafka 里面消息必须放到Topic里面。五、Topic 是什么你可以理解成消息分类例如订单消息 用户消息 日志消息分别放不同 Topic。六、最简单类比你可以理解成QQ 群Topic 群聊发消息的人Producer看消息的人Consumer七、Kafka 最基础流程图生产者 ↓ 发送消息 ↓ Kafka Topic ↓ 消费者读取八、Kafka 第一步启动 Kafka现在一般都用 Docker。九、Docker 启动 Kafka最简单先拉镜像dockerpull bitnami/kafka十、启动 Kafkadockerrun-d\--namekafka\-p9092:9092\-eKAFKA_CFG_NODE_ID1\-eKAFKA_CFG_PROCESS_ROLESbroker,controller\-eKAFKA_CFG_CONTROLLER_LISTENER_NAMESCONTROLLER\-eKAFKA_CFG_LISTENERSPLAINTEXT://:9092,CONTROLLER://:9093\-eKAFKA_CFG_ADVERTISED_LISTENERSPLAINTEXT://localhost:9092\-eKAFKA_CFG_CONTROLLER_QUORUM_VOTERS1localhost:9093\-eALLOW_PLAINTEXT_LISTENERyes\bitnami/kafka十一、9092 是什么Kafka 默认端口9092以后Go 程序就连接localhost:9092十二、创建 TopicKafka必须先有 Topic。创建 order-topicdockerexec-itkafka kafka-topics.sh\--create\--topicorder-topic\--bootstrap-server localhost:9092十三、查看 Topicdockerexec-itkafka kafka-topics.sh\--list\--bootstrap-server localhost:9092如果看到order-topic说明成功。十四、发送消息最重要现在开始发消息。开启生产者dockerexec-itkafka kafka-console-producer.sh\--topicorder-topic\--bootstrap-server localhost:9092十五、现在发生了什么你已经进入Kafka消息输入模式终端会卡住。这是正常的。十六、输入消息例如hello回车。再输入world十七、这些消息去哪了Kafka已经保存起来了存进order-topic十八、读取消息消费者现在再开一个终端。启动消费者dockerexec-itkafka kafka-console-consumer.sh\--topicorder-topic\--from-beginning\--bootstrap-server localhost:9092十九、会看到什么你刚刚发送的hello world都会打印出来。二十、完整流程你现在已经跑通了生产者 ↓ hello ↓ Kafka Topic ↓ 消费者 ↓ 读取hello这就是Kafka 最基础用法。二十一、Kafka 最核心理解Kafka本质就是生产者写消息 消费者读消息二十二、Go 操作 Kafka重点真正开发不会手敲命令。而是Go代码操作Kafka二十三、安装 Kafka Go 库go get github.com/segmentio/kafka-go二十四、Go 发送消息生产者示例packagemainimport(contextgithub.com/segmentio/kafka-go)funcmain(){// 创建 writer生产者w:kafka.NewWriter(kafka.WriterConfig{Brokers:[]string{localhost:9092},Topic:order-topic,})// 发消息w.WriteMessages(context.Background(),kafka.Message{Value:[]byte(hello kafka),},)}二十五、代码详细解析NewWriterkafka.NewWriter()表示创建Kafka生产者BrokersBrokers:[]string{localhost:9092}Kafka 地址。TopicTopic:order-topic消息发到哪个 Topic。WriteMessagesw.WriteMessages()真正发送消息。ValueValue:[]byte(hello kafka)消息内容。二十六、Kafka 为什么用 []byte因为Kafka底层只认识二进制数据所以字符串必须[]byte(...)转换。二十七、Go 读取消息消费者示例packagemainimport(contextfmtgithub.com/segmentio/kafka-go)funcmain(){// 创建消费者r:kafka.NewReader(kafka.ReaderConfig{Brokers:[]string{localhost:9092},Topic:order-topic,GroupID:g1,})for{// 读取消息msg,_:r.ReadMessage(context.Background())fmt.Println(string(msg.Value))}}二十八、代码解析NewReaderkafka.NewReader()创建消费者。GroupIDGroupID:g1消费者组。现在先不用深究。你可以简单理解消费者编号ReadMessager.ReadMessage()从 Kafka 读取消息。msg.Valuemsg.Value消息内容。二十九、为什么消费者一直 for因为Kafka消息会不断产生。所以消费者通常一直监听三十、现在你已经掌握了 Kafka 最核心用法你已经会创建 Topickafka-topics.sh发消息kafka-console-producer.sh或者WriteMessages()收消息kafka-console-consumer.sh或者ReadMessage()三十一、真实项目里的 Kafka真实开发最经典就是用户下单订单服务发Kafka消息其他服务消费库存短信邮件推荐系统三十二、最后一句总结必须记住Kafka 最核心Producer 发消息 ↓ Topic 存消息 ↓ Consumer 读消息你现在最重要先会发 收别一开始研究Partition Offset 副本机制容易直接崩。
