Kafka是一个分布式流处理平台，用于构建实时数据管道和流应用程序。它被设计成一个高速数据总线，支持高吞吐量和低延迟。基本用法：创建topic，生产者发送消息，消费者订阅topic消费消息。安装Kafka后，启动zookeeper和broker，然后使用kafka-console-producer和kafka-console-consumer命令测试。高吞吐特性：分区并行处理，每秒处理数百万消息；低延迟特性：毫秒级延迟，通过零拷贝和批处理实现。

使用教程

首先下载Kafka，解压后启动zookeeper：bin/zookeeper-server-start.sh config/zookeeper.properties。然后启动Kafka服务器：bin/kafka-server-start.sh config/server.properties。创建topic：bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 3 --replication-factor 1。生产消息：bin/kafka-console-producer.sh --topic test --bootstrap-server localhost:9092。消费消息：bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning。这就是基本用法。

高吞吐特性

Kafka的高吞吐量来自于其分区机制，每个分区可以独立处理消息，允许多个消费者并行消费。消息批量写入和顺序读写减少了IO开销。压缩支持进一步降低网络传输量。实际测试中，单个broker可以达到数百MB/s的吞吐量，集群规模化后轻松破TB/s。

低延迟特性

低延迟通过零拷贝技术实现，避免用户空间和内核空间的数据复制。生产者异步发送，消费者拉取模式减少轮询开销。内存映射文件（mmap）让OS直接管理页缓存。端到端延迟通常在2ms以内，即使在高负载下也能保持稳定。

实际配置优化

为了高吞吐，设置batch.size=16384和linger.ms=5，让生产者批量发送。消费者fetch.min.bytes=1和fetch.max.wait.ms=500减少空轮询。对broker，num.network.threads和num.io.threads调到CPU核心数的2倍。日志段大小log.segment.bytes=1073741824避免频繁滚动。这些配置能显著提升性能。

性能测试结果

在基准测试中，Kafka单分区写入吞吐可达500MB/s，读取同样高效。相比传统消息队列，Kafka的持久化不牺牲速度，因为它使用顺序磁盘IO。低延迟场景下，支持亚毫秒响应，通过调整acks=0或acks=1实现at-least-once语义。

FAQ

Q: Kafka怎么保证高吞吐？
A: 通过分区、批量处理、压缩和顺序IO。
Q: 低延迟是怎么实现的？
A: 零拷贝、异步API和高效网络协议。
Q: 适合什么场景用Kafka作为数据总线？
A: 日志收集、实时流处理、事件溯源等高并发场景。
Q: 新手怎么快速上手？
A: 用Docker运行Kafka镜像，跟着官方quickstart教程走。