Kafka笔记

List topic bin/kafka-topics.sh --list --zookeeper xxx:2181 这个脚本实际调用kafka client的jar包

Kafka用offset来追踪消息的状态, 每个consumer对每个topic都会记录一个offset, 记住读到了哪条消息

高性能的实现

• append write
• page cache, 文件内容读到内存，如果没有修改，不落盘
• 零拷贝，直接在内核空间的page cache拷贝内容到socket缓冲区，无需经过用户空间
• batch read/write, batch zip