1. 引言
Apache Kafka 是一个高性能、可扩展、高吞吐量的分布式发布-订阅消息系统。本文将带你通过在单机部署CentOS环境中安装Kafka,帮助你轻松搭建你的第一个消息队列系统。
2. 环境准备
在开始之前,请确保你的CentOS系统满足以下要求:
- 操作系统:CentOS 7 或更高版本
- 硬件要求:至少2GB内存(推荐4GB以上)
- 网络连接:稳定网络环境
3. 安装Java
Kafka 需要 Java 运行环境,因此首先需要安装 Java。
# 安装 Java
sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
# 检查 Java 版本
java -version
4. 下载Kafka
从 Apache Kafka 官方网站下载适合你的版本的 Kafka 安装包。
# 下载 Kafka
wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
# 解压安装包
tar -xzf kafka_2.13-3.2.0.tgz
5. 配置Kafka
进入 Kafka 解压后的目录,编辑 config/server.properties
文件,根据以下参数进行配置:
# Kafka 服务器 ID,通常设置为 0
broker.id=0
# Kafka 数据目录
log.dirs=/data/kafka/data
# Kafka 日志文件清理策略
log.cleanup.policy=delete
# ZooKeeper 连接地址
zookeeper.connect=localhost:2181
# Kafka 监听的端口
port=9092
6. 启动Kafka
在 Kafka 解压后的目录下,启动 Kafka 服务。
# 启动 Kafka
./bin/kafka-server-start.sh config/server.properties
7. 创建主题
使用 Kafka 命令行工具创建一个主题。
# 创建主题
./bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1
8. 生产者发送消息
使用 Kafka 命令行工具发送消息到主题。
# 生产者发送消息
./bin/kafka-console-producer.sh --topic test
9. 消费者接收消息
使用 Kafka 命令行工具接收主题中的消息。
# 消费者接收消息
./bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning
10. 停止Kafka
当不再需要 Kafka 服务时,可以停止 Kafka 服务。
# 停止 Kafka
./bin/kafka-server-stop.sh
11. 总结
通过以上步骤,你已经在单机部署CentOS环境中成功搭建了 Kafka 消息队列系统。你可以通过修改配置文件来满足不同的业务需求,也可以将 Kafka 部署到集群中,实现更强大的性能和可靠性。