1. 引言

Apache Kafka 是一个高性能、可扩展、高吞吐量的分布式发布-订阅消息系统。本文将带你通过在单机部署CentOS环境中安装Kafka,帮助你轻松搭建你的第一个消息队列系统。

2. 环境准备

在开始之前,请确保你的CentOS系统满足以下要求:

  • 操作系统:CentOS 7 或更高版本
  • 硬件要求:至少2GB内存(推荐4GB以上)
  • 网络连接:稳定网络环境

3. 安装Java

Kafka 需要 Java 运行环境,因此首先需要安装 Java。

# 安装 Java
sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel
# 检查 Java 版本
java -version

4. 下载Kafka

从 Apache Kafka 官方网站下载适合你的版本的 Kafka 安装包。

# 下载 Kafka
wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
# 解压安装包
tar -xzf kafka_2.13-3.2.0.tgz

5. 配置Kafka

进入 Kafka 解压后的目录,编辑 config/server.properties 文件,根据以下参数进行配置:

# Kafka 服务器 ID,通常设置为 0
broker.id=0
# Kafka 数据目录
log.dirs=/data/kafka/data
# Kafka 日志文件清理策略
log.cleanup.policy=delete
# ZooKeeper 连接地址
zookeeper.connect=localhost:2181
# Kafka 监听的端口
port=9092

6. 启动Kafka

在 Kafka 解压后的目录下,启动 Kafka 服务。

# 启动 Kafka
./bin/kafka-server-start.sh config/server.properties

7. 创建主题

使用 Kafka 命令行工具创建一个主题。

# 创建主题
./bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1

8. 生产者发送消息

使用 Kafka 命令行工具发送消息到主题。

# 生产者发送消息
./bin/kafka-console-producer.sh --topic test

9. 消费者接收消息

使用 Kafka 命令行工具接收主题中的消息。

# 消费者接收消息
./bin/kafka-console-consumer.sh --topic test --bootstrap-server localhost:9092 --from-beginning

10. 停止Kafka

当不再需要 Kafka 服务时,可以停止 Kafka 服务。

# 停止 Kafka
./bin/kafka-server-stop.sh

11. 总结

通过以上步骤,你已经在单机部署CentOS环境中成功搭建了 Kafka 消息队列系统。你可以通过修改配置文件来满足不同的业务需求,也可以将 Kafka 部署到集群中,实现更强大的性能和可靠性。