企业官网建设流程全解析

做网站的工资,电子毕业设计代做网站,山西省建设厅网站首页,人人秀h5制作教程分布式消息队列kafka【一】—— 环境搭建及基本配置参数讲解 文章目录 分布式消息队列kafka【一】—— 环境搭建及基本配置参数讲解相关组件版本kafka集群环境搭建准备工作开始搭建kafka-manager管控台搭建与脚本测试验证 Kafka服务端基本配置参数讲解 相关组件版本 kafka版本…分布式消息队列kafka【一】—— 环境搭建及基本配置参数讲解文章目录分布式消息队列kafka【一】—— 环境搭建及基本配置参数讲解相关组件版本kafka集群环境搭建准备工作开始搭建kafka-manager管控台搭建与脚本测试验证Kafka服务端基本配置参数讲解相关组件版本kafka版本kafka_2.12管控台kafkaManager 2.0.0.2协调服务zookeeper-3.4.6kafka环境验证控制台操作kafka集群环境搭建准备工作准备zookeeper环境zookeeper-3.4.6下载kafka安装包https://archive.apache.org/dist/kafka/2.1.0/kafka_2.12-2.1.0.tgz上传到服务器开始搭建## 1.解压kafka包到/usr/local/下tar-zxvf kafka_2.12-2.1.0.tgz -C /usr/local/## 2.重命名kafka_2.12cd/usr/local/mvkafka_2.12-2.1.0/ kafka_2.12/## 3.修改kafka配置文件vim/usr/local/kafka_2.12/config/server.properties## 修改内容## The id of the broker. This must be set to a unique integer for each broker.broker.id0## 端口port9092## 主机名host.name192.168.218.21 dvertised.host.name192.168.218.21## Kafka把所有的消息都保存在磁盘上而这个参数用来配置Kafka日志文件存放的根目录log.dirs/usr/local/kafka_2.12/kafka-logs## 创建topic时默认分区num.partitions5## zookeeper地址zookeeper.connect192.168.218.21:2181,192.168.218.22:2181,192.168.218.23:2181## 4.创建kafka存储log日志数据的目录mkdir/usr/local/kafka_2.12/kafka-logs## 5.到此为止kafka已经配置成功执行启动命令启动kafkanohup/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.propertieskafka-manager管控台搭建与脚本测试验证## 6.安装kafka-manager可视化管控台## 6.1.解压zip文件unzipkafka-manager-2.0.0.2.zip -d /usr/local/## 6.2.修改配置文件vim/usr/local/kafka-manager-2.0.0.2/conf/application.conf## 修改内容kafka-manager.zkhosts192.168.218.21:2181,192.168.218.22:2181,192.168.218.23:2181## 6.3.启动kafka-manager可视化管控台nohup/usr/local/kafka-manager-2.0.0.2/bin/kafka-manager## 6.4.浏览器访问控制台默认端口号是9000http://192.168.218.21:9000/## 6.5.添加cluster集群## 7.集群验证## 7.1.通过控制台创建一个topic为”test“2个分区1个副本## 7.2.消费发送和接收验证cd/usr/local/kafka_2.12/bin## 启动发送消息的脚本## --broker-list 192.168.218.21 指的是kafka broker的地址列表## --topic test 指的是把消息发送到test主题./kafka-console-producer.sh --broker-list192.168.218.21:9092 --topictest## 启动接收消息的脚本./kafka-console-consumer.sh --bootstrap-server192.168.218.21:9092 --topictest## 查看topic列表命令./kafka-topics.sh --zookeeper192.168.218.21:2181 --list## 创建topic命令## --zookeeper 192.168.218.21:2181 zookeeper地址## --create --topic topic02 创建的topic## --partitions 2 指定该topic的分区## --replication-factor 1 副本数./kafka-topics.sh --zookeeper192.168.218.21:2181 --create --topic topic02 --partitions2--replication-factor1## 查看kafka某个消费组的消费进度./kafka-consumer-groups.sh --bootstrap-server192.168.218.21:9092 --describe --group group02Kafka服务端基本配置参数讲解参数文件$KAFKA_HOME/config/server.propertieszookeeper.connect默认值无必填项该参数指明broker要连接的ZooKeeper集群的服务地址(包含端口号)还可以在端口后面加上一个chroot路径不指定chroot路径时默认使用ZooKeeper的根路径。这样可以用于多个kafka环境使用同一套zookeeper集群。单节点配置:hostname:2181多节点配置:hostname1:2181,hostname2:2181,hostname3:2181多节点配置(添加chroot路径):hostname1:2181,hostname2:2181,hostname3:2181/kafkalisteners该参数指明broker监听客户端连接的地址列表即为客户端要连接的broker的入口地址列表配合着格式为protocol1://hostname1:port1,protocol2://hostname2:port2其中protocol代表协议类型Kafka当前支持的协议类型有PLAINTEXT、SSL、SASL_SSL等如果未开启安全认证则使用简单的PLAINTEXT即可。hostname代表主机名port代表服务端口此参数的默认值为null。如果不指定主机名则表示绑定默认网卡注意有可能会绑定到127.0.0.1这样无法对外提供服务所以主机名最好不要为空如果主机名为0.0.0.0则表示绑定所有的网卡advertised.listeners作用和listeners类似默认值也为null主要用于Iaas(Infrastructure as a Service)环境比如公有云上的机器通常配备有多块网卡即包含私网网卡和公网网卡对于这种情况而言可以设置advertised.listeners参数绑定公网IP供外部客户端使用而配置listeners参数来绑定私网IP地址供broker间通信使用broker.id该参数用来指定Kafka集群中broker的唯一标识默认值为-1。如果没有设置那么Kafka会自动生成一个log.dir和log.dirsKafka把所有的消息都保存在磁盘上而这两个参数用来配置Kafka日志文件存放的根目录一般情况下log.dir用来配置单个目录而log.dirs用来配置多个根目录(以逗号分隔)但是Kafka没有对此做强制的限制也就是说log.dir和log.dirs都可以用来配置单个或多个根目录log.dirs的优先级比log.dir高默认值为/tmp/kafka-logsmessage.max.bytes该参数用来指定broker所能接收消息的最大值默认值为1000012(B),约等于1M。num.network.threads处理网络请求的最大线程数默认是3num.io.threads处理磁盘I/O的最大线程数默认是8num.partitions每个topic的分区个数默认是1更多的partition会产生更多的segment file