kafka端口
Ⅰ kafka groupid在哪
进入来zookeeper客户端：
zkCli.sh -server localhost:42182
注：这里我配的自zk端口是42182，默认为2181，可根据情况自行修改。
进入客户端执行：
[zk: localhost:42182(CONNECTED) 0] ls /consumers
在consumers会看到你已经注册过的group信息
Ⅱ kafka broker 重启会自动加入集群吗
方法
kafka server中默认是来不启动jmx端口的，需要自用户自己配置
vim bin/kafka-run-class.sh
#最前面添加一行
JMX_PORT=8060
（
不要这样添加不然会报错：
Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 8060; nested exception is:
java.net.BindException: Address already in use (Bind failed)
）
Ⅲ kafka java 通过url连接服务器
可以连接到一个网络服务器并且能够从这个服务器下载指定的URL，程序中直接使用HTTP协议。程序将定义一个输出流，下载的URL的内容将来被写入这个流，通过socket来获得输入和输出流：
view sourceprint?
01 import java.io.*;
02 import java.net.*;
03 public class HttpClient {
04 public static void main(String[] args) {
05 try {
06 // Demo参数:
07 if ((args.length != 1) && (args.length != 2))
08 throw new IllegalArgumentException("Wrong number of args");
09 //定义输出流，下载的URL内容被写入这个流
10 OutputStream to_file;
11 if (args.length == 2) to_file = new FileOutputStream(args[1]);
12 else to_file = System.out;
13 //使用URL类来把用户指定的URL解析成几个部分
14 URL url = new URL(args[0]);
15 String protocol = url.getProtocol();
16 if (!protocol.equals("http")) // 检验是否满足支持的协议
17 throw new IllegalArgumentException("Must use 'http:' protocol");
18 String host = url.getHost();
19 int port = url.getPort();
20 if (port == -1) port = 80; //如果没有指定端口，用默认端口
21 String filename = url.getFile();
22 // 打开一个连接到指定主机和端口的网络socket连接
23 Socket socket = new Socket(host, port);
24 // 通过socket来获得输入和输出流
25 InputStream from_server = socket.getInputStream();
26 PrintWriter to_server = new PrintWriter(socket.getOutputStream());
27
28 // 发送HTTP GET命令给网络服务器，指定要下载的文件
29 // 使用了一个老版本非常简单的HTTP协议
30 to_server.print("GET " + filename + "\n\n");
31 to_server.flush(); // 立即发送
32 // 现在读取服务器的响应，把接收到的内容写入文件
33 byte[] buffer = new byte[4096];
34 int bytes_read;
35 while((bytes_read = from_server.read(buffer)) != -1)
36 to_file.write(buffer, 0, bytes_read);
37 // 当服务器关闭连接时，也关闭stuff
38 socket.close();
39 to_file.close();
40 }
41 catch (Exception e) { // 发布错误
42 System.err.println(e);
43 System.err.println("Usage: java HttpClient <URL> [<filename>]");
44 }
45 }
46 }
Ⅳ 如何通过外网连接内网kafka程序
一、内网IP只能在内网局域网访问连接,在外网是不能认识内网IP不能访问的。如有路由权限,且路由有固定公网IP,可以通过路由的端口映射,实现外网访问内网。如无路由,或路由无公网IP,需要借助第三方开放的nat123端口映射网络辅助实现外网访问内网。
端口映射网络辅助的好处是适用于任何网络环境,外网访问内网的实现过程:
在内网安装并启用nat123端口映射。添加映射,配置内外网映射信息,对应内网IP端口和外网自己的域名。外网地址可直接使用提示默认域名。
NAT映射后,通过域名访问,即可以连接内网对应IP应用。
二、要用到第三方开放的花生壳端口映射网络辅助实现外网访问内网。
方法
1、在内网安装并启用花生壳端口映射。添加映射,配置内外网映射信息,对应内网IP端口和外网自己的域名。外网地址可直接使用提示默认域名。
2、点击你想映射的域名，进入花生壳端口映射添加界面，点击打开内网映射。
3、应用名称可以随便填个好记的，内网主机就是你想被公网访问的那台电脑IP地址，内网端口就是希望被映射的端口，如下。我的内网主机是本机，就是192.168.21.250，希望被映射的端口是1024。点击确定，就启动端口映射了。
4、现在端口映射窗口就会添加一条映射记录，此时，花生壳映射后,通过域名访问,即可以连接内网对应IP应用。公网只要使用花生壳分配的这个域名+端口，就可以访问内网的主机了。
Ⅳ kafka 为什么只能用root 启动
一、内网IP只能在内来网局域网访自问连接,在外网是不能认识内网IP不能访问的。
如有路由权限,且路由有固定公网IP,可以通过路由的端口映射,实现外网访问内网。如无路由,或路由无公网IP,需要借助第三方开放的nat123端口映射网络辅助实现外网访问内网。 。
Ⅵ kafka addbrokers 带端口号吗
基于0.8.0版本。
##查看topic分布情况kafka-list-topic.sh
bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况）
bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test （查看test的分区情况）
其实kafka-list-topic.sh里面就一句
exec $(dirname $0)/kafka-run-class.sh kafka.admin.ListTopicCommand $@
实际是通过
kafka-run-class.sh脚本执行的包kafka.admin下面的类
##创建TOPIC kafka-create-topic.sh
bin/kafka-create-topic.sh --replica 2 --partition 8 --topic test --zookeeper 192.168.197.170:2181,192.168.197.171:2181
创建名为test的topic， 8个分区分别存放数据，数据备份总共2份
bin/kafka-create-topic.sh --replica 1 --partition 1 --topic test2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181
结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170
##重新分配分区kafka-reassign-partitions.sh
这个命令可以分区指定到想要的--broker-list上
bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute
cat topic-to-move.json
{"topics":
[{"topic": "test2"}],
"version":1
}
##为Topic增加 partition数目kafka-add-partitions.sh
bin/kafka-add-partitions.sh --topic test --partition 2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （为topic test增加2个分区）
##控制台接收消息
bin/kafka-console-consumer.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --from-beginning --topic test
##控制台发送消息
bin/kafka-console-procer.sh --broker-list 192.168.197.170:9092,192.168.197.171: 9092 --topic test
##手动均衡topic, kafka-preferred-replica-election.sh
bin/kafka-preferred-replica-election.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --path-to-json-file preferred-click.json
cat preferred-click.json
{
"partitions":
[
{"topic": "click", "partition": 0},
{"topic": "click", "partition": 1},
{"topic": "click", "partition": 2},
{"topic": "click", "partition": 3},
{"topic": "click", "partition": 4},
{"topic": "click", "partition": 5},
{"topic": "click", "partition": 6},
{"topic": "click", "partition": 7},
{"topic": "play", "partition": 0},
{"topic": "play", "partition": 1},
{"topic": "play", "partition": 2},
{"topic": "play", "partition": 3},
{"topic": "play", "partition": 4},
{"topic": "play", "partition": 5},
{"topic": "play", "partition": 6},
{"topic": "play", "partition": 7}
]
}
##删除topic,慎用，只会删除zookeeper中的元数据，消息文件须手动删除
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181
Ⅶ linux系统防火墙开启了端口2181，但是telnet连不上
把两边的防火墙都关掉试试
win电脑防火墙 不常用端口被禁掉 或者没有正回常解除阻止应该也会被拦答截掉
linux关掉防火墙试试，测试虚拟机环境下，通过桥接各端口是不是都能正常工作
如果都正常然后再去查问题定位，搞这种东西 你得有思路 ，服务器直接运行的话 干扰项就比较少
还有防火墙设置，端口号状态的一些命令 网络一下 看看有没有正常打开
Ⅷ kafka查看消费了多少条数据
如何查看目前的消费者是否已经读到最新的数据：
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
#kafka查看topic各个分区的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:2181,*:2181,*:2181/kafka
--zookeeper 那里是指kafka在zk中的path,即使zk有多个机器，如果在其中一台上执行此命令，显示连接不上，只写那台机器的地址端口+kafka的path即可
指定自己的分组 自己消费的topic会显示kafka总共有多少数据，以及已经被消费了多少条
结果：
GROUP TOPIC PID OFFSET LOGSIZE LAG
消费者组 话题id 分区id 当前已消费的条数 总条数 未消费的条数
注意：以kafkaspout类作为消费者去读kafka数据，相当于直接从kafka server上取文件，没有消费者组的概念
每次读的数据存在自己zk的offet中
所以不能通过上述命令查看
Ⅸ kafka集群测试正常，但是Java连接kafka出现异常，急求大神解答！！！！！！！！！！！
首先你复在链接时候检查是制否代码里的IP 和端口是不是对的，端口是broker 端口，默认9092 ；
其次查看代码是生产者，看Kafka 集群里这个主题是否存在（如果不存在，默认是配置可以自动创建，看是非将该配置修改）；然后检测防火墙，相应端口是否开放（防火墙直接关也可以）；检测 server.properties 文件的 listeners 是否配置，若没有将其配置好
Ⅹ 2181shikafka的默认端口吗
ZooKeeper安装与配置一.单机安装、配置：1.下载zookeeper二进制安装包2.解压zookeeper安装包把zookeeper-3.4.3.tar.gz文件存放在内/home/hadoop目录下，容进行解压：hadoop@ubuntu:~$sudotar-zxvfzookeeper-3.4.3.tar.gzhadoop@ubuntu:~