kafka埠
Ⅰ kafka groupid在哪
進入來zookeeper客戶端：
zkCli.sh -server localhost:42182
註：這里我配的自zk埠是42182，默認為2181，可根據情況自行修改。
進入客戶端執行：
[zk: localhost:42182(CONNECTED) 0] ls /consumers
在consumers會看到你已經注冊過的group信息
Ⅱ kafka broker 重啟會自動加入集群嗎
方法
kafka server中默認是來不啟動jmx埠的，需要自用戶自己配置
vim bin/kafka-run-class.sh
#最前面添加一行
JMX_PORT=8060
（
不要這樣添加不然會報錯：
Error: Exception thrown by the agent : java.rmi.server.ExportException: Port already in use: 8060; nested exception is:
java.net.BindException: Address already in use (Bind failed)
）
Ⅲ kafka java 通過url連接伺服器
可以連接到一個網路伺服器並且能夠從這個伺服器下載指定的URL，程序中直接使用HTTP協議。程序將定義一個輸出流，下載的URL的內容將來被寫入這個流，通過socket來獲得輸入和輸出流：
view sourceprint?
01 import java.io.*;
02 import java.net.*;
03 public class HttpClient {
04 public static void main(String[] args) {
05 try {
06 // Demo參數:
07 if ((args.length != 1) && (args.length != 2))
08 throw new IllegalArgumentException("Wrong number of args");
09 //定義輸出流，下載的URL內容被寫入這個流
10 OutputStream to_file;
11 if (args.length == 2) to_file = new FileOutputStream(args[1]);
12 else to_file = System.out;
13 //使用URL類來把用戶指定的URL解析成幾個部分
14 URL url = new URL(args[0]);
15 String protocol = url.getProtocol();
16 if (!protocol.equals("http")) // 檢驗是否滿足支持的協議
17 throw new IllegalArgumentException("Must use 'http:' protocol");
18 String host = url.getHost();
19 int port = url.getPort();
20 if (port == -1) port = 80; //如果沒有指定埠，用默認埠
21 String filename = url.getFile();
22 // 打開一個連接到指定主機和埠的網路socket連接
23 Socket socket = new Socket(host, port);
24 // 通過socket來獲得輸入和輸出流
25 InputStream from_server = socket.getInputStream();
26 PrintWriter to_server = new PrintWriter(socket.getOutputStream());
27
28 // 發送HTTP GET命令給網路伺服器，指定要下載的文件
29 // 使用了一個老版本非常簡單的HTTP協議
30 to_server.print("GET " + filename + "\n\n");
31 to_server.flush(); // 立即發送
32 // 現在讀取伺服器的響應，把接收到的內容寫入文件
33 byte[] buffer = new byte[4096];
34 int bytes_read;
35 while((bytes_read = from_server.read(buffer)) != -1)
36 to_file.write(buffer, 0, bytes_read);
37 // 當伺服器關閉連接時，也關閉stuff
38 socket.close();
39 to_file.close();
40 }
41 catch (Exception e) { // 發布錯誤
42 System.err.println(e);
43 System.err.println("Usage: java HttpClient <URL> [<filename>]");
44 }
45 }
46 }
Ⅳ 如何通過外網連接內網kafka程序
一、內網IP只能在內網區域網訪問連接,在外網是不能認識內網IP不能訪問的。如有路由許可權,且路由有固定公網IP,可以通過路由的埠映射,實現外網訪問內網。如無路由,或路由無公網IP,需要藉助第三方開放的nat123埠映射網路輔助實現外網訪問內網。
埠映射網路輔助的好處是適用於任何網路環境,外網訪問內網的實現過程:
在內網安裝並啟用nat123埠映射。添加映射,配置內外網映射信息,對應內網IP埠和外網自己的域名。外網地址可直接使用提示默認域名。
NAT映射後,通過域名訪問,即可以連接內網對應IP應用。
二、要用到第三方開放的花生殼埠映射網路輔助實現外網訪問內網。
方法
1、在內網安裝並啟用花生殼埠映射。添加映射,配置內外網映射信息,對應內網IP埠和外網自己的域名。外網地址可直接使用提示默認域名。
2、點擊你想映射的域名，進入花生殼埠映射添加界面，點擊打開內網映射。
3、應用名稱可以隨便填個好記的，內網主機就是你想被公網訪問的那台電腦IP地址，內網埠就是希望被映射的埠，如下。我的內網主機是本機，就是192.168.21.250，希望被映射的埠是1024。點擊確定，就啟動埠映射了。
4、現在埠映射窗口就會添加一條映射記錄，此時，花生殼映射後,通過域名訪問,即可以連接內網對應IP應用。公網只要使用花生殼分配的這個域名+埠，就可以訪問內網的主機了。
Ⅳ kafka 為什麼只能用root 啟動
一、內網IP只能在內來網區域網訪自問連接,在外網是不能認識內網IP不能訪問的。
如有路由許可權,且路由有固定公網IP,可以通過路由的埠映射,實現外網訪問內網。如無路由,或路由無公網IP,需要藉助第三方開放的nat123埠映射網路輔助實現外網訪問內網。 。
Ⅵ kafka addbrokers 帶埠號嗎
基於0.8.0版本。
##查看topic分布情況kafka-list-topic.sh
bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分區情況）
bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test （查看test的分區情況）
其實kafka-list-topic.sh裡面就一句
exec $(dirname $0)/kafka-run-class.sh kafka.admin.ListTopicCommand $@
實際是通過
kafka-run-class.sh腳本執行的包kafka.admin下面的類
##創建TOPIC kafka-create-topic.sh
bin/kafka-create-topic.sh --replica 2 --partition 8 --topic test --zookeeper 192.168.197.170:2181,192.168.197.171:2181
創建名為test的topic， 8個分區分別存放數據，數據備份總共2份
bin/kafka-create-topic.sh --replica 1 --partition 1 --topic test2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181
結果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170
##重新分配分區kafka-reassign-partitions.sh
這個命令可以分區指定到想要的--broker-list上
bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute
cat topic-to-move.json
{"topics":
[{"topic": "test2"}],
"version":1
}
##為Topic增加 partition數目kafka-add-partitions.sh
bin/kafka-add-partitions.sh --topic test --partition 2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （為topic test增加2個分區）
##控制台接收消息
bin/kafka-console-consumer.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --from-beginning --topic test
##控制台發送消息
bin/kafka-console-procer.sh --broker-list 192.168.197.170:9092,192.168.197.171: 9092 --topic test
##手動均衡topic, kafka-preferred-replica-election.sh
bin/kafka-preferred-replica-election.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --path-to-json-file preferred-click.json
cat preferred-click.json
{
"partitions":
[
{"topic": "click", "partition": 0},
{"topic": "click", "partition": 1},
{"topic": "click", "partition": 2},
{"topic": "click", "partition": 3},
{"topic": "click", "partition": 4},
{"topic": "click", "partition": 5},
{"topic": "click", "partition": 6},
{"topic": "click", "partition": 7},
{"topic": "play", "partition": 0},
{"topic": "play", "partition": 1},
{"topic": "play", "partition": 2},
{"topic": "play", "partition": 3},
{"topic": "play", "partition": 4},
{"topic": "play", "partition": 5},
{"topic": "play", "partition": 6},
{"topic": "play", "partition": 7}
]
}
##刪除topic,慎用，只會刪除zookeeper中的元數據，消息文件須手動刪除
bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181
Ⅶ linux系統防火牆開啟了埠2181，但是telnet連不上
把兩邊的防火牆都關掉試試
win電腦防火牆 不常用埠被禁掉 或者沒有正回常解除阻止應該也會被攔答截掉
linux關掉防火牆試試，測試虛擬機環境下，通過橋接各埠是不是都能正常工作
如果都正常然後再去查問題定位，搞這種東西 你得有思路 ，伺服器直接運行的話 干擾項就比較少
還有防火牆設置，埠號狀態的一些命令 網路一下 看看有沒有正常打開
Ⅷ kafka查看消費了多少條數據
如何查看目前的消費者是否已經讀到最新的數據：
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
#kafka查看topic各個分區的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:2181,*:2181,*:2181/kafka
--zookeeper 那裡是指kafka在zk中的path,即使zk有多個機器，如果在其中一台上執行此命令，顯示連接不上，只寫那台機器的地址埠+kafka的path即可
指定自己的分組 自己消費的topic會顯示kafka總共有多少數據，以及已經被消費了多少條
結果：
GROUP TOPIC PID OFFSET LOGSIZE LAG
消費者組 話題id 分區id 當前已消費的條數 總條數 未消費的條數
注意：以kafkaspout類作為消費者去讀kafka數據，相當於直接從kafka server上取文件，沒有消費者組的概念
每次讀的數據存在自己zk的offet中
所以不能通過上述命令查看
Ⅸ kafka集群測試正常，但是Java連接kafka出現異常，急求大神解答！！！！！！！！！！！
首先你復在鏈接時候檢查是制否代碼里的IP 和埠是不是對的，埠是broker 埠，默認9092 ；
其次查看代碼是生產者，看Kafka 集群里這個主題是否存在（如果不存在，默認是配置可以自動創建，看是非將該配置修改）；然後檢測防火牆，相應埠是否開放（防火牆直接關也可以）；檢測 server.properties 文件的 listeners 是否配置，若沒有將其配置好
Ⅹ 2181shikafka的默認埠嗎
ZooKeeper安裝與配置一.單機安裝、配置：1.下載zookeeper二進制安裝包2.解壓zookeeper安裝包把zookeeper-3.4.3.tar.gz文件存放在內/home/hadoop目錄下，容進行解壓：hadoop@ubuntu:~$sudotar-zxvfzookeeper-3.4.3.tar.gzhadoop@ubuntu:~