Apache Kafka installimine CentOS/RHEL 7-sse

Apache Kafka on võimas sõnumimootor, mida kasutatakse laialdaselt BigData projektides ja Data Analyticsi elutsüklis. See on avatud lähtekoodiga platvorm reaalajas andmete voogesituse torujuhtmete ehitamiseks. See on levitatav avaldamise-tellimise platvorm, millel on töökindlus, mastaapsus ja vastupidavus.

Kafka võib olla eraldiseisev või klastrina. Kafka salvestab voogesituse andmed ja neid saab liigitada teemadeks. Teemal on palju partitsioone, et see saaks suvalise hulga andmetega hakkama saada. Samuti võib meil olla mitu rikkekindla koopiat, nagu meil on HDFS-is. Kafka klastris on maakler komponent, mis salvestab avaldatud andmed.

Zookeeper on Kafka klastri juhtimiseks kohustuslik teenus, kuna seda kasutatakse Kafka maaklerite koordineerimise haldamiseks. Zookeeper mängib võtmerolli tootja ja tarbija vahel, kus ta vastutab kõigi maaklerite seisundi säilitamise eest.

Selles artiklis selgitame, kuidas Apache Kafka installida ühte sõlme CentOS 7 või RHEL 7.

Apache Kafka installimine CentOS 7-sse

1. Esiteks peate Apache Kafka tõrgeteta käitamiseks oma süsteemi installima Java. Niisiis, installige Java vaikevariant järgmise yum-käsu abil ja kontrollige Java-versiooni, nagu näidatud.

# yum -y install java-1.8.0-openjdk
# java -version

2. Järgmisena laadige ametlikelt veebisaitidelt alla Apache Kafka uusim stabiilne versioon või kasutage selle otse alla laadimiseks ja väljavõtmiseks järgmist käsku wget.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Looge kafka paketi jaoks sümboolne link, seejärel lisage faili .bash_profile Kafka keskkonnatee ja vormindage see vastavalt joonisele.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. Järgmisena käivitage Zookeeper, mis on Kafka paketiga sisseehitatud. Kuna tegemist on ühe sõlmega klastriga, saate zookeeperi käivitada vaikeatribuutidega.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Kontrollige, kas zookeeperile on juurdepääs või mitte, lihtsalt telneti kaudu Zookeeperi porti 2181.

# telnet localhost 2181

6. Käivitage Kafka selle vaikimisi omadustega.

# kafka-server-start.sh -daemon /root/kafka/config/server.properties

7. Kontrollige, kas Kafka on juurdepääsetav või mitte, lihtsalt telfeti abil Kafka sadamasse 9092

# telnet localhost 9092

8. Seejärel looge näidisteema.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

9. Loetlege loodud teema.

# kafka-topics.sh --zookeeper localhost:2181 --list

Selles artiklis oleme näinud, kuidas ühe sõlme Kafka klastrit CentOS 7-sse installida. Järgmises artiklis näeme, kuidas installida mitmevõlmelist Kafka klastrit.