Kafka-työkalujen esittely
Kafka Tools on kokoelma erilaisia työkaluja, joiden avulla voimme hallita Kafka-klusteriamme. Työkalut ovat pääosin komentorivipohjaisia, mutta käytettävissä on myös käyttöliittymäpohjaisia työkaluja, jotka voidaan ladata ja asentaa.
Voimme käyttää Kafka-työkaluja suorittamaan erilaisia toimintoja, kuten:
- Luettele käytettävissä olevat Kafka-klusterit ja niiden välittäjät, aiheet ja kuluttajat.
- Pystyy tulostamaan viestit eri aiheista vakioulostulossa. Käyttöliittymäpohjaiset työkalut voivat varmasti tarjota paremman luettavuuden.
- Lisää ja pudota aiheita välittäjiltä.
- Lisää uusia viestejä osioihin.
- Tarkastele kaikkia kuluttajien korvauksia.
- Luo osioita aiheistamme.
- Luetteloi kaikki kuluttajaryhmät, kuvaile kuluttajaryhmiä, poista kuluttajaryhmätiedot ja nollaa kuluttajaryhmien korvaukset.
Jos haluamme käyttää käyttöliittymäpohjaista työkalua, voimme käyttää Kafka-työkalua, jonka voi ladata seuraavalta verkkosivulta:
http://www.kafkatool.com/download.html
Tämä sovellus on saatavana ilmaiseksi henkilökohtaiseen käyttöön, mutta meidän on ostettava lisenssi kaupalliseen käyttöön. Hyvä asia on sen saatavuus Mac-, Windows- ja Linux-järjestelmille.
Kafka-työkalujen 3 suosittua tyyppiä
Kafka-työkalut luokitellaan järjestelmätyökaluihin ja sovellustyökaluihin.
1. Järjestelmätyökalut
Järjestelmätyökalut voidaan suorittaa seuraavalla syntaksilla.
Syntaksi:
bin/kafka-run-class.sh package.class - - options
Jotkut Järjestelmätyökalut ovat seuraavat:
- Kafka-siirtotyökalu: Tätä työkalua käytetään Kafka-välittäjän siirtämiseen versiosta toiseen.
- Consumer Offset Checker: Tämä työkalu voi näyttää määritetyn aihepiirin kuluttajaryhmän, aiheen, osiot, off-set, logSize, omistajan ja kuluttajaryhmän.
- Peilien luonti: Tätä työkalua käytetään Kafka-klusterin peilaamiseen toiseen.
2. Replikointityökalut
Nämä ovat pohjimmiltaan korkean tason suunnittelutyökaluja kestävyyden ja saatavuuden varmistamiseksi.
Jotkut replikaatiotyökalut ovat:
- Luo aihe -työkalu: Tätä työkalua käytetään luomaan aiheita oletusmäärällä osiolla ja replikaatiotekijällä.
- Lista aihetyökalu: Tätä käytetään luettelemaan tietyn aiheluettelon tiedot. Hienoa tämän työkalun suhteen on, että jos mitään aihetta ei ole jo saatavilla komentorivillä, se kysyy eläintarhanhoitajalta hakemaan ensin aiheluettelo ja tulostamaan sitten niitä koskevat tiedot. Siinä luetellaan useita kenttiä, kuten aiheen nimi, osiot, johtaja, replikat jne.
- Lisää osiotyökalu: Tätä työkalua käytetään osioiden lisäämiseen aiheeseen, jota tarvitaan aiheen tietomäärän kasvun käsittelemiseen. Mutta huomioi, että meidän on määritettävä osiot aihetta luotaessa. Tämän työkalun avulla voimme lisätä manuaalisia kopioita lisättyihin osioihin.
3. Sekalaiset työkalut
Keskustelemme nyt eräistä sekalaisista työkaluista:
a. Kafka-aiheiden työkalu
Tätä työkalua käytetään aiheiden luomiseen, luettelointiin, muuttamiseen ja kuvaamiseen.
Esimerkki: Aiheen luonti: bin/kafka-topics.sh --zookeeper zk_host:port/chroot --create --topic topic_name --partitions 30 --replication-factor 3 --config x=y
b. Kafka-konsoli-kuluttajatyökalu
Tätä työkalua voidaan käyttää Kafkan aiheiden tietojen lukemiseen ja kirjoittamiseen vakiotulosteeseen
Esimerkki: bin/kafka-console-consumer --zookeeper zk01.example.com:8080 --topic topic_name>/code>
C. Kafka-konsolin tuottaja -työkalu
Tätä työkalua voidaan käyttää tietojen kirjoittamiseen Kafka-aiheeseen standardilähdöstä.
Esimerkki: bin/kafka-console-producer --broker-list kafka03.example.com:9091 --topic topic_name
d. Kafka-kuluttajaryhmien työkalu
Tätä työkalua voidaan käyttää luettelemaan kaikki kuluttajaryhmät, kuvaamaan kuluttajaryhmää, poistamaan kuluttajaryhmätiedot tai nollaamaan kuluttajaryhmäpoikkeamat. Tätä työkalua käytetään pääasiassa kuluttajaryhmien kuvaamiseen ja mahdollisten kuluttajakorvauskysymysten virheenkorjaukseen.
Esimerkki: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name tarkasteleminen vakuuttamattomassa klusterissa: bin/kafka-consumer-groups --new-consumer --bootstrap-server broker01.example.com:9092 --describe --group group_name
Kafka-arkkitehtuuri
Kafka-työkalujen eri komponentit
Kafkan tärkeimmät komponentit ovat seuraavat:
1. Välittäjä
Jokainen Kafka-klusterin solmu on välittäjä, joka tallentaa tiedot. Tyypillisesti on useita välittäjiä kuorman tasapainottamiseksi oikein. Välittäjä tallentaa viestit aiheiden muodossa, joihin tuottajat (kirjoittamista varten) ja kuluttajat (lukemiseen) pääsevät käsiksi. Aiheet luodaan erottamaan sovelluksen tiedot toisesta. Koska välittäjät ovat kansalaisuudettomia, he tarvitsevat eläintarhanhoitajan apua klusteritilansa ylläpitämiseksi. Yksi välittäjä voi käsitellä TB-viestejä vaikuttamatta suorituskykyyn. Kafka-välittäjäjohtajan vaalit suorittaa eläintarhanhoitaja.
2. Tuottaja
Se on yksikkö, joka työntää viestit välittäjiin. Tietoja voi tuottaa useita tuottajia erittäin suurella nopeudella ja toisistaan riippumattomasti. Tuottajat eivät saa välittäjiltä vahvistuksia ja lähettävät tietoja välittäjien käsiteltävällä nopeudella. He voivat etsiä välittäjiä ja aloittaa viestien lähettämisen heti, kun välittäjät alkavat. Tuottaja vastaa siitä, mikä viesti valitaan mihin osioon aiheessa. Tämä voidaan tehdä pyöreällä tavalla yksinkertaisesti kuormituksen tasapainottamiseksi tai se voidaan tehdä jonkin semanttisen osiointitoiminnon mukaan (sanotaan sanoman jonkin avaimen perusteella).
3. Eläintarhanhoitaja
Se on yksikkö, joka hallinnoi ja koordinoi välittäjiä. Eläintarhanhoitaja ilmoittaa tuottajalle tai kuluttajalle välittäjän lisäyksestä tai epäonnistumisesta. Jokainen välittäjä lähettää sykepyynnöt eläintarhanhoitajalle säännöllisin väliajoin niin kauan kuin se on elossa. Eläintarhanhoitaja ylläpitää myös tietoa aiheista ja kuluttajien korvauksista.
4. Kuluttaja
Se on yksikkö, joka lukee viestit aiheista. Kuluttaja voi tilata ja lukea useammasta kuin yhdestä aiheesta. Kuluttaja voi toimia rinnakkain muiden kuluttajien kanssa (tässä tapauksessa kunkin osion lukee vain yksi kuluttaja) muodostaen Kuluttajaryhmän. Se ei toimi synkronoinnissa tuottajien kanssa. Kuluttajan on ylläpidettävä, kuinka monta viestiä hän on lukenut, osiopoikkeamalla. Jos asiakas hyväksyy tietyn osiopoikkeaman, se tarkoittaa, että se on jo käyttänyt osion aiemmat viestit.
johtopäätös
Tässä artikkelissa olemme oppineet, kuinka voimme käyttää erilaisia Kafka-työkaluja hallitsemaan Kafka-klusteriamme tehokkaasti. Olemme myös oppineet Kafka-ekosysteemin eri komponenteista ja kuinka ne ovat vuorovaikutuksessa keskenään.
Suositellut artikkelit
Tämä on opas Kafkan työkaluihin. Tässä keskustellaan Kafka-työkalujen tyypeistä, Kafkan eri komponenteista sekä Kafka-arkkitehtuurista. Voit myös tarkastella seuraavaa artikkelia saadaksesi lisätietoja -
- Suosituimmat Kafka-sovellukset
- Selitys Big Data -arkkitehtuurista
- Tietotekniikan parhaat työkalut
- Eroja Kafka vs. Spark välillä