Az Apache Kafka egy üzenetfolyam-szolgáltatás, amely lehetővé teszi, hogy egy elosztott rendszer különböző alkalmazásai üzeneteken keresztül kommunikáljanak és megosszák az adatokat.
Pub/alrendszerként működik, ahol a termelői alkalmazások üzeneteket tesznek közzé, a fogyasztói rendszerek pedig előfizetnek rájuk.
Az Apache Kafka lehetővé teszi, hogy lazán csatolt architektúrát alkalmazzon a rendszer adatot előállító és fogyasztó részei között. Ez egyszerűbbé teszi a rendszer tervezését és kezelését. A Kafka a Zookeeperre támaszkodik a metaadatok kezeléséhez és a klaszter különböző elemeinek szinkronizálásához.
Tartalomjegyzék
Az Apache Kafka jellemzői
Az Apache Kafka többek között azért vált népszerűvé
- Skálázható fürtökön és partíciókon keresztül
- Gyors, másodpercenként 2 millió írásra képes
- Fenntartja az üzenetek küldésének sorrendjét
- A replikarendszere révén megbízható
- Nulla állásidővel bővíthető
Most pedig nézzünk meg a Kafka néhány gyakori használati esetét.
Az Apache Kafka gyakori használati esetei
A Kafkát gyakran használják nagy adatok feldolgozására, események rögzítésére és összesítésére, mint például a gombokra történő kattintások elemzésére, valamint a rendszer különböző részeiről származó naplók egy központi helyre való egyesítésére.
Segíti a kommunikációt a rendszer különböző alkalmazásai között, valamint az IoT-eszközökről származó adatok valós idejű feldolgozását.
Most nézzük meg a Kafka Windows és Linux rendszeren történő telepítésének részletes lépéseit.
A Kafka telepítése Windows rendszeren
Először ellenőrizze, hogy a Java telepítve van-e a gépen, hogy telepítse az Apache Kafkát Windows rendszeren. Nyissa meg a parancssort rendszergazda módban, és írja be a parancsot:
java --version
Ha a Java telepítve van, akkor a jelenleg telepített JDK verziószámot kell beszereznie.
Ha hibaüzenetet kap, amely szerint a parancsot nem ismeri fel a rendszer, a Java nincs telepítve, és telepítenie kell a Java-t. A Java telepítéséhez lépjen az Adoptium.net oldalra, és kattintson a letöltés gombra.
Ennek le kell töltenie a Java telepítőfájlt. Amikor a letöltés befejeződött, futtassa a telepítőt. Ennek meg kell nyitnia a telepítési promptot.
Nyomja meg többször a Következő gombot az alapértelmezett beállítások kiválasztásához. Ezután el kell kezdeni a telepítést. A telepítés ellenőrzéséhez zárja be a parancssort, nyisson meg újra egy másik parancssort rendszergazda módban, és írja be a következő parancsot:
java --version
Ezúttal az imént telepített JDK-verziót kell beszereznie. A telepítés befejezése után megkezdhetjük a Kafka telepítését.
A Kafka telepítéséhez először látogasson el a Kafka webhelyére.
Kattintson a hivatkozásra, és a Letöltések oldalra kell eljutnia. Töltse le a legújabb elérhető binárisokat.
Ezzel letölti a .tgz fájlba csomagolt Kafka-szkripteket és binárisokat. A letöltés után ki kell csomagolnia a fájlokat a .tgz archívumból. A kibontáshoz WinZip-et használok, amely letölthető a WinZip webhelyéről.
A fájl kibontása után helyezze át a C: fájlba, így a fájl elérési útja C:kafka lesz
Ezután nyissa meg a parancssort adminisztrátori módban, és indítsa el a Zookeepert úgy, hogy először navigáljon a Kafka könyvtárba. És futtassa a zookeeper-server-start.bat fájlt zookeeper.properties konfigurációs fájlként
cd C:kafka binwindowszookeeper-server-start.bat configzookeeper.properties
Ha a Zookeeper fut, hozzá kell adnunk a wmic futtatható fájlt, amelyet Kafka a rendszerünk PATH-jában használ,
set PATH=C:WindowsSystem32wbem;%PATH%;
Ezt követően indítsa el az Apache Kafka szervert úgy, hogy adminisztrátori módban megnyit egy másik parancssori munkamenetet, és navigál a C:kafka mappába.
cd C:kafka
Ezután indítsa el Kafkát futással
binwindowskafka-server-start.bat configserver.properties
Ezzel Kafkának futnia kellene. Testreszabhatja a kiszolgáló tulajdonságait, például azt, hogy a naplók hol legyenek a server.properties fájlban.
A Kafka telepítése Linuxra
Először is győződjön meg arról, hogy rendszere naprakész az összes csomag frissítésével
sudo apt update && sudo apt upgrade
Ezután ellenőrizze, hogy a Java telepítve van-e a gépen a futtatással
java --version
Ha a java telepítve van, látni fogja a verziószámot. Ha azonban nem, akkor az apt segítségével telepítheti.
sudo apt install default-jdk
Ezt követően telepíthetjük az Apache Kafka-t a binárisok letöltésével a webhelyről.
Nyissa meg a terminált, és keresse meg a mappát, ahová a letöltést elmentette. Az én esetemben a Letöltések mappába kell navigálnom.
cd Downloads
Miután a letöltések mappában van, csomagolja ki a letöltött fájlokat a tar segítségével:
tar -xvzf kafka_2.13-3.3.1.tgz
Navigáljon a kibontott mappához
cd kafka_2.13-3.3.1.tgz
Sorolja fel a könyvtárakat és fájlokat.
Miután a mappában van, indítson el egy Zookeeper-kiszolgálót a kibontott mappa bin könyvtárában található zookeeper-server-start.sh parancsfájl futtatásával.
A szkripthez Zookeeper konfigurációs fájlra lesz szükség. Az alapértelmezett fájl neve zookeeper.properties, és a config alkönyvtárban található.
Tehát a szerver indításához használja a következő parancsot:
bin/zookeeper-server-start.sh config/zookeeper.properties
A Zookeeper futásával elindíthatjuk az Apache Kafka szervert. A kafka-server-start.sh szkript szintén a bin könyvtárban található. A parancs konfigurációs fájlt is vár. Az alapértelmezett a konfigurációs fájlban tárolt server.properties.
bin/kafka-server-start.sh config/server.properties
Ezzel be kell indítania az Apache Kafkát. A bin könyvtáron belül számos szkriptet találhat olyan tevékenységekhez, mint például témák létrehozása, gyártók kezelése és fogyasztók kezelése. A szerver tulajdonságait a server.properties fájlban is testreszabhatja.
Végső szavak
Ebben az útmutatóban végignéztük a Java és az Apache Kafka telepítését. Míg a Kafka-fürtöket manuálisan telepítheti és kezelheti, használhat olyan felügyelt opciókat is, mint az Amazon Web Services és a Confluent.
Ezután megtanulhatja az adatfeldolgozást a Kafka és a Spark segítségével.