Tänapäeva maailmas on andmed on peamine koostisosa Interneti-rakenduste hulka ja hõlmab tavaliselt järgmist:
- Lehekülastused ja klikid
- Kasutaja tegevused
- Sisselogimistele vastavad sündmused
- Suhtlusvõrgustike tegevused, näiteks meeldimised, jagamised ja kommentaarid
- Rakenduspõhised mõõdikud (nt logid, lehe laadimisaeg, jõudlus jne)
See andmeid saab kasutada analüüsi reaalajas käitamiseks teenivad mitmesuguseid eesmärke, millest mõned on:
õppimine ssis samm-sammult
- Reklaamide edastamine
- Kasutaja ebanormaalse käitumise jälgimine
- Otsingu kuvamine asjakohasuse alusel
- Varasemate tegevuste põhjal soovituste kuvamine
Probleem: Kõigi andmete kogumine pole lihtne, kuna andmeid genereeritakse erinevatest allikatest erinevates vormingutes
Lahendus: Üks selle probleemi lahendamise viis on sõnumsüsteemi kasutamine. Sõnumsüsteemid võimaldavad sõnumite abil sujuvalt integreerida hajutatud rakendusi.
Apache Kafka:
Apache Kafka on hajutatud avaldatud tellimissõnumite süsteem, mis töötati algselt välja LinkedInis ja sai hiljem Apache projekti osaks. Kafka on kiire, kiire, skaleeritav ja disaini järgi jaotatud.
Kafka arhitektuur ja terminoloogia:
Teema: Kindlasse kategooriasse kuuluvate sõnumite voogu nimetatakse teemaks
Produtsent: Produtsendiks võib olla mis tahes rakendus, mis võib avaldada sõnumeid teemale
Tarbija: Tarbija võib olla mis tahes rakendus, mis tellib teemasid ja tarbib sõnumeid
Maakler: Kafka klaster on serverite komplekt, millest kõiki nimetatakse maakleriks
Kafka on skaleeritav ja võimaldab luua mitut tüüpi klastreid.
- Ühe sõlmega ühe maakleri klaster
- Ühe sõlmega mitme maakleri klaster
- Mitu sõlme Mitu maakleri klastrit
Ühe sõlme üksikmaakler
Mis on ZooKeeperi roll?
Iga Kafka maakler teeb ZooKeeperi abil koostööd teiste Kafka maakleritega. Tootjad ja tarbijad teavitab ZooKeeperi teenus uute maaklerite olemasolust või maakleri ebaõnnestumisest süsteemis Kafka.
Ühe sõlmega mitu maaklerit
Mitu sõlme Mitu maaklerit
Kafka @ LinkedIn
LinkedIni uudisvoogu toetab Kafka
looge lingitud loend c-s
LinkedIni soovitusi toetab Kafka
LinkedIni märguandeid toetab Kafka
Märge: Peale selle kasutab LinkedIn Kafkat paljude muude ülesannete jaoks, nagu logide jälgimine, jõudlusmõõdikud, otsingu täiustamine.
Kes veel Kafkat kasutab?
DataSift: DataSift kasutab Kafkat sündmuste jälgimise kogujana ja kasutajate reaalajas andmevoogude tarbimise jälgimiseks
Wooga: Wooga kasutab Kafkat keskses asukohas kõigi oma Facebooki mängude (mitmel teenusepakkujal hostitud) jälgimisandmete koondamiseks ja töötlemiseks
Käsnrakk: Spongecell kasutab Kafkat kogu oma analüütika käitamiseks ja torujuhtme jälgimiseks nii reaalajas kui ka ETL-rakendustes
Loggly: Loggly on maailma populaarseim pilvepõhine logihaldus. See kasutab palkide kogumiseks Kafkat.
Võrdlev uuring: Kafka vs ActiveMQ vs RabbitMQ
Kafkal on tõhusam salvestusformaat. Keskmiselt on iga sõnumi üldkulud Kafkas 9 baiti ja ActiveMQ-s 144 baiti.
Nii ActiveMQ-s kui ka RabbitMQ-s hoiavad maaklerid iga kirja kohaletoimetamise olekut kettale kirjutades, kuid Kafka puhul kettakirjutust ei toimu, mis muudab selle kiiremaks.
java näidisprogrammides
Kafka laialdase kasutuselevõtuga tootmises näib see olevat paljutõotav lahendus reaalsete probleemide lahendamiseks. Apache Kafka koolitus aitab teil reaalajas analüütikute karjääris kaaslastest ette jõuda. Alustage Apache Kafka õpetusega siin .
Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.
Seonduvad postitused: