Apache Flink on avatud lähtekoodiga platvorm hajutatud voo ja pakettandmete töötlemiseks. See võib töötada Windowsis, Mac OS-is ja Linuxis. Selles blogipostituses arutleme, kuidas Flinki klastrit kohalikult seadistada. See sarnaneb Sparkiga mitmeti - sellel on graafikute ja masinate õppimise töötlemise API-d nagu Apache Spark -, kuid Apache Flink ja Apache Spark pole täpselt samad.
Flink-klastri seadistamiseks peab teie süsteemis olema installitud Java 7.x või uuem versioon. Kuna mul on CentOS-i (Linux) minu otsa installitud Hadoop-2.2.0, olen alla laadinud Flink-paketi, mis ühildub Hadoop 2.x-ga. Flinki paketi allalaadimiseks käivitage käsk allpool.
Käsk: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Pöördkataloogi saamiseks tühistage fail.
Käsk: tar -xvf Allalaadimised / flink-1.0.0-bin-hadoop2-scala_2.10.tgz
Käsk: ls
Lisage .bashrc-faili Flinki keskkonnamuutujad.
Käsk: sudo gedit .bashrc
Peate käivitama alloleva käsu, et .bashrc-faili muudatused oleksid aktiveeritud
Käsk: allikas .bashrc
Nüüd minge flink kataloogi ja käivitage klaster kohapeal.
Käsk: cd kopsakas-1,0,0
Käsk: bin / start-local.sh
Kui olete klastri käivitanud, näete, kuidas töötab uus deemon JobManager.
Käsk: jps
mis vahe on css-l ja css3-l
Apache Flinki veebiliidese nägemiseks avage brauser ja minge aadressile http: // localhost: 8081.
Käitagem Apache Flinki abil lihtsat sõnade arvu näidet.
Enne näite käivitamist installige netcat oma süsteemis (sudo yum install nc).
Nüüd käivitage uues terminalis järgmine käsk.
Käsk: nc -lk 9000
Käivitage allpool antud käsk flink terminalis. See käsk käivitab programmi, mis võtab voogedastatud andmed sisendiks ja teostab voogesitatud andmetega sõnade arvu.
Käsk: bin / flink run näited / streaming / SocketTextStreamWordCount.jar –hostname localhost –port 9000
Veebiliides näete tööd jooksvas olekus.
Käivitage käsk allpool uues terminalis, see prindib voogesitatud ja töödeldud andmed.
kuidas kasutada java swing
Käsk: tail -f log / flink - * - jobmanager - *. välja
Nüüd minge terminali, kus alustasite netcati, ja tippige midagi.
Sel hetkel, kui vajutate märksõna sisestusnuppu pärast mõne teabe sisestamist netcati terminali, rakendatakse nendele andmetele wordcount-operatsiooni ja väljund trükitakse siin (flink's jobmanageri logi) millisekundite jooksul!
Väga lühikese aja jooksul voogesitatakse, töödeldakse ja prinditakse andmeid.
Apache Flinki kohta on palju muud õppida. Puudutame oma eelseisvas ajaveebis muid Flinki teemasid.
Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja me võtame teiega ühendust.
Seonduvad postitused:
Apache Falcon: Hadoopi ökosüsteemi uus andmehalduse platvorm