Hadoop, nagu me kõik teame, on suurandmete plakatipoiss. Tarkvararaamistikuna, mis on võimeline töötlema elevandi proportsioone andmetega, on Hadoop jõudnud CIO-i moesõnade loendi tippu.
Mälusisese korstna enneolematu tõus on aga toonud suurandmete ökosüsteemile uue analüütika alternatiivi. MapReduce'i analüüsimeetod asendatakse uue lähenemisviisiga, mis võimaldab analüüsi teha nii Hadoopi raamistikus kui ka väljaspool seda. Apache Spark on suurandmete analüüsi uus värske nägu.
Suurandmete entusiastid on sertifitseerinud Apache Sparki kui maailma kuumimate andmete arvutamise mootorit. See tõrjub MapReduce'i ja Java oma positsioonidelt kiiresti välja ning töökoha suundumused kajastavad seda muutust. TypeSafe uuringu kohaselt hindab 71% maailma Java-arendajatest Sparki või uurib seda ja 35% neist on seda juba kasutama hakanud. Sparki eksperdid on praegu nõudlikud ja järgnevatel nädalatel peaks Sparkiga seotud töövõimaluste arv minema ainult läbi katuse.
Mis on Apache Sparki puhul see, mis muudab selle iga CIO-de ülesannete loendi kohale?
kas saate Java-s laiendada ja rakendada
Siin on mõned Apache Sparki huvitavad omadused:
- Hadoopi integreerimine - Spark võib töötada HDFS-i salvestatud failidega.
- Sparki interaktiivne kest - Spark on kirjutatud Scalas ja sellel on Scala tõlgi oma versioon.
- Sparki analüütiline sviit - Spark sisaldab tööriistu interaktiivseks päringute analüüsiks, suuremahuliseks graafide töötlemiseks ja analüüsimiseks ning reaalajas analüüsimiseks.
- Elastsed hajutatud andmekogumid (RDD) - RDD-d on hajutatud objektid, mida saab vahemällu salvestada arvutisõlmede klastris. Need on peamised andmeobjektid, mida Sparkis kasutatakse.
- Hajutatud operaatorid - Lisaks MapReduce'ile on RDD-s palju teisi operaatoreid.
Sellised organisatsioonid nagu NASA, Yahoo ja Adobe on pühendunud Sparkile. Seda ütleb John Tripier, Alliance and Ecosystem Lead at Databricks: „Apache Sparki kasutuselevõtt suurte ja väikeste ettevõtete poolt kasvab uskumatult kiiresti paljudes tööstusharudes ning nõudlus sertifitseeritud asjatundlikkusega arendajate järele on kiiresti järgmisena ”. Sparki õppimiseks pole kunagi varem olnud paremat aega, kui teil on Hadoopis taust.
Edureka on spetsiaalselt kureerinud Apache Spark & Scala kursuse, mille on loonud reaalse elu praktikud. Vaadake meie kursust, et saada diferentseeritud reaalajas e-õppe kogemust koos tööstusharuga seotud projektidega. Uued partiid on varsti algamas, seega vaadake kursust siit: .
Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.
Seonduvad postitused:
meetodi ülekoormamise eelised Java-s