Suurandmete töötlemine Apache Sparki ja Scalaga



Apache Spark on välja tulnud kui suur areng suurte andmetöötluste valdkonnas.

ssis õpetus algajatele 2012 koos näidetega

IST: 7. oktoober - 08.00, 17. oktoober 14





PDT: 16. oktoober ’14, 18.30–19.30

Piiratud kohtade arv !! Täitke paremal olev vorm ja broneerige oma pesa juba täna.



Tere, kõik korraldame 18. oktoobril 14 Apache Sparki ja Scala kohta tasuta veebiseminari. Veebiseminari pealkiri on Suurandmete töötlemine Apache Sparki ja Scalaga . Selles veebiseminaris arutatakse Apache Sparki ja Scala olulisi teemasid. Kõiki küsimusi või kahtlusi saab seansi käigus selgitada.

Käsitletavad teemad:

  • Mis on Big Data?
  • Mis on säde?
  • Miks Säde?
  • Sädeökosüsteem
  • Märkus Scala kohta
  • Miks just Scala?
  • Tere Säde - käed peal

Miks Säde?

Apache Spark on avatud lähtekoodiga klastrite arvutamise raamistik Hadoopi kogukonna klastritele. Oma kvalifitseerimata kiiruse, kasutusmugavuse ja keeruka analüüsi abil saab see olla üks paremaid andmeanalüütika ja suuremahuliste andmete töötlemise mootoreid. Järgmised on eelised ja funktsioonid, mis muudavad Apache Sparki nii operatiiv- kui ka uurimisanalüütika jaoks ristmikuks:

  • Sparki kaudu välja töötatud programmid töötavad 100 korda kiiremini kui Hadoop MapReduce'is välja töötatud.
  • Spark koostab 80 kõrgetasemelist operaatorit.
  • Spark Streaming võimaldab andmete töötlemist reaalajas.
  • GraphX ​​on graafiliste arvutuste teek.
  • MLib on Sparki masinõppekogu.
  • Peamiselt Scalasse kirjutatud Sparki saab manustada mis tahes JVM-i põhises operatsioonisüsteemis, samal ajal saab seda kasutada ka REPL (Read, Evaluate, Process and Load) viisil.
  • Sellel on võimas vahemälu salvestamine ja ketta püsivus.
  • Spark SQL võimaldab SQL-i päringutega oskuslikult hakkama saada
  • Apache Sparki saab juurutada Apache Mesose, HDFS-i lõnga, HBase'i, Cassandra või Spark Cluster Manageri (Sparki enda klastrihalduri) kaudu.
  • Spark simuleerib Scala funktsionaalset stiili ja kollektsioonide API-d, mis on suur eelis Scala ja Java arendajatele.

Vajadus Apache Sparki järele:

Spark pakub tööstusele tohutut kasu kiiruse, mitmesuguste ülesannete täitmise, paindlikkuse, kvaliteetsete andmete analüüsi, kulutõhususe jms osas, mis on päeva vajadused. See pakub tipptasemel reaalajas suurandmete analüüsi lahendusi IT-tööstusele, rahuldades kasvavat klientide nõudlust. Reaalajas toimiv analüüs aitab ärivõimalusi kuhjaga ära kasutada. Selle ühilduvus Hadoopiga muudab selle kiire kasutuselevõtmise ettevõtetel väga lihtsaks. Sparki õppinud ekspertide ja arendajate järele on suur vajadus, kuna see on suhteliselt uus tehnoloogia, mida võetakse üha enam kasutusele.