Hadoop LÕNGADE õpetus - õppige LÕNGA arhitektuuri aluseid

Hadoop YARN koob erinevate töötlemisvahenditega Hadoopi salvestusüksuse, st HDFS (Hadoop Distributed File System). Neile teist, kes on selles teemas täiesti uued, tähistab YARN Y ja TO mitte midagi R hankida N egotiator ”. Samuti soovitaksin teil meie läbi teha ja enne kui hakkate Apache Hadoop YARNi õppima. Seletan siin järgmisi teemasid, et olla kindel, et selle blogi lõpus on teie arusaam Hadoop LÕNGIST selge.

• Miks LÕNN?
• Hadoop LÕNG sissejuhatus
• LÕNGA komponendid
• Taotluse esitamine lõngaga
• Rakenduse töövoog Hadoopis LÕNG

Miks LÕNN?

Hadoopi versioonis 1.0, millele viidatakse ka kui MRV1 (MapReduce versioon 1), täitis MapReduce nii töötlemise kui ka ressursside haldamise funktsioone. See koosnes tööjälgijast, mis oli ainuke kapten. Tööjälgija eraldas ressursid, tegi ajakava ja jälgis töötlustöid. See määras kaardi ja vähendas mitme alluva protsessi ülesandeid, mida nimetatakse Task Trackersiks. Tegumijälgijad teatasid oma edusammudest perioodiliselt Tööjälgijale.

Selle disaini tulemuseks oli mastaapsuse kitsaskoht tänu ühele tööjälgijale.IBM mainis oma artiklis, et vastavalt Yahoo! -Le saavutatakse sellise kujunduse praktilised piirid koos 5000 sõlme ja 40 000 samaaegselt töötava ülesandega klastriga.Peale selle piirangu on arvutusressursside kasutamine MRV1-s ebaefektiivne. Samuti piirdus Hadoopi raamistik ainult MapReduce töötlemisparadigmaga.

Kõigi nende probleemide ületamiseks tutvustasid Yahoo ja Hortonworks YARNi 2012. aastal Hadoopi versioonis 2.0. YARNi põhiidee on leevendada MapReduce'i, võttes ressursside haldamise ja tööde ajastamise vastutuse üle. LÕNG hakkas Hadoopile andma võimaluse käivitada Hadoopi raamistikus mitte-MapReduce töid.

Võite vaadata ka allpool olevat videot, kus meie ekspert arutleb üksikasjalikult YARNi kontseptsioonide ja selle arhitektuuri üle.

Hadoopi lõnga õpetus Hadoopi lõngaarhitektuur | Edureka

Lõnga kasutuselevõtuga oli täielikult revolutsiooniline. See muutus palju paindlikumaks, tõhusamaks ja mastaapsemaks. Kui Yahoo läks 2013. aasta esimeses kvartalis YARN-i koosseisu, aitas see ettevõttel oma Hadoop-klastri suurust vähendada 40 000-lt 32 000-le. Kuid töökohtade arv kahekordistus 26 miljonini kuus.

Hadoop LÕNG sissejuhatus

Nüüd, kui olen teid valgustanud vajadusega lõnga järele, lubage mul tutvustada teile Hadoop v2.0 põhikomponenti, LÕNG . YARN võimaldab HDFS-is salvestatud andmete käitamiseks ja töötlemiseks erinevaid andmetöötlusmeetodeid, nagu graafide töötlemine, interaktiivne töötlemine, voo töötlemine kui ka pakkide töötlemine. Seetõttu avab YARN Hadoopi muud tüüpi hajutatud rakendustele peale MapReduce'i.

YARN võimaldas kasutajatel teha toiminguid vastavalt nõuetele, kasutades mitmesuguseid tööriistu reaalajas töötlemiseks, Taru SQL-i jaoks, HBase NoSQL-i ja teiste jaoks.

Lisaks ressursside haldamisele teostab YARN ka tööde ajastamist. YARN teostab kõik teie töötlemistoimingud ressursside eraldamise ja ülesannete ajastamise kaudu. Apache Hadoop YARN arhitektuur koosneb järgmistest põhikomponentidest:

1. Ressursihaldur : Töötab põhidemonil ja haldab rühmas ressursside jaotust.
2. Sõlmehaldur: Nad töötavad orja deemonitel ja vastutavad iga andmesõlme ülesande täitmise eest.
3. Rakenduse kapten: Haldab kasutaja töö olelusringi ja üksikute rakenduste ressursivajadusi. See töötab koos sõlmedehalduriga ja jälgib ülesannete täitmist.
4. Konteiner: Ressursside pakett, sealhulgas RAM, protsessor, võrk, kõvaketas jne ühes sõlmes.

LÕNGA komponendid

Võite LÕNGAT pidada oma Hadoopi ökosüsteemi ajuks. Allolev pilt kujutab YARNi arhitektuuri.

The esimene komponent YARN Arhitektuur on

Ressursihaldur

• See on ressursside jaotamise ülim autoriteet .
• Töötlemistaotluste vastuvõtmisel edastab see vastavalt päringute osad vastavatele sõlmpunktide halduritele, kus toimub tegelik töötlemine.
• Ta on klastriressursside vahekohtunik ja otsustab konkureerivate rakenduste jaoks saadaolevate ressursside jaotuse.
• Optimeerib klastri kasutamist, hoides kõiki ressursse kogu aeg kasutuses mitmesuguste piirangute, näiteks võimsuse tagamise, õigluse ja teenusepakkujate vastu.
• Sellel on kaks peamist komponenti:a) Planeerijab)Rakendushaldur

a) Planeerija

• Planeerija vastutab ressursside eraldamise eest erinevatele töötavatele rakendustele, arvestades võimsuste, järjekordade jne piiranguid.
• Seda nimetatakse ResourceManageris puhtaks ajastajaks, mis tähendab, et see ei teosta rakenduste oleku jälgimist ega jälgimist.
• Rakenduse või riistvaratõrke korral ei taga ajakava nurjunud ülesannete taaskäivitamist.
• Teeb ajakava vastavalt rakenduste ressursivajadusele.
• Sellel on pistikprogramm, mis vastutab klastriressursside jaotamise eest erinevate rakenduste vahel. Selliseid pistikprogramme on kaks: Võimsuse ajastaja ja Õiglane ajakava , mida praegu kasutatakse ResourceManageris ajastajatena.

b) Rakendushaldur

• Ta vastutab tööettepanekute vastuvõtmise eest.
• Räägib ressursihaldurist esimese konteineri rakenduspõhise rakenduse juhi käivitamiseks.
• Haldab klastris rakenduse Masters käitamist ja pakub teenuse rikke korral Application Master'i taaskäivitamiseks.

Tulevad teine ​​komponent mis on:

Sõlmede haldur

• See hoolitseb üksikute sõlmede eest Hadoopi klastris jahaldab antud sõlme kasutaja töökohti ja töövoogu.
• See registreerub ressursihalduris ja saadab südamelööke koos sõlme terviseseisundiga.
• Selle peamine eesmärk on hallata ressursihalduri määratud rakenduste konteinereid.
• See hoiab end ressursihalduriga kursis.
• Application Master küsib määratud konteinerit sõlmedehaldurilt, saates talle konteineri käivituskonteksti (CLC), mis sisaldab kõike, mida rakendus vajab käivitamiseks. Sõlmehaldur loob soovitud konteineriprotsessi ja käivitab selle.
• Jälgib üksikute konteinerite ressursikasutust (mälu, protsessorit).
• Teostab logihaldust.
• Samuti tapetakse konteiner vastavalt ressursihalduri juhistele.

The kolmas komponent Apache Hadoop YARN on,

Rakenduse magister

• Taotlus on üks raamistikku esitatud töö. Igal sellisel rakendusel on seotud ainulaadne rakendusemeister, mis on raamistikule vastav üksus.
• See on protsess, mis koordineerib klastris rakenduse käivitamist ja haldab ka tõrkeid.
• Selle ülesandeks on pidada ressursside halduri ressursside üle läbirääkimisi ning koos sõlmede halduriga komponentülesannete täitmiseks ja jälgimiseks.
• Ta vastutab ResourceManageri sobivate ressursimahutite üle läbirääkimiste pidamise, nende oleku jälgimise ja edenemise jälgimise eest.
• Kui see on alustatud, saadab see ressursihaldurile perioodiliselt südamelööke, et kinnitada oma tervist ja uuendada ressursinõuete kirjet.

The neljas komponent on:

Konteiner

• See on füüsiliste ressursside nagu RAM, protsessori südamikud ja kettad kogu ühes sõlmes.
• Lõnga konteinereid haldab konteinerite käivitamise kontekst, mis on konteinerite elutsükkel (CLC). See kirje sisaldab kaarti keskkonnamuutujatest, kaugjuurdepääsetavasse salvestusruumi salvestatud sõltuvustest, turbemärkidest, sõlmpunkti halduri teenuste kasulikust koormusest ja protsessi loomiseks vajalikku käsklust.
• See annab rakendusele õiguse kasutada teatud ressursse (mälu, protsessorit jne) konkreetsel hostil.

Taotluse esitamine lõngaga

Vaadake pilti ja vaadake Hadoop LÕNG avalduse esitamise samme:

1) Esitage töö

tõsta Java-s midagi võimule

2)Hankige rakenduse ID

3) Taotluse esitamise kontekst

4 a) Käivitage konteinerKäivitage

b) Käivitage rakendusemeister

5) eraldage ressursid

6 a) Konteiner

b) käivitamine

7) täita

Rakenduse töövoog Hadoopis LÕNG

Vaadake antud pilti ja vaadake Apache Hadoop YARNi rakenduse töövoo järgmisi samme:

1. Klient esitab avalduse
2. Ressursihaldur eraldab konteineri rakendushalduri käivitamiseks
3. Rakendushaldur registreerub ressursihalduris
4. Application Manager küsib konteinereid ressursihaldurilt
5. Rakendushaldur teavitab sõlmedehaldurit konteinerite käivitamisest
6. Rakenduse kood täidetakse konteineris
7. Rakenduse oleku jälgimiseks võtab klient ühendust ressursihalduri / rakendushalduriga
8. Rakendushaldur tühistab ressursihalduri registreerimise

Nüüd, kui tunnete Apache Hadoop YARNi, vaadake autor Edureka, usaldusväärne veebiõppeettevõte, mille võrgustik koosneb enam kui 250 000 rahulolevast õppijast ja mis levib üle kogu maailma. Edureka Big Data Hadoopi sertifitseerimiskoolitus aitab õppijatel saada HDFS, lõnga, MapReduce, Pig, Hive, HBase, Oozie, Flume ja Sqoop ekspertideks, kasutades reaalajas kasutatavaid juhtumeid jaekaubanduse, sotsiaalse meedia, lennunduse, turismi ja rahanduse valdkonnas.

Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.