Hadoopi töölööja
Tööjälgija on põhidemon nii tööressursside haldamiseks kui ka tööde ajastamiseks / jälgimiseks. See toimib kontaktina Hadoopi ja teie rakenduse vahel.
Protsess
Enne kliendile töö esitamist kopeerib kasutaja failid kõigepealt hajutatud failisüsteemi (DFS). Seejärel saab klient need sisendfailid. Kasutaja saab jaotused või plokid sisendfailide põhjal.Klient võiksloovad mehes lõhed või klotsidner see eelistabsest selle taga on teatud kaalutlused. Kui täielike andmete põhjal tehakse analüüs, jagate need osadeks. Faile ei kopeerita kliendi kaudu, vaid kopeeritakse Flume'i, Sqoopi või mis tahes välise kliendi abil.
Kui failid on DFS-i kopeeritud ja klient suhtleb DFS-iga,jaotused käivitavad MapReduce job. Töö esitatakse tööjälgija kaudu. Tööjälgija on põhidemon, mis töötab samas sõlmesjooksebneed mitu tööd andmesõlmedes. Need andmed asuvad erinevatel andmesõlmedel, kuid selle jälgimine on tööjälgija ülesanne.
Pärast seda, kui klient esitabtööjälgija, lähtestatakse töö tööjärjekorras ja tööjälgija loob kaardid ja vähendab. Kaardifunktsioonis ja vähendamisfunktsioonis sisalduva programmi põhjal loob see kaardiülesande ja vähendab ülesannet. Need kaks töötavad sisendjaotustel. Märkus. Kui see on loodud klientide poolt, sisaldab see sisendjaotus kõiki andmeid.
lõpuks ja viimistlege javas
Igas sisendjaotises töötab kaarditöö ja kaardi ülesande väljund läheb redutseerimisülesandesse. Tööjälgija jookseb raja kindlatel andmetel. Sellel võib olla mitu kordust, nii et see valib kohalikud andmed ja käivitab ülesande selles konkreetses ülesannete jälgijas. Ülesande jälgija on see, mis tegelikult käivitab ülesande andmesõlmes. Tööjälgija läbibteavetülesande jälgijale ja ülesande jälgija käivitab töö andmesõlmes.
Kui töö on ülesande jälgijale määratud, on iga ülesande jälgijaga ja tööjälgijaga seotud südamelöögid. See saadab signaale, et teada saada, kas andmesõlmed on veel elus. Need kaks on sageli sünkroonis, kuna sõlmedel on võimalus hääbuda.
mis on javascripti sündmus
Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja võtame teiega ühendust.
Seonduvad postitused: