Hadoop raamistiku üks atraktiivsemaid omadusi on selle kauba riistvara kasutamine . See aga viib Hadoopi klastris sagedaste DataNode krahhideni. Teine Hadoop Raamistiku silmatorkav omadus on mastaabi lihtsus vastavalt andme mahu kiirele kasvule . Nende kahe põhjuse tõttu on Hadoopi administraatori üks levinumaid ülesandeid komisjonitasu (Lisa) ja tegevuse lõpetamine (Eemalda) andmesõlmed Hadoopi klastris.
installige php Windows 8-le
Hadoopi klastri sõlmede kasutuselevõtmine ja dekomisjoneerimine:
Ülaltoodud skeemil kuvatakse samm-sammuline protsess klastri DataNode dekomisjoneerimiseks.
Esimene ülesanne on ajakohastada välistada ‘Failid mõlemale HDFS (hdfs-site.xml) ja MapReduce (mapred-site.xml).
Fail „välista”:
- tööotsijale sisaldab loendit hostidest, mille tööotsija peaks välistama. Kui väärtus on tühi, pole hoste välistatud.
- Namenode jaoks sisaldab loendit hostidest, millel pole lubatud Namenode'iga ühendust luua.
Siin on failide hdfs-site.xml ja mapred-site.xml välistamisfaili näidiskonfiguratsioon:
hdfs-site.xml
dfs.hosts.clude
/ home / hadoop / välistab
tõsi
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / välistab
tõsi
Märge: Tuleb määrata failide täielik teenimi.
Samamoodi on meil ka failid ‘kaasata’:
- tööotsijale sisaldab loendit sõlmedest, mis võivad JobTrackeriga ühenduse luua. Kui väärtus on tühi, on kõik hostid lubatud.
- Namenode jaoks sisaldab loendit hostidest, millel on lubatud Namenode'iga ühenduse loomine. Kui väärtus on tühi, on kõik hostid lubatud.
„ dfsadmin Ja mradmin ’Käsud värskendavad konfiguratsiooni muudatustega, et nad oleksid uuest sõlmest teadlikud.
„ orjad ’Põhiserveris olev fail sisaldab kõigi andmesõlmede loendit. Seda tuleb ka ajakohastada, et tagada edaspidise hadoop-deemoni käivitamise / peatamise probleem.
Andmesõlmede tellimise protsessi oluline samm on klastrite tasakaalustaja käivitamine.
> hadoopi tasakaalustaja - künnis 40
Tasakaalustaja üritab andmesõlmede vahel teatud tasemeni tasakaalu tagada, kopeerides plokkide andmed vanematest sõlmedest vastsellitud sõlmedesse.
Nii saate seda teha - Kasutusele võtmine ja Likvideerimine Sõlmed Hadoopi klastris.
Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.
Seotud lingid: