Hadoopi installimine: ühe sõlme Hadoopi klastri seadistamine
Meie eelmistest ajaveebidest , teil peab olema teoreetiline idee Hadoopi, HDFS-i ja selle arhitektuuri kohta.Kuid selleks, et saada vajate häid praktilisi teadmisi.Loodan, et teile oleks meie eelmine ajaveeb meeldinud , nüüd tutvustan teid praktiliste teadmistega Hadoopi ja HDFS-i kohta. Esimene samm edasi on Hadoopi installimine.
Hadoopi installimiseks on kaks võimalust, st. Üks sõlm ja Mitme sõlme .
Ühe sõlme klaster tähendab ainult ühte DataNode'i, mis töötab ja seadistab kõik NameNode, DataNode, ResourceManager ja NodeManager ühele masinale. Seda kasutatakse õppimiseks ja testimiseks. Vaatleme näiteks tervishoiutööstuse näidisandmekogumit. Niisiis, selleks, et testida, kas Oozie töökohad on kõik protsessid nagu andmete kogumine, koondamine, salvestamine ja töötlemine õiges järjestuses ajastanud, kasutame ühe sõlme klastrit. See võimaldab hõlpsalt ja tõhusalt testida järjestikust töövoogu väiksemas keskkonnas, võrreldes suurte keskkondadega, mis sisaldavad terabaiti andmeid sadade masinate vahel.
Kuigi a Mitme sõlme klaster , töötab rohkem kui üks DataNode ja iga DataNode töötab erinevates masinates. Mitmesõlmelist klastrit kasutatakse organisatsioonides praktiliselt suurandmete analüüsimiseks. Arvestades ülaltoodud näidet, tuleb reaalajas, kui tegeleme petabaitide andmetega, need jaotada sadade töödeldavate masinate vahel. Seega kasutame siin mitme sõlmega klastrit.
Selles ajaveebis näitan teile, kuidas installida Hadoop ühte sõlme klastrisse.
Eeldused
- VIRTUAALNE KARP : seda kasutatakse operatsioonisüsteemi installimiseks sellele.
- OPERATSIOONISÜSTEEM : Hadoopi saate installida Linuxi-põhistele opsüsteemidele. Väga sageli kasutatakse Ubuntu ja CentOS-i. Selles õpetuses kasutame CentOS-i.
- JAVA : Peate oma süsteemi installima Java 8 paketi.
- HADOOP : Vajate Hadoop 2.7.3 paketti.
Installige Hadoop
Samm 1: Kliki siia Java 8 paketi allalaadimiseks. Salvestage see fail oma kodukataloogi.
2. samm: Pakkige Java Tar-fail välja.
Käsk : tar -xvf jdk-8u101-linux-i586.tar.gz
Joonis: Hadoopi installimine - Java-failide ekstraktimine
3. samm: Laadige alla Hadoop 2.7.3 pakett.
Käsk : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Joonis: Hadoopi installimine - Hadoopi allalaadimine
4. samm: Väljavõtke Hadoop tõrvafail.
Käsk : tar -xvf hadoop-2.7.3.tar.gz
Joonis: Hadoopi installimine - Hadoopi failide väljavõtmine
5. samm: Lisage bashi faili Hadoop ja Java teed (.bashrc).
Avatud . bashrc faili. Nüüd lisage Hadoop ja Java tee, nagu allpool näidatud.
Käsk : vi. basrc
Joonis: Hadoopi installimine - keskkonnamuutuja määramine
Seejärel salvestage bashi fail ja sulgege see.
Kõigi nende muudatuste rakendamiseks praegusele terminalile käivitage käsk allikas.
Käsk : allikas .bashrc
Joonis: Hadoopi installimine - keskkonnamuutujate värskendamine
Veendumaks, et Java ja Hadoop on teie süsteemi õigesti installitud ja neile pääseb juurde terminali kaudu, execute java -version ja hadoop version käsud.
Käsk : java-versioon
Joonis: Hadoopi installimine - Java versiooni kontrollimine
Käsk : hadoopversioon
Joonis: Hadoopi installimine - Hadoopi versiooni kontrollimine
6. samm : Redigeerige .
Käsk: cd hadoop-2.7.3 / etc / hadoop /
leida massiivi java maksimaalne arv
Käsk: ls
Kõik Hadoopi konfiguratsioonifailid asuvad hadoop-2.7.3 / etc / hadoop kataloogi, nagu näete allolevast hetkepildist:
Joonis: Hadoopi installimine - Hadoopi konfiguratsioonifailid
7. samm : Avatud core-site.xml ja muutke konfiguratsioonimärgendi sees allpool mainitud atribuuti:
core-site.xml teavitab Hadoopi deemonit, kus NameNode klastris töötab. See sisaldab Hadoopi tuuma konfiguratsioonisätteid, näiteks HDFS-i ja MapReduce'i jaoks tavalisi sisend- / väljundsätteid.
Käsk : vi core-site.xml
Joonis: Hadoopi installimine - core-site.xml seadistamine
fs.default.name hdfs: // localhost: 9000
8. samm: Muuda hdfs-site.xml ja muutke konfiguratsioonimärgendi sees allpool mainitud atribuuti:
hdfs-site.xml sisaldab HDFS-deemonite konfiguratsioonisätteid (s.t NameNode, DataNode, Secondary NameNode). See sisaldab ka HDFS-i replikatsioonitegurit ja ploki suurust.
Käsk : vi hdfs-site.xml
Joonis: Hadoopi installimine - hdfs-site.xml seadistamine
dfs.replication 1 dfs.luba väär
9. samm : Redigeerige mapred-site.xml fail ja redigeerige allpool nimetatud atribuuti konfiguratsioonisildi sees:
mapred-site.xml sisaldab MapReduce'i rakenduse konfiguratsiooniseadeid nagu paralleelselt töötava JVM-i arv, kaardistaja ja reduktori suurus, protsessile saadaolevad protsessori südamikud jne.
Mõnel juhul pole fail mapred-site.xml saadaval. Seega peame looma faili mapred-site.xmlmalli mapred-site.xml abil.
Käsk : cp mapred-site.xml.template mapred-site.xml
Käsk : meie mapred-sait.xml.
sorteeri massiiv c ++ keeles
Joonis: Hadoopi installimine - mapred-site.xml seadistamine
mapreduce.framework.name lõng
10. samm: Muuda lõng-site.xml ja muutke konfiguratsioonimärgendi sees allpool mainitud atribuuti:
lõng-site.xml sisaldab ResourceManageri ja NodeManageri konfiguratsioonisätteid, nagu rakenduse mäluhalduse suurus, programmi ja algoritmide jaoks vajalik toiming jne.
Käsk : vi lõng-site.xml
Joonis: Hadoopi installimine - lõnga-site.xml konfigureerimine
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11. samm: Muuda hadoop-env.sh ja lisage Java tee, nagu allpool mainitud:
hadoop-env.sh sisaldab keskkonnamuutujaid, mida kasutatakse skriptis Hadoopi käivitamiseks nagu Java kodutee jne.
Käsk : meie hadoop-env.sh
Joonis: Hadoopi installimine - hadoop-env.sh seadistamine
12. samm: Minge Hadoopi kodukataloogi ja vormindage NameNode.
Käsk : CD
Käsk : cd hadoop-2.7.3
Käsk : bin / hadoop purpose -formaat
Joonis: Hadoopi installimine - NameNode'i vormindamine
See vormindab HDFS-i NameNode'i kaudu. Seda käsku täidetakse ainult esimest korda. Failisüsteemi vormindamine tähendab muutuja dfs.name.dir määratud kataloogi lähtestamist.
Ärge kunagi vormindage, töötage ja töötage Hadoopi failisüsteemi. Te kaotate kõik HDFS-is salvestatud andmed.
13. samm: Kui NameNode on vormindatud, minge kataloogi hadoop-2.7.3 / sbin ja käivitage kõik deemonid.
Käsk: cd hadoop-2.7,3 / sbin
Võite käivitada kõik deemonid ühe käsuga või teha seda eraldi.
Käsk: ./ algus-kõik.sh
Ülaltoodud käsk on kombinatsioon start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Või saate kõiki teenuseid käitada individuaalselt, nagu allpool:
Start NameNode:
NameNode on HDFS-failisüsteemi keskpunkt. See hoiab kõigi HDFS-i salvestatud failide kataloogipuu ja jälgib kõiki üle klastri salvestatud faile.
Käsk: ./hadoop-daemon.sh alguse eesmärk
Joonis: Hadoopi installimine - NameNode'i käivitamine
Start DataNode:
Käivitamisel ühendub DataNode Namenode'iga ja see vastab Namenode'i taotlustele erinevate toimingute jaoks.
Käsk: ./hadoop-daemon.sh algus datanode
Joonis: Hadoopi installimine - DataNode'i käivitamine
Käivitage ResourceManager:
ResourceManager on juht, kes korraldab kõik saadaolevad klastriressursid ja aitab seega hallata YARN-süsteemis töötavaid hajutatud rakendusi. Selle ülesanne on hallata kõiki NodeManagereid ja iga rakenduse ApplicationMasterit.
Käsk: ./lõng-daemon.sh start ressursijuht
Joonis: Hadoopi installimine - ResourceManageri käivitamine
Käivitage NodeManager:
Igas masinraamistikus asuv NodeManager on agent, kes vastutab konteinerite haldamise, nende ressursikasutuse jälgimise ja selle kohta ka ResourceManagerile teatamise eest.
Käsk: ./lõng-daemon.sh alustage noojuhti
uusim tehisintellekti tehnoloogia
Joonis: Hadoopi installimine - NodeManageri käivitamine
Käivita JobHistoryServer:
JobHistoryServer vastutab kõigi tööajalooga seotud klientide päringute teenindamise eest.
Käsk : ./mr-jobhistory-daemon.sh käivitab historyserveri
14. samm: Kõigi Hadoopi teenuste töökorras oleku kontrollimiseks käivitage allolev käsk.
Käsk: jps
Joonis: Hadoopi installimine - deemonite kontrollimine
15. samm: Nüüd avage brauser Mozilla ja minge aadressile kohalik host : 50070 / dfshealth.html liidese NameNode kontrollimiseks.
Joonis: Hadoopi installimine - WebUI käivitamine
Palju õnne, olete ühe käiguga ühe sõlme Hadoopi klastri edukalt installinud.Meie järgmises ajaveebis , käsitleme ka seda, kuidas Hadoop installida ka mitme sõlme klastrisse.
Nüüd, kui olete aru saanud, kuidas Hadoopi installida, vaadake järgmist autor Edureka, usaldusväärne veebiõppeettevõte, mille võrgustik koosneb enam kui 250 000 rahulolevast õppijast ja mis levib üle kogu maailma. Edureka Big Data Hadoopi sertifitseerimiskoolitus aitab õppijatel saada HDFS, lõnga, MapReduce, Pig, Hive, HBase, Oozie, Flume ja Sqoop ekspertideks, kasutades reaalajas kasutatavaid juhtumeid jaekaubanduse, sotsiaalse meedia, lennunduse, turismi ja rahanduse valdkonnas.
Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.