Selles blogis vaatame, kuidas Sparki konkreetse Hadoopi versiooni jaoks üles ehitada.
Samuti õpime, kuidas ehitada sädemeid HIVE ja YARN abil.
on magistrikraadi omandanud
Arvestades, et teil on Hadoop, jdk, mvn ja mine teie süsteemi eelinstallitud ja eelkonfigureeritud.
Avatud Mozilla brauser ja laadige alla Säde kasutades allolevat linki.
https://edureka.wistia.com/medias/k14eamzaza/
Avatud terminal.
Käsk: tar -xvf Allalaadimised / spark-1.1.1.tgz
Käsk: ls
Avage säde-1.1.1 kataloog.
Saate avada pom.xml faili. See fail annab teile teavet kõigi failide kohta sõltuvused sa vajad.
Ärge muutke seda probleemide vältimiseks.
Käsk: cd spark-1.1.1 /
Käsk: sudo gedit sbt / sbt-launch-lib.bash
Redigeerige faili alltoodud hetktõmmisena, salvestage see ja sulgege.
Vähendame mälu, et vältida objektide kuhjaga seotud probleeme, nagu allpool toodud ülevaates mainitud.
Nüüd käivitage terminalis järgmine käsk, et luua säde Hadoop 2.2.0 jaoks koos HIVE ja YARN-iga.
Käsk: ./sbt/sbt -P lõng -P taru -Padad-2,2 -D hadoop.versioon = 2,2,0 -D skipTests kokkupanek
Märkus. Minu Hadoopi versioon on 2.2.0, saate seda vastavalt oma Hadoopi versioonile muuta.
Muude Hadoopi versioonide jaoks
# Apache Hadoop 2.0.5-alfa
-Dhadoop.versioon = 2,0,5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0,23x
-Phadoop-0,23 -Dhadoop.versioon = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.versioon = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Kompileerimine ja pakkimine võtab aega, oodake, kuni see lõpeb.
Kaks purki sädemekomplekt-1.1.1-hadoop2.2.0.jar ja säde-näited-1.1.1-hadoop2.2.0.jar saab loodud.
Tee sädemekomplekt-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Tee säde-näited-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Palju õnne, olete Sparki taru ja lõnga jaoks edukalt üles ehitanud.
Kas teil on meile küsimus? Palun mainige neid kommentaaride jaotises ja me võtame teiega ühendust.
Seonduvad postitused:
Apache Spark koos Hadoopiga - miks see on oluline?