Taru ja lõng saavad sädemeid elektrifitseerida

Selles Apache Sparki ja suurandmete ajaveebis vaadake, kuidas Sparki konkreetse Hadoopi versiooni jaoks üles ehitada. Samuti õpime, kuidas ehitada Sparki LÕNGAKS ja HIVE'iks.

Selles blogis vaatame, kuidas Sparki konkreetse Hadoopi versiooni jaoks üles ehitada.

Samuti õpime, kuidas ehitada sädemeid HIVE ja YARN abil.





KM

on magistrikraadi omandanud

Arvestades, et teil on Hadoop, jdk, mvn ja mine teie süsteemi eelinstallitud ja eelkonfigureeritud.



configure-Building-Yarn-and-Hive-on-Spark

Avatud Mozilla brauser ja laadige alla Säde kasutades allolevat linki.

https://edureka.wistia.com/medias/k14eamzaza/



Avatud terminal.

Käsk: tar -xvf Allalaadimised / spark-1.1.1.tgz

Käsk: ls

Avage säde-1.1.1 kataloog.

Saate avada pom.xml faili. See fail annab teile teavet kõigi failide kohta sõltuvused sa vajad.

Ärge muutke seda probleemide vältimiseks.

Käsk: cd spark-1.1.1 /

Käsk: sudo gedit sbt / sbt-launch-lib.bash

Redigeerige faili alltoodud hetktõmmisena, salvestage see ja sulgege.

Vähendame mälu, et vältida objektide kuhjaga seotud probleeme, nagu allpool toodud ülevaates mainitud.

Nüüd käivitage terminalis järgmine käsk, et luua säde Hadoop 2.2.0 jaoks koos HIVE ja YARN-iga.

Käsk: ./sbt/sbt -P lõng -P taru -Padad-2,2 -D hadoop.versioon = 2,2,0 -D skipTests kokkupanek

Märkus. Minu Hadoopi versioon on 2.2.0, saate seda vastavalt oma Hadoopi versioonile muuta.

Muude Hadoopi versioonide jaoks

# Apache Hadoop 2.0.5-alfa

-Dhadoop.versioon = 2,0,5-alfa

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0,23x

-Phadoop-0,23 -Dhadoop.versioon = 0,23,7

# Apache Hadoop 2.3.X

-Phadoop-2.3 -Dhadoop.versioon = 2.3.0

# Apache Hadoop 2.4.X

-Phadoop-2.4 -Dhadoop.version = 2.4.0

Kompileerimine ja pakkimine võtab aega, oodake, kuni see lõpeb.

Kaks purki sädemekomplekt-1.1.1-hadoop2.2.0.jar ja säde-näited-1.1.1-hadoop2.2.0.jar saab loodud.

Tee sädemekomplekt-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

Tee säde-näited-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

Palju õnne, olete Sparki taru ja lõnga jaoks edukalt üles ehitanud.

Kas teil on meile küsimus? Palun mainige neid kommentaaride jaotises ja me võtame teiega ühendust.

Seonduvad postitused:

Apache Spark koos Hadoopiga - miks see on oluline?