Taru ja lõnga näited sädemest



Selles blogis toome Sparkis näiteid tarust ja lõngast. Esiteks ehitage taru ja lõng Sparkile ning seejärel saate Sparkil käitada taru ja lõnga näiteid.

Oleme õppinud, kuidas Ehitage taru ja lõnga sädemele . Proovime nüüd Sparkis tarude ja lõnga näiteid proovida.





Learn-Spark-Now

Taru näide sädemest

Toome näite tarust Sparkis. Loome tabeli, laadime sellesse tabelisse andmed ja täidame lihtsa päringu. Hive'iga töötades tuleb konstrueerida a HiveContext mis pärineb SQLContext .



Käsk: cd säde-1.1.1

Käsk: ./bin/spark-shell



Looge sisendfail 'Proov' oma kodukataloogis, nagu allpool tehtud pilt (vahekaart eraldatud).

erinevus kraadiõppe ja magistri vahel

Käsk: val sqlContext = uus org.apache.spark.sql.hive.HiveContext (sc)

Käsk: sqlContext.sql ('LOE TABEL, KUI EI OLE testi (nimi STRING, auaste INT) RIDAVORMING PIIRATUD VÄLJAD LÕPETATUD' 'RIDA LÕPETAB'
„”)

Käsk: sqlContext.sql („LOAD DATA LOCAL INPATH’ / home / edureka / sample ’IN TABLE test“)

Käsk: sqlContext.sql (“SELECT * FROM test WHERE auaste<5”).collect().foreach(println)

Lõnga näide Sparkil

SparkPi näitame lõnga. Sparkil saame lõnga kasutada kahes režiimis: klastrirežiimis ja kliendirežiimis. Lõngaklastrirežiimis töötab Spark-draiver rakenduse põhiprotsessis, mida haldab klastris lõng ja klient saab pärast rakenduse käivitamist minema. Lõngakliendi režiimis töötab draiver kliendiprotsessis ja rakenduse juhti kasutatakse ainult lõngast ressursside taotlemiseks.

Käsk: cd säde-1.1.1

Käsk: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit -master lõng - kasutuselevõtu režiimiga klaster - klass org.apache.spark.näited. SparkPi –numbrid-täitjad 1 – draiveri-mälu 2g – täitur-mälu 1g – täitur-südamikud 1 näide / sihtmärk / scala-2.10 / säde-näited-1.1.1-hadoop2.2.0.jar

Pärast ülaltoodud käsu täitmist oodake mõnda aega, kuni saate EDASI sõnum.

Sirvige kohalik host: 8088 / klaster ja klõpsake rakendusel Spark.

mida teeb Linuxi administraator

Kliki palgid .

Kliki stdout väljundi kontrollimiseks.

Lõnga rakendamiseks Sparkis kliendirežiimis lihtsalt tehke –Deploy-mode as “Klient”. Nüüd teate, kuidas taru ja lõnga Sparkile ehitada. Tegime nende kohta ka praktikat.

Kas teil on meile küsimus? Palun mainige neid kommentaaride jaotises ja me võtame teiega ühendust.

Seonduvad postitused

Apache Spark koos Hadoopiga - miks see on oluline?

Taru ja lõng saavad sädemeid elektrifitseerida