Oleme õppinud, kuidas Ehitage taru ja lõnga sädemele . Proovime nüüd Sparkis tarude ja lõnga näiteid proovida.
Taru näide sädemest
Toome näite tarust Sparkis. Loome tabeli, laadime sellesse tabelisse andmed ja täidame lihtsa päringu. Hive'iga töötades tuleb konstrueerida a HiveContext mis pärineb SQLContext .
Käsk: cd säde-1.1.1
Käsk: ./bin/spark-shell
Looge sisendfail 'Proov' oma kodukataloogis, nagu allpool tehtud pilt (vahekaart eraldatud).
erinevus kraadiõppe ja magistri vahel
Käsk: val sqlContext = uus org.apache.spark.sql.hive.HiveContext (sc)
Käsk: sqlContext.sql ('LOE TABEL, KUI EI OLE testi (nimi STRING, auaste INT) RIDAVORMING PIIRATUD VÄLJAD LÕPETATUD' 'RIDA LÕPETAB'
„”)
Käsk: sqlContext.sql („LOAD DATA LOCAL INPATH’ / home / edureka / sample ’IN TABLE test“)
Käsk: sqlContext.sql (“SELECT * FROM test WHERE auaste<5”).collect().foreach(println)
Lõnga näide Sparkil
SparkPi näitame lõnga. Sparkil saame lõnga kasutada kahes režiimis: klastrirežiimis ja kliendirežiimis. Lõngaklastrirežiimis töötab Spark-draiver rakenduse põhiprotsessis, mida haldab klastris lõng ja klient saab pärast rakenduse käivitamist minema. Lõngakliendi režiimis töötab draiver kliendiprotsessis ja rakenduse juhti kasutatakse ainult lõngast ressursside taotlemiseks.
Käsk: cd säde-1.1.1
Käsk: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit -master lõng - kasutuselevõtu režiimiga klaster - klass org.apache.spark.näited. SparkPi –numbrid-täitjad 1 – draiveri-mälu 2g – täitur-mälu 1g – täitur-südamikud 1 näide / sihtmärk / scala-2.10 / säde-näited-1.1.1-hadoop2.2.0.jar
Pärast ülaltoodud käsu täitmist oodake mõnda aega, kuni saate EDASI sõnum.
Sirvige kohalik host: 8088 / klaster ja klõpsake rakendusel Spark.
mida teeb Linuxi administraator
Kliki palgid .
Kliki stdout väljundi kontrollimiseks.
Lõnga rakendamiseks Sparkis kliendirežiimis lihtsalt tehke –Deploy-mode as “Klient”. Nüüd teate, kuidas taru ja lõnga Sparkile ehitada. Tegime nende kohta ka praktikat.
Kas teil on meile küsimus? Palun mainige neid kommentaaride jaotises ja me võtame teiega ühendust.
Seonduvad postitused
Apache Spark koos Hadoopiga - miks see on oluline?
Taru ja lõng saavad sädemeid elektrifitseerida