Pigi programmeerimine: looge oma esimene Apache Pig Script

Pigi programmeerimine: looge oma esimene Apache Pig Script

Meie , õpime nüüd, kuidas luua Apache Pig skripti. Apache Pigi skripte kasutatakse Apache Pigi käskude komplekti ühiseks täitmiseks. See aitab vähendada aega ja vaeva, mis on investeeritud iga käsu kirjutamiseks ja täitmiseks käsitsi, tehes seda samal ajal sead programmeerimisel.See on ka programmi lahutamatu osa .See ajaveeb on samm-sammult juhend, mis aitab teil luua oma esimese Apache Pigi skripti.

Apache Pigi skripti täitmisrežiimid

Kohalik režiim : „Kohalikus režiimis” saate sigade skripti käivitada kohalikus failisüsteemis. Sellisel juhul ei pea te andmeid Hadoop HDFS-i failisüsteemi salvestama, vaid saate töötada kohalikus failisüsteemis endas olevate andmetega.

MapReduce režiim : ‘MapReduce mode’ režiimis tuleb andmed salvestada HDFS-i failisüsteemi ja andmeid saab töödelda seaskripti abil.

Apache Pig Script MapReduce režiimis

Oletame, et meie ülesandeks on andmete lugemine andmefailist ja terminalis vajaliku sisu kuvamine väljundina.

Andmefaili näidis sisaldab järgmisi andmeid:

Salvestage tekstifail nimega ‘information.txt’

Andmefaili näidis sisaldab viit veergu Eesnimi , Perekonnanimi , Mobiili number , Linn ja Elukutse eraldatud vahelehe klahvi . Meie ülesandeks on lugeda selle faili sisu HDFS-ist ja kuvada nende kirjete kõik veerud.

Nende andmete töötlemiseks PIGi abil peaks see fail olema Apache Hadoop HDFS-is.

Käsk : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

mida tähendab tostring java keeles

Samm 1: Pig-stsenaariumi kirjutamine

Looge ja avage redaktoris Apache Pigi skriptifail (nt gedit).

Käsk : sudo gedit /home/edureka/output.pig

See käsk loob edureka kasutaja kodukataloogi faili output.pig.

Kirjutame failis output.pig vähe PIG-käske.

A = LOAD '/edureka/information.txt', kasutades seadet PigStorage ('') (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A genereerima FName, MobileNo, Profession DUMP B

Salvestage ja sulgege fail.

• Esimene käsk laadib faili information.txt muutujaks A kaudse skeemiga (FName, LName, MobileNo, City, Profession).
• Teine käsk laadib vajalikud andmed muutujast A muutujaks B.
• Kolmas rida kuvab terminalis / konsoolis muutuja B sisu.

2. samm: Käivitage Apache Pig Script

Pigskripti HDFS-režiimis käivitamiseks käivitage järgmine käsk:

Käsk : siga /home/edureka/output.pig

Pärast täitmise lõppu vaadake tulemus üle. Need allolevad pildid näitavad tulemusi ja nende vahekaarti ning vähendavad funktsioone.

Alloleval pildil on näha, et skript on edukalt täidetud.

Allpool olev pilt näitab meie skripti tulemust.

Õnnitleme teid oma esimese Apache Pigi skripti edukal käivitamisel!

Nüüd teate, kuidas Apache Pigi skripti luua ja käivitada. Seega meie järgmine ajaveeb aastal kajastab kuidas luua Uache (kasutaja määratud funktsioonid) Apache Pigis ja käivitage see režiimis MapReduce / HDFS.

Nüüd, kui olete Apache Pig Scripti loonud ja käivitanud, vaadake Edureka, usaldusväärne veebiõppeettevõte, mille võrgustik hõlmab üle 250 000 rahuloleva õppija, levinud üle kogu maailma. Edureka Big Data Hadoopi sertifitseerimiskoolitus aitab õppijatel saada HDFS, lõnga, MapReduce, Pig, Hive, HBase, Oozie, Flume ja Sqoop ekspertideks, kasutades reaalajas kasutatavaid juhtumeid jaekaubanduse, sotsiaalmeedia, lennunduse, turismi ja rahanduse valdkonnas.

Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.