Tippmised tarude käsud koos HQL-i näidetega



Selles ajaveebis käsitletakse tarude käske koos HQL-i näidetega. Loo, tilguta, käivita, muuda, näita, kirjelda, kasuta, laadige, sisestage, liitu ja palju muud taru käske

Selles blogipostituses arutame tarude tippkäske koos näidetega. Need taru käsud on vundamendi loomiseks väga olulised .

Edureka 2019 Techi karjäärijuhend on väljas! Juhendis on kuumimad töörollid, täpsed õpperajad, tööstuse väljavaated ja muu. Lae alla nüüd.

Mis on taru?

Apache Hive on andmelao süsteem, mis on loodud töötama Hadoopil. Seda kasutatakse hajutatud salvestusruumis asuvate suurte andmekogumite päringute tegemiseks ja haldamiseks. Enne Apache Hadoopi avatud lähtekoodiga projekti saamist sai Hive alguse Facebookist. See pakub mehhanismi Hadoopi andmetele struktuuri projitseerimiseks ja nende andmete pärimiseks SQL-i sarnase keele abil, mida nimetatakse HiveQL (HQL).





Taru kasutatakse seetõttu, et Hive'i tabelid sarnanevad relatsiooniandmebaasi tabelitega. Kui olete SQL-iga tuttav, on see koogirada. Paljud kasutajad saavad Hive-QL-i abil andmeid samaaegselt pärida.

Mis on HQL?

Hive määratleb Hive-QL (HQL) suurte andmekogumite päringute esitamiseks ja haldamiseks lihtsa SQL-laadse päringukeele. Seda on lihtne kasutada, kui olete SQL-keelega tuttav. Hive võimaldab keelt tundvatel programmeerijatel kirjutada kohandatud MapReduce raamistik keerukama analüüsi tegemiseks.



soolahunnik vs nukk vs peakokk

Taru kasutamine:

1. Apache Hive'i hajutatud salvestusruum.

2. Tarus on tööriistad andmete hõlpsaks väljavõtmiseks / teisendamiseks / laadimiseks (ETL)

3. See pakub mitmesuguste andmevormingute struktuuri.



4. Hive'i abil pääseme juurde failidele, mis on salvestatud Hadoopi hajutatud failisüsteemi (HDFS-i kasutatakse päringute tegemiseks ja sealsete suurte andmekogumite haldamiseks) või muudes andmesalvestussüsteemides, näiteks Apache HBase.

Taru piirangud:

& bull Hive ei ole mõeldud online-tehingute töötlemiseks (OLTP), seda kasutatakse ainult veebianalüütiliseks töötlemiseks.

& bull Hive toetab andmete ülekirjutamist või kinnipidamist, kuid ei värskenda ega kustuta.

& bull Tarus ei toetata alaküsimusi.

Miks taru kasutatakse sea hoolimata?

Hive kasutamisest hoolimata sea kättesaadavusest on järgmised põhjused:

  • Hive-QL on deklaratiivne keelerida SQL, PigLatin on andmevoo keel.
  • Siga: andmevoo keel ja keskkond väga suurte andmekogumite uurimiseks.
  • Taru: hajutatud andmeladu.

Taru komponendid:

Metastore:

Hive salvestab Hive tabelite skeemi Hive Metastore'i. Metastore'i kasutatakse kogu teabe hoidmiseks laos olevate tabelite ja vaheseinte kohta. Vaikimisi käivitatakse metapood Hive-teenusega samas protsessis ja vaikimisi metapood on DerBy Database.

SerDe:

Serializer, Deserializer annab juhiseid plaadi töötlemiseks.

Taru käsud:

Andmete määratlemise keel (DDL)

DDL-lauseid kasutatakse andmebaaside tabelite ja muude objektide loomiseks ja muutmiseks.

DDL-käsk Funktsioon
LOE Seda kasutatakse tabeli või andmebaasi loomiseks
NÄITA Seda kasutatakse andmebaasi, tabeli, atribuutide jne kuvamiseks
VANUS Seda kasutatakse olemasolevas tabelis muudatuste tegemiseks
KIRJELDA See kirjeldab tabeli veerge
TRUNCATE Kasutatakse tabeliridade jäädavaks kärpimiseks ja kustutamiseks
KUSTUTA Kustutab tabeli andmed, kuid saab taastada

Minge Hive'i kesta, andes käsu sudo hive ja sisestage käsk ‘Loo andmebaasi nimi> tarus uue andmebaasi loomiseks.

Hive

Hivei laos olevate andmebaaside loetlemiseks sisestage käsk ‘ näita andmebaase ”.

Andmebaas loob Hive'i lao vaikeasukoha. Clouderas Hive'i andmebaasipood a / user / taru / laos.

Andmebaasi kasutamise käsk on KASUTA

Kopeerige sisendandmed kohalikust HDFS-i, kasutades käsku Kopeeri kohalikult.

Kui loome tarus tabeli, loob see taru lao vaikeasukoha. - '/ kasutaja / taru / ladu', pärast tabeli loomist saame andmeid HDFS-ist tarude tabelisse teisaldada.

Järgmine käsk loob tabeli asukohaga “/user/hive/warehouse/retail.db”

Märge : retail.db on Hivei laos loodud andmebaas.

Kirjeldage annab teavet tabeli skeemi kohta.

Andmetega manipuleerimise keel (DML)

DML-lauseid kasutatakse andmebaasi andmete hankimiseks, salvestamiseks, muutmiseks, kustutamiseks, sisestamiseks ja värskendamiseks.

Näide:

LOAD, INSERT avaldused.

Süntaks:

LOAD andmete sisestamise tee tabelisse [tabenimi]

Laadimisoperatsiooni kasutatakse andmete teisaldamiseks vastavasse Hive'i tabelisse. Kui märksõna kohalik on määratud, siis käsk load annab kohaliku failisüsteemi tee. Kui märksõna kohalik pole täpsustatud, peame kasutama faili HDFS-teed.

Siin on mõned näited käsu LOAD data LOCAL kohta

Pärast andmete laadimist Hive'i tabelisse saame rakendada andmete manipuleerimise avaldusi või koondada funktsioone andmete hankimiseks.

Näide kirjete arvu loendamiseks:

Funktsiooni Count aggregate loendatakse tabelis olevate kirjete koguarv.

‘Loo väline’ tabel:

The luua väline märksõna kasutatakse tabeli loomiseks ja see annab koha, kuhu tabel luuakse, nii et Hive ei kasuta selle tabeli jaoks vaikeasukohta. An VÄLIS tabel osutab mis tahes HDFS-i asukohale selle salvestamiseks, mitte vaikemällu.

Sisesta käsk:

The sisestada käsku kasutatakse andmete taru tabeli laadimiseks. Lisandeid saab teha tabelisse või sektsiooni.

& bull INSERT OVERWRITE kasutatakse tabelis või sektsioonis olevate andmete ülekirjutamiseks.

& bull INSERT INTO kasutatakse andmete lisamiseks tabeli olemasolevatesse andmetesse. (Märkus: INSERT INTO süntaks töötab versioonist 0.8)

Näide käskudest Partitioned By ja Clustered By:

‘Jaotatud ‘Kasutatakse tabeli jaotamiseks partitsiooniks ja selle saab jagada ämbriteks, kasutades Rühmitatud ‘Käsk.

Andmete taru viskevigade sisestamisel on dünaamilise sektsiooni režiim range ja dünaamiline sektsioon pole lubatud (poolt Jeff kell dressheadi veebisait ). Seega peame Hive'i kestas määrama järgmised parameetrid.

sea ​​hive.exec.dynamic.partition = true

Dünaamiliste partitsioonide lubamiseks on see vaikimisi vale

seatud hive.exec.dynamic.partition.mode = nonstrict

Jaotus toimub kategooria järgi ja selle saab jaotada ämbritesse, kasutades käsku „Klastreeritud poolt”.

Lause „Drop Table” kustutab tabeli andmed ja metaandmed. Väliste tabelite puhul kustutatakse ainult metaandmed.

Lause „Drop Table” kustutab tabeli andmed ja metaandmed. Väliste tabelite puhul kustutatakse ainult metaandmed.

Laadige kohaliku lokalise tee ‘aru.txt’ tabeli tabenime ja kontrollime seejärel töötaja1 tabelit, kasutades käsku Vali * tabeli nimest

Tabelis olevate kirjete arvu lugemiseks valige Select loend (*) alates txnrecords

Kokkuvõte:

Valige tabelinimest arv (kategooria DISTINCT)

See käsk loeb tabeli „cate” eri kategooriad. Siin on 3 erinevat kategooriat.

Oletame, et on veel üks tabelikate, kus f1 on kategooria välja nimi.

Grupeerimine:

Grupi käsku kasutatakse tulemuskomplekti rühmitamiseks ühe või mitme veeru kaupa.

Valige kategooria, summa (summa) txt kirjete grupist kategooria järgi

See arvutab sama kategooria summa.

Ühe tabeli tulemus salvestatakse teise tabelisse.

Looge tabeli newtablename nimega select * from oldtablename

Liituge käsuga:

Siin luuakse nimesse veel üks tabel ‘mailid’

Operatsiooniga liitumine :

Liitumisoperatsioon viiakse läbi kahe tabeli väljade ühendamiseks, kasutades mõlemale ühiseid väärtusi.

Vasakpoolne välimine liitumine :

Tabelite A ja B vasakpoolse välimise liitumise (või lihtsalt vasakpoolse ühendamise) tulemus sisaldab alati kõiki vasakpoolse tabeli (A) kirjeid, isegi kui liitumistingimus ei leia tabelis „parem” ühtegi kirjet (B).

Õige välimine liitumine :

Parem välimine liitumine (või parem liitumine) sarnaneb tihedalt vasakpoolse välise ühendusega, välja arvatud juhul, kui lauad on ümberpööratud. Iga rida paremast tabelist (B) ilmub ühendatud tabelisse vähemalt üks kord.

Täielik liitumine :

Liitunud tabel sisaldab kõiki mõlema tabeli kirjeid ja täidab NULL-id mõlemal küljel puuduvate vastete jaoks.

Kui taru on tehtud, saame taru kestast väljumiseks kasutada käsku quit.

Tarust väljumine

Taru on vaid osa suurest mõistatusest nimega Big Data ja Hadoop. Hadoop on palju enamat kui lihtsalt taru. Klõpsake allpool, et näha, milliseid muid oskusi peaksite Hadoopis omandama.

Kas teil on meile küsimus? Palun mainige seda kommentaaride jaotises ja võtame teiega ühendust.

Seonduvad postitused:

7 viisi, kuidas Big Data koolitus võib teie organisatsiooni muuta

Tarude andmemudelid