Apache Drilli, uue ajastu päringumootori põhjalikum uurimine



See Apache Drilli õpetus annab teile kogu vajaliku teabe Apache Drilli päringumootoriga alustamiseks, kasutamise Hadoopiga, Big Data ja Apache Spark.

Apache Drill on valdkonna esimene skeemivaba SQL Engine. Drill ei ole maailma esimene päringumootor, kuid see on esimene, mis tagab peene paindlikkuse ja kiiruse tasakaalu. Drill on loodud mitme tuhande sõlmeni ja petabaitide andmete päringuteks interaktiivse kiirusega, mida BI / Analyticsi keskkond nõuab.





Seda saab integreerida mitme andmeallikaga, nagu Hive, HBase, MongoDB, failisüsteem, RDBMS. Samuti saab Drillis hõlpsalt kasutada sisendvorminguid nagu Avro, CSV, TSV, PSV, Parkett, Hadoop Sequence'i failid ja paljusid muid faile.

Miks Apache Drill?

Apache Drilli suurim eelis on see, et see suudab skeemi lennult avastada, kui küsite mis tahes andmeid. Lisaks saab parema analüüsi jaoks töötada teie BI-tööriistadega nagu Tableau, Qlikview, MicroStrategy jne.



Siin on üks tööstusanalüütiku tsitaat, mis võtab kokku Apache Drilli väärtuse:

„Drill ei puuduta ainult SQL-on-Hadoopi. See puudutab SQL-i, peaaegu kõike, kohe ja formaalsusteta. '

- Andrew Burst, Gigaom Research, jaanuar 2015



Drillbit on Apache Drilli deemon, mis töötab klastri igas sõlmes. See kasutab kogu klastri suhtlemiseks ja klastri liikmelisuse hooldamiseks ZooKeeperit. See vastutab kliendilt päringute vastuvõtmise, päringute töötlemise ja tulemuste tagastamise eest kliendile. Kliendilt päringu saanud drillbit nimetatakse töödejuhatajaks. See genereerib täitmisplaani, täitmisfragmendid saadetakse teistele klastris töötavatele puurbittidele.

Drillbits-Apache-Drill

Veel üks eelis on see, et külviku paigaldamine ja seadistamine on üsna lihtne. Õppige, kuidas Apache Drilli installida.

Esimene samm on puuripaketi allalaadimine.

kuidas installida PHP 7 Windowsi 10

Käsk: wget https://archive.apache.org/dist/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz

Käsk: tar -xvf apache-drill-1.5.0.tar.gz

Käsk: ls

Järgmisena määrake keskkonnamuutujad .bashrc-failis.

Käsk: sudo gedit .bashrc

eksportige DRILL_HOME = / home / edureka / apache-drill-1.5.0

eksport PATH = $ PATH: /home/edureka/apache-drill-1.5.0/bin

See käsk värskendab muudatusi:

Käsk: allikas .bashrc

Nüüd minge conf-kataloogi puurimiseks ja redigeerige faili drill-override.conf koos klastri ID ja zookeeper host & portiga, käivitame selle kohalikus klastris.

Käsk: cd apache-drill-1.5.0

Käsk: sudo gedit conf / drill-override.conf

Vaikimisi on DRILL_MAX_DIRECT_MEMORY failis drill-env.sh 8 GB ja me peame seda hoidma vastavalt olemasolevale mälule.

Käsk: sudo gedit conf / drill-env.sh

Puuri installimiseks ainult ühte sõlme saate kasutada manustatud režiimi, kus see töötab kohapeal. Selle käsu käivitamisel käivitatakse see automaatselt drillbit-teenus.

Käsk: ./bin/drill-embedded

Installimise kontrollimiseks võite käivitada lihtsa päringu.

Käsk: vali * sys.options seast WHERE type = ‘SYSTEM’ ja nimeks näiteks ‘security%’

Apache Drilli veebikonsooli kontrollimiseks peame minema veebibrauseris saidile localhost: 8047.

Päringu saate käivitada ka vahekaardil Päring.

java operaatori võimule

Drilli käitamiseks hajutatud režiimis peate muutma klastri ID-d ja lisama ZooKeeperi teabe drill-override.conf-is allpool toodud viisil.

Seejärel peame igas sõlmes käivitama teenuse ZooKeeper. Pärast seda peate selle käsuga käivitama iga sõlme drillbit-teenuse.

Käsk: ./bin/drillbit.sh algus

Käsk: jps

Nüüd kasutame puurimiskesta käivitamiseks käsku allpool.

Nüüd saame klastris oma päringuid hajutatud režiimis täita.

See on esimene ajaveebipostitus kaheosalises Apache Drilli ajaveebisarjas. Sarja teine ​​blogi on varsti tulemas.

Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja me võtame teiega ühendust.

Seonduvad postitused:

Apache Drilli 2. osa puurimine

Apache Spark Vs Hadoop Map Reduce