Pikka aega suhtelistest andmebaasidest piisas väikeste või keskmiste andmekogumite käsitsemiseks. Kuid andmete kasvamise tohutu kiirus muudab tavapärase lähenemisviisi andmete salvestamiseks ja otsimiseks teostamatuks. Selle probleemi lahendavad uuemad tehnoloogiad, mis saavad hakkama suurandmetega. Hadoop, Hive ja Hbase on populaarsed platvormid selliste suurte andmekogumite haldamiseks. NoSQL või mitte ainult SQL-i andmebaasid, näiteks MongoDB, pakuvad mehhanismi andmete kaotajate järjepidevuse mudelisse salvestamiseks ja hankimiseks, millel on järgmised eelised:
- Horisontaalne skaleerimine
- Suurem kättesaadavus
- Kiirem juurdepääs
Parema integratsiooni tagamiseks on MongoDB insenerimeeskond hiljuti värskendanud Hadoopi jaoks mõeldud MongoDB-pistikut. See hõlbustab Hadoopi kasutajatel:
- Integreerige MongoDB reaalajas olevad andmed Hadoopiga, et teha põhjalikku ja võrguühenduseta analüüsi.
- Connector paljastab Hadoopi MapReduce'i analüütilise jõu MongoDB rakenduste reaalajas edastamiseks, suurendades suurandmete väärtust kiiremini ja tõhusamalt.
- Connector esitleb MongoDB-d kui Hadoopiga ühilduvat failisüsteemi, mis võimaldab MapReduce'i tööülesandeid MongoDB-st otse lugeda, ilma et oleksite seda enne HDFS-i (Hadoop-failisüsteem) kopeerinud, eemaldades seeläbi vajaduse terabaiti andmeid üle võrgu teisaldada.
- MapReduce'i töökohad võivad päringuid edastada filtritena, vältides vajadust skannida terveid kogusid, ning kasutada ära ka MongoDB rikkalikke indekseerimisvõimalusi, sealhulgas georuumilisi, tekstiotsingu-, massiivi-, liit- ja hõredaid indekse.
- MongoDB-st lugedes saab Hadoopi tööde tulemused ka MongoDB-le tagasi kirjutada, et toetada reaalajas toimuvaid protsesse ja ad-hoc päringuid.
Hadoopi ja MongoDB kasutamise juhtumid:
Vaatame kõrgetasemelist kirjeldust selle kohta, kuidas MongoDB ja Hadoop mahuvad koos tüüpilisse Big Data virna. Peamiselt on meil:
- MongoDB kasutatakse „Operatiivne“ reaalajas andmekogu
- Hadoop eest võrguühenduseta pakettandmete töötlemine ja analüüs
Loe edasi, et teada saada, miks ja kuidas MongoDB-d kasutasid ettevõtted ja organisatsioonid nagu Aadhar, Shutterfly, Metlife ja eBay .
MongoDB kasutamine Hadoopiga partiide liitmisel:
Enamikus stsenaariumides on andmete analüüsimiseks piisav MongoDB pakutav sisseehitatud liitmisfunktsioon. Teatud juhtudel võib osutuda vajalikuks oluliselt keerulisem andmete liitmine. Siin saab Hadoop pakkuda võimsa raamistiku keeruka analüüsi jaoks.
Selles stsenaariumis:
- Andmed tõmmatakse MongoDB-st ja töödeldakse Hadoopis ühe või mitme MapReduce'i töökoha kaudu. Andmeid võidakse hankida ka nendest MapReduce'i töökohtadest, et töötada välja mitme andmeallika lahendus.
- Nendest MapReduce-tööde väljundid saab seejärel MongoDB-le tagasi kirjutada, et neid hiljem päringuid teha ja mis tahes analüüsiks ad-hoc alusel.
- MongoDB peale ehitatud rakendused saavad seetõttu kasutada pakettanalüütikast saadud teavet lõppkliendile esitamiseks või muude allavoolu funktsioonide lubamiseks.
Rakendus andmekogudes:
Tüüpilises tootmisversioonis võivad rakenduse andmed paikneda mitmes andmesalves, millel kõigil on oma päringukeel ja funktsioonid. Nende stsenaariumide keerukuse vähendamiseks saab Hadoopi kasutada andmelaona ja toimida eri allikatest pärinevate andmete tsentraliseeritud hoidlana.
Sellises stsenaariumis:
kuidas koka serveri installida
- Perioodiline MapReduce töökohtade laadimise andmed MongoDB-st Hadoopi.
- Kui MongoDB ja muude allikate andmed on Hadoopis saadaval, saab suurema andmestiku kohta päringu esitada.
- Andmeanalüütikutel on nüüd võimalus kasutada MapReduce'i või Pigit töökohtade loomiseks, mis pärivad suuremaid andmekogumeid, mis sisaldavad MongoDB-st pärinevaid andmeid.
MongoDB taga töötav meeskond on taganud, et tänu oma rikkalikule integreerimisele selliste suurandmetehnoloogiatega nagu Hadoop suudab see hästi integreeruda Big Data Stacki ja aitab lahendada mõningaid keerukaid arhitektuurilisi probleeme andmete salvestamise, otsimise, töötlemise, koondamise ja ladustamise osas. . Püsige kursis meie eelseisva postitusega karjäärivõimaluste kohta neile, kes asuvad Hadoopi MongoDB-sse. Kui töötate juba Hadoopiga või lihtsalt võtate MongoDB-d järele, vaadake meie pakutavaid kursusi MongoDB-le