Big Data on viimasel ajal olnud piisavalt tõeline, nii et seda oskavad professionaalsed spetsialistid. Oma põhioskuste mittekasutamine ja nullist alustamine pole alati lihtne töö. Kuid teie ruudukujuliste jaotustükkide kasutamine ja põngerjatega kohanemine teevad teie jaoks imet. Bingo, me räägime Big Data õppimisest ETL-tehnoloogia abil.
ETL-i arendajad, kes kujundavad andmete teisendamise töövooge, saavad tööriistu väga hästi kasutada ja tõlkida töövood Hadoopi töödeks. Hadoop on avatud lähtekoodiga raamistik, mida kasutatakse ulatuslikult BigData töötlemiseks MapReduce programmi abil (mis on veel üks avatud lähtekoodiga tehnoloogia, mis aitab Hadoopil töödelda suuri andmemahte). Enamasti võib Big Data'st kvalifitseeritud ressursside leidmine olla keeruline.
Kui ETL-i arendaja peab panga veebisaidilt leidma üle miljoni päringu teinud IP-aadressid, peab ta kirjutama MapReduce'i töö, mis töötleb Hadoopis salvestatud veebilogi andmeid . Kuid tänu ETL-tehnoloogia arengule saab tööarendaja kasutada standardseid ETL-i disainivahendeid selleks, et luua ETL-voog, mis suudab lugeda andmeid Hadoopi mitmest allikast (failid, taru, HBase), liituda, koondada, filtreerida ja teisendada andmeid IP-aadresside päringule vastuse leidmiseks.
Talend on ainus graafilise kasutajaliidese tööriist, mis on piisavalt võimeline ETL-i töö „tõlkimiseks” MapReduce-tööks. Seega täidetakse Talendi ETL-i töö Hadoopis MapReduce'i tööna ja suurandmete töö saab tehtud minutitega. See on peamine uuendus, mis aitab vähendada Big Data tehnoloogia sisenemistõkkeid ja võimaldab ETL-i tööarendajatel (algajatel ja edasijõudnutel) teostada suuremal hulgal andmelao mahalaadimist.
java väärtuse läbimine
Talendiga on elu Big Data linnas palju lihtsam
Graafiline abstraktsioonikiht Hadoopi rakenduste peal - see muudab elu suurandmete maailmas nii palju lihtsamaks.
Talendi öeldu: „Kooskõlas meie ajalooga avatud lähtekoodiga andmete integreerimise innovaatori ja liidrina on Talend esimene pakkuja, kes pakub puhta avatud lähtekoodiga lahenduse suurandmete integreerimine . Talend Open Studio for Big Data paneb võimsate Hadoopi rakenduste peale hõlpsasti kasutatava graafilise arenduskeskkonna kihiliseks suurandmete haldamine kättesaadav rohkematele ettevõtetele ja arendajatele kui kunagi varem.
Talend Open Studio for Big Data võimaldab oma varjutuspõhise graafilise tööruumiga arendajal ja andmeteadlasel kasutada Hadoopi laadimis- ja töötlemistehnoloogiaid, nagu HDFS, HBase, Hive ja Pig, kirjutamata. Hadoopi rakendus kood. Valides paletilt lihtsalt graafilised komponendid, korraldades ja konfigureerides, saate luua Hadoopi töid. Näiteks:
- Laadige andmed HDFS-i (Hadoopi hajutatud failisüsteem)
- Kasutage Hadoopsiga andmete teisendamiseks HDFS-is
- Laadige andmed a Hadoopi taru põhine andmeladu
- Tehke tarus ELT (ekstrakt, laadige, teisendage) liitmised
- Võimendus Sqoop relatsioonandmebaaside ja Hadoopi integreerimiseks
Hadoopi rakendused, mis on Talendi abil sujuvalt integreeritavad minutite jooksul.
Et Hadoopi rakendused oleksid teie organisatsioonile tõeliselt juurdepääsetavad, tuleb need sujuvalt integreerida teie üldistesse andmevoogudesse. Talend Open Studio suurandmetele on ideaalne tööriist Hadoopi rakenduste integreerimiseks teie laiemasse andmearhitektuuri. Talend pakub sisseehitatud pistikukomponente rohkem kui ükski teine saadaval olev andmete integreerimise lahendus, rohkem kui 800 pistikut mis muudavad selle mis tahes suuremas failivormingus, andmebaasis või pakendatud ettevõtte rakenduses hõlpsasti loetavaks või sinna kirjutamiseks. Näiteks saate Talend Open Studio for Big Data abil lohistada konfigureeritavaid komponente andmete integreerimise voogude loomiseks, mis liigutavad andmeid piiritletud logifailidest Hadoop Hive'i, sooritavad operatsioone Hive'is ja eraldavad Hive'ist andmeid MySQL-i andmebaasi (või Oracle, Sybase, SQL Server ja nii edasi).
Kas soovite näha, kui lihtne võib olla tipptasemel Hadoopi rakendustega töötamine?
Pole vaja oodata - Talend Open Studio for Big Data on avatud lähtekoodiga tarkvara, mida saab tasuta alla laadida ja kasutada Apache'i litsentsi alusel.
Räägi linnas
Talend on olnud aNägija andmete integreerimise tööriistade maagilises kvadrandisalates 2009. aastast. Nad on hiljuti tõusnud ka teerajajateks nii Andmekvaliteedi ja MDM-i valdkonnas kui ka kõigi koostisosade seas suurepärase Big Data roa valmistamiseks.
Nad väidavad, et: 'Suurandmete integreerimine suurendab teie organisatsiooni jõudlust ja mastaapsust 45 protsenti'.
Ainult Talend 5.5 (ja uuem) võimaldab arendajatel genereerida suure jõudlusega Hadoop-koodi, ilma et oleks vaja olla MapReduce või Pig ekspert.
oracle pl sql veakäsitluse parimad tavad
Mõni kuu tagasi öeldi ühes Talendi artiklis: 'Hadoopi kasutuselevõtt on hüppeliselt tõusmas ning suured ja väikesed ettevõtted näevad vaeva, et leida selle kasvava nõudluse rahuldamiseks piisavalt teadlikke Hadoopi arendajaid'. Ainult Talend 5.5 võimaldab kõigil andmete integreerimise arendajatel kasutada visuaalset arenduskeskkonda loomuliku, suure jõudlusega ja väga skaleeritava Hadoopi koodi loomiseks. See avab suure hulga arendusressursse, mis saavad nüüd panustada suurandmete projektidesse. Lisaks püsib Talend Hadoopi uute arenduste tipptasemel, mis võimaldab suurandmete analüüsi projektidel toetada klientide reaalajas suhtlemist.
Talend for Big Data võib aidata organisatsioone mõista, kogudes andmekogumeid heterogeensetest allikasüsteemidest - näiteks kolmandatest osapooltest, API-dest ja suhtlusvõrgustike voogudest - ning muutes need andmed visuaalseks pildiks lõpptarbija kliendi teekonnast.
Olgu selleks pangandustööstus, farmaatsiatooted, e-kaubandus, kindlustus - Talend saab integreerida andmeid mis tahes mastaabis, hõlpsasti segades Hadoopiga, mis on osutunud kõige tipptasemel tehnoloogiaks praeguse ja tuleviku nõudluse rahuldamiseks.
Kasuta juhtumeid kogu maailmas
Alustades turunduskampaaniatest kuni klienditeeninduseni panganduses ja lõpetades pettuste avastamisega, on suured andmed kõikjal.
Ainult avatud lähtekoodiga väljaandes on enam kui 800 pistikut, see väidab end olevat kõige laiemalt toetatud platvorm, millega kõigega ühendust luua, ja saab kõike tuua.
Muutuva mustri ja NoSQL-i, avatud lähtekoodiga, Hadoopi suunal oleks Big Data ja ETL-stiili õppimise valik Talendi abil kõige loogilisem otsus kõigile, kes tegelevad andmetega mis tahes kujul ja igal ajal.
Kokkuvõtteks võib öelda, et ETL-i vahendid pole kaugeltki passe. Need on Big Data ökosüsteemi kesksed kohad ja neil on andmeanalüütika võimaldamisel ülioluline roll.
Sellepärast hiilgab Talend märkega „Null suurte andmeteni ilma kodeerimiseta, vähem kui 10 minutiga”.
Kas teil on meile küsimus? Mainige neid kommentaaride jaotises ja võtame teiega ühendust.
Seonduvad postitused: