Kui olete juba pärit IT-tööstus , peate sellest teadlik olema Suured andmed on selle päeva jutt. Olgu selleks siis uued idufirmad, kes pakuvad välja innovaatilisi ärimudeleid, või kolleegid, kes nende idufirmadega liituvad, mingil põhjusel tänapäeva rohelisemad karjamaad tundub olevat Suured andmed tööstuses.
Kui te ei tea, miks, siis soovitan teil seda lugeda kuni lõpuni, sest see võib olla ise uuriv ajaveeb, mis viib teid selleni, mis teile on ette nähtud.
Miks see kõikHYPEümbritsev SUURED ANDMED?
Kas see on lihtsalt üks teine domeen, mis viib ajutiselt põgenikke kõigist teistest domeenidest? Või on see siin pikamaa jaoks?
Kui peaksin aimama, ütleksin, et mitte ainult ei tule see kaugeks, vaid ka suurandmete tööstus on tehnoloogilise arengu epitsentris.
Sest kõik on umbesANDMED!
Täpselt nagu PäiketõusebalatesIdasjakomplektidaastalLäänes, põhjustab arvutiseadmete / mittearvutusseadmete pidev kasutamine juhitamatute andmete puhangu.
Kui need andmed ületavad künnise, käsitletakse neid Excelis või mis tahes andmebaaside haldussüsteemis SUURED ANDMED .
Mõelge, mis oli viimane toode, mille ostsite Amazonist? Milline võib olla järgmine toode, mille võite varasema tegevuse põhjal osta? Sellistele küsimustele vastused salvestatakse suurandmetesse.
Kas toote taga on kasvav trend? Või on tendents languses? Kas klient ostab „sukad”, kui ta ostab „kingi”? Need on äriprobleemide lahendamise küsimused.
Ja neid küsimusi saab hõlpsasti vastas kasutades Suurandmete analüüs .
Lõppude lõpuks, mis on andmete kasutamine, kui te seda pole analüüsides see on?
Nii on ka Big Datatäiesti umbesAnalytics?Mitte täielikult, kuid Analytics on ülim auhind.
Big Data muud peamised voogud onLadustaminejaJuhtimine.
Siin saate anda oma panuse professionaalina. Võite võtta rolli:
- Suurandmete insener
- Big Data Solution Arhitekt
Ja veenduge, et genereeritud suured andmed oleksid alati kättesaadavad ja neid saaks hiljem analüüsimiseks kasutada. Nii et see viib meid küsimuse & hellip juurde
Kus on Big Data salvestatud?
Kas seda saab säilitadaExceli fail? Kas seda saab säilitada arelatsiooniline andmebaasisüsteem?
Kindlasti mitte!
Kui oleks võinud, siis oleks olnud!
Ja hüütakse koos midagi muud. Ehk midagi sellistExceli andmedvõiRDBMS-andmed: D
Ja see viiks meid tagasi SAMM 1 : - Miks ei saa suuri andmeid Exceli abil hallata? SestBig Data on Exceli käsitsemiseks lihtsalt liiga kuum. Ja tegelikult ka muud andmebaaside haldussüsteemid.
Mis on siis alternatiiv?
Big Data töötlemiseks oleme HADOOP . Võib-olla olete ka sellest sõnast teadlik. Kuid võite mõelda, kuidas see täpselt töötab?
Alustuseks on HADOOP tooteSA APACHE. Apache on Ameerika mittetulundusühing, mis toetab avatud lähtekoodiga tarkvara arendamist.
Hadoop on määratletud kui avatud lähtekoodiga Java-põhine programmeerimisraamistik, mis toetab ülisuurte andmekogumite töötlemist ja salvestamist hajutatud arvutuskeskkonnas.
Mida saab Hadoop teha, aga Excel mitte?
Töötle ja mõista struktureerimata andmeid!Tabeldatud või muul viisil struktureeritud andmetega saab hõlpsasti hakkama. Excel suudab seda teha, nii ka kõik muud RDBMS-id.
Kuid kui loetavus väheneb ja andmed on struktureerimata, siis just Big Datatööriistad nagu Hadoopskoor. Struktureerimata andmete näide on syslog . Näidispilt on allpool.
Sellised logid pole kindlasti Exceli abil küsitavad.
Nagu ka Big Data tööriistad, saab Hadoop mustritest lahti harutades ja erinevate valdkondade vahel seoseid luues andmeid mõista nii, nagu need on. Ja kui andmetel on relatsiooniline puudutus, siis onAnalytics on valmis.
Analüüs on see, mis mõjutab ettevõtet organisatsioonis! Teie karjäär on suuresti kasulik, kui osalete selles Big Data domeenis.
' Kas ma saan selle teha Hadoop-erina? '
... võib olla järgmine küsimus teie peas. Ja õigesti mõeldes on Big Data turg, mis on nii kuum kui kunagi varem ja sama oluline kui kunagi varem.
Ilma Hadoopita on ettevõtetel Big Data'ga tegelemine raske. Ja ilma sinusuguste asjatundlike spetsialistideta on ettevõtetel Hadoopiga suhelda raske.
On aruanne, mis ütleb, et selles valdkonnas on talentide defitsiit. Kalendripuudujääk tähendab vähem spetsialiste, kuid suurt nõudlust. Ja see on globaalses mastaabis ega piirdu konkreetse geograafiaga.
Kas soovite numbreid?
TO McKinsey ülemaailmne instituut Uuringus öeldakse, et USA-l seisab puudus umbes 190 000 andmeteadlasest ning 1,5 miljonist juhist ja analüütikust, kes suudavad 2018. aastaks Big Data abil aru saada ja langetada otsuseid.
Karjäärinõuanded teile? Surfake, kui loodete arv on madal!
Aga kas sina oled piiratud ainult Hadoop ?
Mitte päris. Big Data töötlemiseks on mitmeid tööriistu ja Hadoopi peetakse üheks parimaks. Kuid mitte iga kord!
On hetki, kus Hadoop ei sobi kõige paremini. Näiteks kui olete mittetehniline inimene, kes pole MapReduce programmide kirjutamisel eriti osav.
Sellistel juhtudel saate kasutadaTALEND, mis annab teile graafilise kasutajaliidese, et teha kõike, mida oleksite MapReduce'iga muidu teinud.
c ++ stl intervjuu küsimused
Lihtsamate Java-koodide kirjutamiseks võite kasutadaSIGA.
Kui soovite käivitada SQL-i sarnaseid päringuid Big Data'is, siisHIVEsaab kasutada.
Kui soovite kasutada NoSQL-i andmebaasi salvestatud andmeid, siisHBasesaab kasutada.
Analüütika reaalajas teostamiseks võite kasutadaSÄDE.
Need on Big Data tööriistad, mis käivad Hadoopiga käsikäes, kuid ei asenda Hadoopi üldse. Need on Big Data Hadoopi lisandmoodulid.
Pealegi on veel paar tööriista nagu SQOOP, FLUME, OOZIE jne, mida saab integreerida Hadoopi raamistikuga mitmesuguste äriprobleemide lahendamiseks.
Mida tööstus sinult kui suurandmete eksperdilt ootab?
Tööstusel on seda hädasti vaja SUURED ANDMETE ARHITEKTID kes saavad oma organisatsioonide jaoks luua otsadeni suurandmete lahenduse. Big Data Arhitektid on need, kellel on kõigi eespool nimetatud tööriistade asjatundlikkus.
Siin on Edureka õppija tunnistus kursus:
Hakka a alustades Edureka Big Data And Hadoop sertifitseerimiskoolitusest, mis aitab õppijatel saada HDFS, lõnga, MapReduce, Pig, Hive, HBase, Oozie, Flume ja Sqoop ekspertideks, kasutades reaalajas kasutatavaid juhtumeid jaemüügi, sotsiaalse meedia, lennunduse, turismi ja rahanduse valdkonnas .