Mikä on MapReduce?
MapReduce-ohjelmointikehystä käytetään hajautettuun ja rinnakkaiseen käsittelyyn suurten tietojoukkojen kanssa hajautetussa ympäristössä. Kartta ja Pienennä ovat kartan pienentämisohjelman kaksi erillistä tehtävää. Aluksi karttavaiheessa data luetaan ja avain-arvoparit generoidaan siitä. Sitten nämä avain-arvo-parit syötetään vähentävään tehtävään, joka yhdistää avain-arvo-paritiedot pienemmäksi arvojoukkoksi, joka tuottaa lopullisen tuotoksen. Siten pienennystehtävä toteutetaan aina sen jälkeen, kun karttatehtävä on suoritettu. Tiedonkäsittely on erittäin helppo skaalata useille laskusolmuille.
Ohjelmassa on nimittäin kolme vaihetta:
- Karttavaihe
- Shuffle Stage
- Vähennä vaihetta
Esimerkki :
Wordcount-ongelma-
Oletetaan, että alla on syöttötiedot:
- Mike Jon Jake
- Paul Paul Jake
- Mike Paul Jon
1. Yllä olevat tiedot on jaettu kolmeen syöttöjakoon seuraavasti:
- Mike Jon Jake
- Paul Paul Jake
- Mike Paul Jon
2. Sitten nämä tiedot syötetään seuraavaan vaiheeseen, jota kutsutaan kartoitusvaiheeksi.
Joten ensimmäisellä rivillä (Mike Jon Jake) meillä on 3 avain-arvo-paria - Mike, 1; Jon, 1; Jake, 1.
Alla on tulos kartoitusvaiheessa:
- Mike, 1
Jon, 1
Jake 1 - Paul, 1
Paul, 1
Jake 1 - Mike, 1
Paul, 1
Jon, 1
3. Yllä olevat tiedot syötetään sitten seuraavaan vaiheeseen, jota kutsutaan lajittelu- ja sekoitusvaiheeksi.
Tässä vaiheessa tiedot ryhmitellään yksilöiviin avaimiin ja lajitellaan. Alla on tulos lajittelu- ja sekoitusvaiheessa:
- Jake, (1, 1)
- Jon, (1, 1)
- Mike, (1, 1)
- Paul, (1, 1, 1)
4. Yllä olevat tiedot syötetään sitten seuraavaan vaiheeseen, jota kutsutaan pelkistysvaiheeksi.
Tässä kaikki avainarvot yhdistetään ja 1: n lukumäärä lasketaan. Alla on tulos pelkistysvaiheessa:
- Jake 2
- Jon, 2
- Mike, 2
- Paul, 3
MapReducen edut:
Täältä opitaan MapReduce -ohjelmointikehyksen tärkeitä etuja,
1. Skaalautuvuus
Hadoop alustana, joka on erittäin skaalautuva ja johtuu pitkälti sen kyvystä, että se tallentaa ja jakaa suuria tietojoukkoja useille palvelimille. Tässä käytetyt palvelimet ovat melko edullisia ja voivat toimia samanaikaisesti. Järjestelmän prosessointitehoa voidaan parantaa lisäämällä lisää palvelimia. Perinteiset relaatiotietokannan hallintajärjestelmät tai RDBMS eivät pystyneet mittakaavassa käsittelemään valtavia tietojoukkoja.
2. Joustavuus
Hadoop MapReduce -ohjelmointimalli tarjoaa joustavuuden prosessoida rakennetta tai jäsentämätöntä tietoa useille eri organisaatioille, jotka voivat käyttää tietoja ja voivat toimia erityyppisissä tiedoissa. Siten ne voivat tuottaa liikearvon niistä tiedoista, jotka ovat merkityksellisiä ja hyödyllisiä yritysorganisaatioille analysointia varten. Tietolähteestä riippumatta, onko kyseessä sitten sosiaalinen media, napsautussuunta, sähköposti jne. Hadoop tarjoaa tukea monille kielille, joita käytetään tietojenkäsittelyyn. Tämän lisäksi Hadoop MapReduce -ohjelmointi sallii monia sovelluksia, kuten markkinointianalyysin, suositusjärjestelmän, tietovaraston ja petosten havaitsemisen.
3. Suojaus ja todennus
Jos joku ulkopuolinen henkilö saa pääsyn kaikkiin organisaation tietoihin ja pystyy käsittelemään useita datan petabyyttejä, se voi aiheuttaa paljon haittaa liiketoiminnan kannalta, joka toimii organisaation toiminnassa. MapReduce-ohjelmointimalli korjaa tätä riskiä työskentelemällä hdfs: n ja HBase: n kanssa, mikä mahdollistaa korkean tietoturvan, jolloin vain hyväksytty käyttäjä voi käyttää järjestelmään tallennettua tietoa.
4. Kustannustehokas ratkaisu
Tällainen järjestelmä on erittäin skaalautuva ja se on erittäin kustannustehokas ratkaisu liiketoimintamalliin, joka tarvitsee tallentaa tietoa, joka kasvaa räjähdysmäisesti nykypäivän tarpeisiin nähden. Vanhojen perinteisten relaatiotietokannan hallintajärjestelmien tapauksessa datan käsitteleminen ei ollut niin helppoa kuin Hadoop-järjestelmän kanssa skaalautuvuuden kannalta. Tällaisissa tapauksissa yritys pakotettiin pienentämään tietoja ja toteuttamaan edelleen luokittelu perustuen oletuksiin siitä, kuinka tietyt tiedot voivat olla arvokkaita organisaatiolle ja siten poistamalla raakatiedot. Hadoopin mittakaavan arkkitehtuuri MapReduce-ohjelmoinnilla tulee tänne.
5. Nopea
Hadoopin hajautettu tiedostojärjestelmä HDFS on avainominaisuus, jota käytetään Hadoopissa. Järjestelmä toteuttaa pohjimmiltaan kartoitusjärjestelmän klusterin datan löytämiseksi. MapReduce-ohjelmointi on tietojenkäsittelyyn käytettävä työkalu, joka sijaitsee myös samassa palvelimessa mahdollistaen nopeamman tietojen käsittelyn. Hadoop MapReduce käsittelee suuria määriä dataa, joka on jäsentämätöntä tai osittain jäsentämätöntä vähemmässä ajassa.
6. Yksinkertainen ohjelmointimalli
MapReduce-ohjelmointi perustuu hyvin yksinkertaiseen ohjelmointimalliin, joka periaatteessa antaa ohjelmoijille mahdollisuuden kehittää MapReduce-ohjelma, joka pystyy käsittelemään monia muita tehtäviä helpommin ja tehokkaammin. MapReduce-ohjelmointimalli on kirjoitettu Java-kielellä on erittäin suosittu ja erittäin helppo oppia. Ihmisten on helppo oppia Java-ohjelmointi ja suunnitella tietojenkäsittelymalli, joka vastaa heidän liiketoiminnan tarpeitaan.
7. Rinnakkaiskäsittely
Ohjelmointimalli jakaa tehtävät tavalla, joka mahdollistaa itsenäisen tehtävän suorittamisen rinnakkain. Siksi tämä rinnakkaiskäsittely helpottaa prosessien suorittaa jokainen tehtävä, joka auttaa ohjelman suorittamisessa paljon vähemmän aikaa.
8. Saatavuus ja joustava luonne
Hadoop MapReduce-ohjelmointimalli käsittelee dataa lähettämällä tiedot yksittäiselle solmulle sekä välittäen saman tietosarjan muille verkossa oleville solmuille. Seurauksena on, että tietyn solmun vian sattuessa, sama datakopio on edelleen saatavana muissa solmuissa, joita voidaan käyttää aina, kun se vaaditaan datan saatavuuden varmistamiseksi.
Tällä tavalla Hadoop on vikasietoinen. Tämä on Hadoop MapReduce -sovelluksen tarjoama ainutlaatuinen toiminto, joka pystyy tunnistamaan vian nopeasti ja suorittamaan pikakorjauksen automaattiseen palautusratkaisuun.
On monia yrityksiä ympäri maailmaa, jotka käyttävät kartta-alennusta, kuten facebook, yahoo jne.
Johtopäätös - mikä on MapReduce
Kartan pienentämisellä on suuri kapasiteetti, kun kyse on suuresta tietojenkäsittelystä verrattuna perinteisiin RDBMS-järjestelmiin. Monet organisaatiot ovat jo hyödyntäneet sen potentiaalia ja siirtyvät tähän uuteen tekniikkaan. On selvää, että map-redu on erittäin kauan mennä isolle tietojenkäsittelyalustalle.
Suositellut artikkelit
Tämä on opas Mikä on MapReduce. Tässä keskustelimme MapReducen peruskonseptista, esimerkkeistä ja eduista. Voit myös käydä läpi muiden ehdotettujen artikkeleidemme saadaksesi lisätietoja -
- Mikä on JavaScript?
- MapReduce -haastattelukysymykset
- Mikä on Python
- Kuinka MapReduce toimii
- Mikä on iso data ja Hadoop