Ero kartan pienentämisen ja langan välillä
Lanka on Yet Another Resource Negotiator, se on uusi kehys resurssien (muisti ja CPU) hallintaan. Se auttaa meitä kaikenlaisen hajautetun sovelluksen kehittämisessä, se tarjoaa meille tarvittavat daemonit ja sovellusliittymät. YARN: n toinen tärkeä ominaisuus on, että se käsittelee ja ajoittaa sovelluksen resurssipyynnöt ja auttaa prosessia pyynnön toteuttamisessa. YARN on yleinen alusta, jolla voidaan ajaa kaikkia hajautettuja sovelluksia. Map Reduce versio 2 on hajautettu sovellus, joka toimii YARN: n päällä. Map map on Hadoop-komponentin prosessointiyksikkö, mutta prosessoi tietoja rinnakkain hajautetussa ympäristössä. Joten periaatteessa kartta-vähentää valtavan tietokomponentin työtä, se käsittelee tiedot ja tallentaa HDFS: ään siten, että haku on helpompaa kuin perinteinen tallennus.
Head to Head -vertailu MapReduce vs. Lanka (Infografia)
Alla on kymmenen parhainta vertailua MapReduce vs. Lanka
Tärkein ero MapReduce vs. langan välillä
- Hadoop 1: ssä on kaksi komponenttia, joista ensimmäinen on HDFS (Hadoop Distributed File System) ja toinen on Map Reduce. Kun taas Hadoop 2: lla, siinä on myös kaksi komponenttia HDFS ja YARN / MRv2 (kutsumme yleensä lankaksi Kartta pienentämään versiota 2).
- Kun Map Reduce -sovellus lakkaa toimimasta, kaikki hänen orjasolmut lakkaavat toimimasta automaattisesti, tämä on yksi skenaario, jossa työn suorittaminen voi keskeytyä, ja sitä kutsutaan yhdeksi epäonnistumispisteeksi. YARN ratkaisee tämän ongelman arkkitehtuurinsa takia, YARNilla on käsite Aktiivinen nimissolmu sekä valmiustilan nimisolmu. Kun aktiivinen solmu lakkaa toimimasta jonkin aikaa, passiivinen solmu alkaa toimia aktiivisena solmuna ja jatkaa suoritusta.
- Kartan pienentämisessä on yksi isäntä- ja useita orja-arkkitehtuureja. Jos isäntä-orja menee alas, koko orja lakkaa toimimasta, tämä on HADOOP1: n ainoa vikakohta, kun taas YARN-arkkitehtuuriin perustuva HADOOP2: n käsite on useita isäntä ja orja, Jos yksi isäntä menee alas, toinen isäntä jatkaa prosessiaan ja jatkaa suoritusta.
- Kuten alla olevasta kaaviosta voimme nähdä, ero molemmissa ekosysteemeissä HADOOP1 ja HADOOP2. Komponenttivirta lankaresurssien hallinta on vuorovaikutuksessa Map-vähentä ja HDFS: n kanssa.
Joten pohjimmiltaan YARN on vastuussa resurssienhallinnan keinoista, mitkä tehtävät suoritetaan millä järjestelmällä YARN päättää, kun taas map pienentää ohjelmointikehystä, joka vastaa tietyn työn suorittamisesta, joten map-reduktissa on pohjimmiltaan kaksi komponenttia mapper ja reducer ohjelman suorittamiseen.
- Kartassa vähennä kutakin datasolmua, joka suoritetaan erikseen, kun taas Langassa jokaista datasolmua johtaa solmunhallinta.
- Kartta vähentää käyttää Job tracker -ohjelmaa tehtävien luomiseen ja määrittämiseen tehtäväseurantaan datan vuoksi. Resurssien hallinta ei ole vaikuttavaa, koska jotkut datasolmuista pysyvät tyhjäkäynnillä eikä ole hyödyllisiä, kun taas YARNissa on Resurssienhallinta jokaiselle klusterin ja jokainen datasolmu suorittaa Node Manager -sovelluksen. Jokaisessa työssä yksi orjasolmu toimii Application Master -sovelluksena ja seuraa resursseja / tehtäviä.
MapReduce vs. Langan vertailutaulukko
| Vertailun perusteet | LANKA | Kartta pienennä |
| merkitys | Lanka tarkoittaa vielä yhtä resurssineuvottelijaa. | Karttavähennys on itse määritelty. |
| Versio | Esittely Hadoop 2.0: ssa | Esittely Hadoop 1.0: ssa |
| vastuu | Nyt YARN vastaa resurssienhallinnan osasta. | Aikaisempi Kartta vähennys oli vastuussa resurssienhallinnasta ja tietojenkäsittelystä |
| Suoritusmalli | Langan toteutusmalli on yleisempi verrattuna Map vähentää | Vähemmän yleinen verrattuna lankaan. |
| Sovelluksen suorittaminen | Lanka voi suorittaa myös ne sovellukset, jotka eivät noudata Map Reduce -mallia | Map Reduce voi suorittaa oman malliperusteisen sovelluksensa. |
| Arkkitehtuuri | YARN esiteltiin MR2: ssa työn seurannan ja tehtävän seurannan päälle. Työnseurannan ja tehtäväseurannan sovelluksen sijaan päällikkö tulee kuvaan. | MR1: n aikaisemmassa versiossa lankaa ei ole siellä. Langan sijasta oli työpaikkaseuranta ja tehtäväseuranta, jotka auttavat sovelluksen tai töiden suorittamisessa |
| Joustavuus | Lanka on eristyneempi ja skaalautuvampi | Vähemmän skaalautuva verrattuna lankaan. |
| Daemons | YARN: llä on nimi Solmu, datasolmu, toissijainen nimissolmu, Resurssienhallinta ja Solmun hallinta. | Map Reduce -sovelluksessa on nimi-solmu, datasolmu, toissijainen nimi -solmu, työ- ja tehtäväseuranta. |
| rajoitus | YARNissa ei ole käsitettä yhdestä viallisesta kohdasta, koska siinä on useita päälliköitä, joten jos joku epäonnistui, toinen isäntä poimii sen ja jatkaa suoritusta. | Yksi vikakohta, matala resurssien käyttö (enintään 4200 klusteria YAHOO) ja vähemmän skaalautuvuus verrattuna lankaan |
| Koko | Oletuksena YARN-tietosolmun koko on 128 Mt | Karttasuunnan datasolmun koko on oletuksena 64 Mt. |
Johtopäätös - MapReduce vs Lanka
Hadoop 1: ssä, joka perustuu Map Reduce -sovellukseen, on useita ongelmia, jotka voitetaan Hadoop 2: ssa langan avulla. Kuten Hadoop 1: ssä, työpaikkaseurantaja on vastuussa resurssien hallinnasta, mutta YARNilla on resurssienhallinnan käsite sekä solmujen hallinta, joka vastaa resurssien hallinnasta. Kartan pienentämisessä on yksi vikakohta, ts. Työn seuranta, jos työn jäljitys lakkaa toimimasta, meidän on käynnistettävä koko klusterimme uudelleen ja suoritettava tehtävämme uudelleen alkuperäisestä. Oikeassa tilanteessa mikään organisaatio ei halua ottaa tällaista riskiä, etenkin pankkien puolustusalalla. Sellainen organisaatio, joka toimii tietojen virtaviivaistamiseksi, ei ole valmis ottamaan tällaista riskiä. Muutaman minuutin kuluttua he menettävät tietonsa ja saattavat vaikuttaa kriittisesti liiketoimintaan. Joten lanka on parempi tulos kuin Map-csökkent.
Suositeltava artikkeli
Tämä on opas MapReduce vs Lanka -peliin, niiden merkitykseen, Head to Head -vertailuun, avainerot, vertailutaulukko ja johtopäätökset. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- 15 parasta tietää, mitä MapReduce vs Spark tarjoaa
- Paras 5 eroa Hadoopin ja MapReducen välillä
- 10 hyödyllistä eroa Hadoop vs. Redshift välillä
- Apache Hadoop vs Apache Spark | 10 parasta vertailua, jotka sinun on tiedettävä!
- Kuinka MapReduce toimii?