Johdanto MapReduce -haastatteluun liittyviin kysymyksiin ja vastauksiin
MapReduce on yksinkertainen rinnakkaisohjelmointimalli, joka on suunniteltu skaalautuvuudelle ja vikasietoisuudelle. Voimme sanoa, että MapReduce on kehys, joka käyttää solmujen käsitettä suurten tietojoukkojen ongelmien rinnakkaistamiseen, jos ne ovat paikallisessa verkossa, se käyttää samaa laitteistoa ja jos MapReduce on maantieteellisesti jakautunut, se käyttää eri laitteita. MapReduce koostuu pääasiassa Kartta () -toiminnosta ja Pienennä () -toiminnosta. Sitä teki suosituksi avoimen lähdekoodin Hadoop-projekti.
Alla on 9 tärkeää 2019 MapReduce -haastattelua koskevaa kysymystä ja vastausta:
Jos etsit MapReduceen liittyvää työtä, sinun on varauduttava 2019 MapReduce -haastattelukysymyksiin. Vaikka jokainen MapReduce -haastattelu on erilainen ja työn laajuus on myös erilainen, voimme auttaa sinua parhaimmissa MapReduce-haastattelukysymyksissä, joihin sisältyy vastauksia, jotka auttavat sinua hyppäämään ja saamaan menestyksen haastattelussa.
Nämä kysymykset on jaettu kahteen osaan, jotka ovat seuraavat:
Osa 1 - MapReduce -haastattelukysymykset (perus)
Tämä ensimmäinen osa kattaa MapReduce -haastattelun peruskysymykset ja vastaukset.
1. Mikä on MapReduce?
Vastaus:
MapReduce on yksinkertainen rinnakkaisohjelmointimalli, joka on suunniteltu skaalautuvuudelle ja vikasietoisuudelle. Toisin sanoen, se on kehys, joka käsittelee rinnakkaisia ongelmia suurissa tietojoukkoissa käyttämällä solmujen (tietokoneiden lukumäärä) käsitettä, joka puolestaan luokitellaan klusteriksi, jos se on paikallinen verkko ja käyttää samaa laitteistoa tai verkkoa, jos ne ovat maantieteellisesti hajautettu ja käyttää erilaisia laitteita. MapReduce koostuu olennaisesti Kartta () -toiminnosta ja Pienennä () -toiminnosta. Google oli sen edelläkävijä, ja se käsittelee useita petatavuja tietoja päivittäin. Se teki suosion avoimen lähdekoodin Hadoop-projektista, ja sitä käytetään Yahoo, Facebook ja Amazon mainitsemaan muutama.
2. Mihin MapReducea käytetään yrityksessä?
Vastaus:
Google
• Google-haun hakemiston rakentaminen
Prosessia, jossa rakennetaan sijainti- tai ei-sijoitusindeksiä, kutsutaan indeksin rakentamiseksi tai indeksoimiseksi. MapReducen rooli on hakemistorakentaminen ja se on suunniteltu suurille tietokoneklustereille. Klusterin tarkoituksena on ratkaista laskennalliset ongelmat solmuille tai tietokoneille, jotka on rakennettu vakio-osilla eikä supertietokoneella.
• Google-uutisten artikkeliklasterointi
Artikkelien klusterointia varten sivut luokitellaan ensin sen mukaan, tarvitaanko niitä klusterointiin. Sivut sisältävät paljon tietoa, jota ei tarvita klusterointiin. Sitten artikkeli tuodaan vektorimuotoonsa avainsanojen ja annetun painon perusteella. Sitten ne ryhmitellään algoritmeja käyttämällä.
• Tilastollinen konekäännös
Kaksikielisten tekstikorpurojen käännös analyysillä tuottaa tilastollisia malleja, jotka kääntävät kielen toiseen painotuksen avulla ja pelkistetään todennäköisimmäksi käännökseksi.
Yahoo
• ”Web-kartta”, joka tukee Yahoo! Hae
Samoin kuin Google News -artikkeleiden klusterointi, MapReducea käytetään Yahoo! -hakutulosten klusterointiin. Alustalla.
• Roskapostintunnistus Yahoo! posti
Facebook
• Tiedon louhinta
Tietojen räjähdyksen viimeaikainen suuntaus on johtanut tarpeeseen kehittyneitä menetelmiä datan jakamiseksi palasiksi, joita voidaan käyttää helposti seuraavassa analysointivaiheessa.
• d Optimointi
• Roskapostintunnistus
Siirrymme seuraavaan MapReduce -haastattelukysymykseen.
3. Mitkä ovat MapReduce-suunnittelutavoitteet?
Vastaus:
• Skaalautuvuus suuriin datavolyymeihin
Koska MapReduce on kehys, jonka tarkoituksena on työskennellä rinnakkain muokattavien tietojen kanssa käsitteellä solmuja, jotka ovat tietokoneiden lukumäärää joko klusterina tai ruudukkona, se on skaalautuva n määrään tietokoneita. Joten yksi MapReducen näkyvä suunnittelutavoite on, että se voidaan skaalata tuhanteen koneeseen ja niin edelleen 10 000 levyyn.
• Kustannustehokkuus
Koska MapReduce toimii tietojen rinnakkaistamiseen solmuissa tai tietokoneiden lukumäärässä, seuraavat syyt tekevät siitä kustannustehokkaan:
- Halvat hyödykekoneet superkoneen sijasta. Vaikka ne ovat halpoja, ne eivät ole luotettavia.
-Hyödykeverkko
- Automaattinen vikasietoisuus, ts. Vähemmän järjestelmänvalvojaa vaaditaan.
-Se on helppo käyttää, ts. Se vaatii vähemmän ohjelmoijia.
4. Mitkä ovat MapReducen haasteet?
Vastaus:
Tämä on yleinen MapReduce -haastattelukysymys, jota haastattelussa esitetään. MapReducen päähaasteet ovat seuraavat:
- Halvat solmut epäonnistuvat, varsinkin jos sinulla on useita
Keskimääräinen aika epäonnistumisten välillä yhdellä solmulla on yhtä suuri kuin 3 vuotta. Keskimääräinen aika vikojen välillä 1000 solmulla on yhtä päivää. Ratkaisu on rakentaa vikasietoisuus itse järjestelmään.
-Hyödykeverkko on yhtä suuri tai merkitsee alhaista kaistanleveyttä
Matalan kaistanleveyden ratkaisu on siirtää laskenta dataan.
- Hajautettujen järjestelmien ohjelmointi on vaikeaa
Ratkaisu tähän on, että data-rinnakkaisohjelmointimallin mukaan käyttäjät kirjoittavat “kartta” ja “pienentää” toimintoja. Järjestelmä jakaa työn ja käsittelee viat.
5. Mikä on MapReduce-ohjelmointimalli?
Vastaus:
MapReduce-ohjelmointimalli perustuu käsitteeseen, jota kutsutaan avain-arvo-tietueiksi. Se tarjoaa myös paradigmoja rinnakkaiselle tietojenkäsittelylle. Tietojen käsittelemiseksi MapReduce-sovelluksessa sekä tulotiedot että lähtö on kartoitettava useiden avain-arvoparien muotoon. Yhden avaimen arvo -pariin viitataan myös tietueena. MapReduce-ohjelmointimalli koostuu Kartta () -toiminnosta ja Pienennä-toiminnosta. Malli näille on seuraava.
Kartta () -toiminto: (K sisään, V sisään) luettelo (K välillä, V välillä)
Pienennä () -toiminto: (K-väli, lista (V-välinen)) -lista (K ulos, V ulos)
Osa 2 - MapReduce -haastattelut (Advanced)
Katsotaanpa nyt nyt edistyneitä MapReduce -haastattelukysymyksiä.
6. Mitkä ovat MapReduce-suorituksen yksityiskohdat?
Vastaus:
MapReduce-suorituksen tapauksessa yksi isäntä hallitsee työn suorittamista useilla slaveilla. Karttaajat on edullista sijoittaa samaan solmuun tai samaan telineeseen kuin heidän syöttölohkonsa, jotta se minimoi verkon käytön. Lisäksi karttaajat tallentavat lähdöt paikalliselle levylle ennen niiden palvelemista pelkistimille. Tämä mahdollistaa palautumisen, jos pelkistin kaatuu, ja sallii enemmän pelkistimiä kuin solmuja.
7. Mikä on yhdistäjä?
Vastaus:
Yhdistelijä, joka tunnetaan myös puolireduktorina, toimii hyväksymällä tuloja Map-luokasta ja siirtämällä lähtöavain-arvo-pareja Reducer-luokkaan. Yhdistäjän päätehtävänä on tehdä yhteenveto karttatulostietueista samalla avaimella. Toisin sanoen yhdistäjä on paikallinen aggregointitoiminto saman kartan tuottamille toistuville avaimille. Se toimii assosiatiivisissa toiminnoissa, kuten SUM, COUNT ja MAX. Se pienentää välitiedon kokoa, koska se on yhteenveto kaikkien toistuvien avainten arvojen yhdistämisestä.
Siirrymme seuraavaan MapReduce -haastattelukysymykseen.
8.Miksi sika? Miksi ei MapReduce?
Vastaus:
• MapReduce antaa ohjelmoijalle mahdollisuuden suorittaa karttatoiminnon ja sen jälkeen pienentää toimintoa, mutta työskentely siitä, kuinka sovittaa tietosi käsittely tähän malliin, joka vaatii usein useita MapReduce-vaiheita, voi olla haaste.
• Pigin kanssa tietorakenteet ovat paljon rikkaampia, koska ne ovat moniarvoisia ja sisäkkäisiä, ja muutosjoukot, joita voit käyttää tietoihin, ovat paljon tehokkaampia. Ne sisältävät esimerkiksi liittymiä, jotka eivät ole mahdollisia MapReduce-sovelluksessa.
• Sika on myös yksi ohjelma, joka muuntaa muutoksen MapReduce-työsarjaksi.
9.MapRedce kritiikki
Vastaus:
Yksi MapReducen merkittävä kritiikki on, että kehityssykli on erittäin pitkä. Karttaajien ja pelkistimien kirjoittaminen, koodin laatiminen ja pakkaaminen, työn lähettäminen ja tulosten nouto on aikaa vievää. Jopa suoratoistossa, joka poistaa kääntämis- ja paketointivaiheen, kokemus vie edelleen kauan.
Suositeltava artikkeli
Tämä on opas luetteloon MapReduce -haastattelua koskevista kysymyksistä ja vastauksista, jotta hakija voi helposti hakea nämä MapReduce -haastattelua koskevat kysymykset. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- Tärkeitä Data Analytics -haastattelukysymyksiä
- 10 parasta suunnitteluhaastattelua koskevaa kysymystä
- Elastisen haun haastattelukysymykset
- Hyödyllisimmät Ruby -haastattelukysymykset
- Kuinka MapReduce toimii