Johdanto pesän arkkitehtuuriin

Pesän arkkitehtuuri on rakennettu Hadoop-ekosysteemin päälle. Hivellä on usein vuorovaikutusta Hadoopin kanssa. Apache Hive tulee toimeen sekä verkkotunnuksen SQL-tietokantajärjestelmän että Map-reduktin kanssa. Pesänsovellukset voidaan kirjoittaa eri kielillä, kuten Java, python. Pesän arkkitehtuuri näyttää kuinka kirjoittaa pesän kyselykieli ja miten ohjelmoijien väliset vuorovaikutukset tehdään komentoriviliittymän avulla. Pesän kyselykieli tekee kaikkien Hadoop-klusteritehtävien muuntamisen kartan pienentämisen avulla. Koska me kaikki tunsimme Hadoopin käsittelemään suurta dataa hajautetussa ympäristössä ja muodostamaan avoimen lähdekoodin puitteet. Pesän avulla se on joustava hallitsemaan ja toteuttamaan kyselyä ja hyvä tukija suorittamaan toimintoja, kuten kapselointi, ad-hoc-kyselyt. Tämä artikkeli tarjoaa lyhyen johdannon pesäarkkitehtuuriin, joka sijaitsee Hadoop-kerroksessa, jotta voidaan suorittaa yhteenveto suurina tiedoina.

Pesän arkkitehtuuri ja sen komponentit

Hivellä on tärkeä rooli tietojen analysoinnissa ja yritystietojen integroinnissa ja se tukee tiedostomuotoja, kuten tekstitiedosto, rc-tiedosto. Hive käyttää hajautettua järjestelmää kyselyjen käsittelemiseen ja suorittamiseen. Tallennus lopulta tehdään levylle ja lopulta käsitellään käyttämällä karttaa pienentävää kehystä. Se ratkaisee optimointi-ongelman, joka löytyy kohdasta Kartta pienennä ja pesä suorittaa erätyöt, jotka selitetään selvästi työnkulussa. Täällä meta-myymälä tallentaa kaavotietoja. Apache Tez -niminen kehys on suunniteltu reaaliaikaisten kyselyiden suorituskykyyn.

Pesän tärkeimmät komponentit on esitetty alla:

  1. Pesää asiakkaita
  2. Pesän palvelut
  3. Pesän varastointi (metavarasto)

Yllä oleva kaavio näyttää pesän ja sen komponenttien arkkitehtuurin.

Pesän asiakkaat:

Niihin sisältyy säästäväisyyssovellus, jolla python-, ruby-, C ++- ja kuljettajille tarjolla olevia helppoja pesukomentoja voidaan suorittaa. Nämä asiakassovelluksen edut suorittavat kyselyitä pesässä. Hivellä on kolmen tyyppisiä asiakasluokituksia: säästöasiakkaat, JDBC- ja ODBC-asiakkaat.

Pesän palvelut:

Kaikkien kyselyjen käsittelemiseksi pesällä on erilaisia ​​palveluita. Käyttäjä määrittelee kaikki toiminnot helposti pesässä. Katsotaanpa lyhyesti näitä kaikkia palveluita:

  • Komentoriviliitäntä (käyttöliittymä): Se mahdollistaa käyttäjän ja pesän välisen vuorovaikutuksen, oletuskuoren. Se tarjoaa graafisen käyttöliittymän (pesäkkö) komentorivin ja tarkkailun suorittamiseen. Voimme käyttää myös web-käyttöliittymiä (HWI) lähettämään kyselyitä ja vuorovaikutusta verkkoselaimen kanssa.
  • Pesän ohjain: Se vastaanottaa kyselyitä eri lähteistä ja asiakkailta, kuten säästöpalvelimelta, ja tallentaa ja noutaa ODBC- ja JDBC-ohjaimiin, jotka yhdistetään automaattisesti pesään. Tämä komponentti suorittaa semanttisen analyysin nähdessään taulukot metastoresta, joka jäsentää kyselyn. Ajuri hyödyntää kääntäjää ja suorittaa toimintoja, kuten jäsennys-, suunnittelija-, MapReduce-töiden suorittaminen ja optimoija.
  • Kääntäjä: Kääntäjä suorittaa kyselyn jäsentämisen ja semanttisen prosessin. Se muuntaa kyselyn abstraktiksi syntaksipuuksi ja jälleen takaisin DAG: ksi yhteensopivuuden varmistamiseksi. Optimoija puolestaan ​​jakaa käytettävissä olevat tehtävät. Toteuttajan tehtävä on suorittaa tehtävät ja seurata tehtävien valmisteluaikataulua.
  • Suoritusmoottori: Suoritusmoottori käsittelee kaikki kyselyt. Moottori suorittaa DAG-vaihesuunnitelmat, jotka auttavat hallitsemaan käytettävissä olevien vaiheiden välisiä riippuvuuksia ja toteuttamaan ne oikealla komponentilla.
  • Metastore: Se toimii keskusvarastona, jolla voidaan tallentaa kaikki metatietojen jäsennellyt tiedot. Se on myös tärkeä näkökohta pesälle, koska siinä on tietoja, kuten taulukot ja osiotiedot sekä HDFS-tiedostojen tallennus. Toisin sanoen sanotaan, että metastore toimii nimiavaruutena taulukoille. Metastorea pidetään erillisenä tietokannana, jota myös muut komponentit jakavat. Metastoressa on kaksi kappaletta, nimeltään palvelu ja loppusijoitus.

Pesän tietomalli on jaettu osioihin, kauhoihin, taulukoihin. Kaikki nämä voidaan suodattaa, niillä voi olla osioavaimia ja arvioida kysely. Pesän kysely toimii Hadoop-kehyksessä, ei perinteisessä tietokannassa. Pesän palvelin on rajapinta etäasiakkaan kyselyiden välillä pesälle. Suoritusmoottori on upotettu täysin pesäpalvelimeen. Löydät pesänsovelluksen koneoppimisessa, yritystietoa havaitsemisprosessissa.

Pesän työvirta:

Pesä toimii kahdentyyppisissä tiloissa: interaktiivisessa tilassa ja ei-interaktiivisessa tilassa. Entinen tila sallii kaikkien pesän komentojen siirtyä suoraan pesän kuoreen, kun taas myöhempi tyyppi suorittaa koodin konsolitilassa. Tiedot jaetaan osioihin, jotka jakautuvat edelleen kauhoihin. Toteutussuunnitelmat perustuvat aggregointiin ja tietojen vääristymiseen. Lisäsovellus pesän käyttämisessä on se, että se helposti käsittelee laajamittaista tietoa ja siinä on enemmän käyttöliittymiä.

Yllä olevasta kaaviosta voimme saada välähdyksen tietovirrasta pesässä Hadoop-järjestelmän avulla.

Vaiheet sisältävät:

  1. suorita kysely käyttöliittymästä
  2. hanki suunnitelma kuljettajan tehtävien DAG-vaiheista
  3. hae metatietopyyntö metakaupasta
  4. Lähetä metatiedot kääntäjältä
  5. lähettämällä suunnitelman takaisin kuljettajalle
  6. Suorita suunnitelma suorituskoneessa
  7. haetaan tuloksia sopivalle käyttäjäkyselylle
  8. tulosten lähettäminen kaksisuuntaisesti
  9. suoritusmoottorin prosessointi HDFS: ssä kartan pienentämisen ja haun tuloksilla työnseurannan luomista datasolmuista. se toimii liittimenä Hiven ja Hadoopin välillä.

Suoritusmoottorin tehtävänä on kommunikoida solmujen kanssa saadakseen taulukkoon tallennetut tiedot. Tällöin SQL-toiminnot, kuten luominen, pudottaminen, muuttaminen, suoritetaan taulukon käyttämiseksi.

johtopäätös:

Olemme käyneet läpi Hive-arkkitehtuurin ja heidän työvirransa, pesä suorittaa periaatteessa petatavujen määrän dataa ja siten se on tietovarastopaketti Hadoop-alustalla. Koska pesä on hyvä valinta käsitellä suurta tietomäärää, se auttaa tietojen valmistelussa SQL-käyttöliittymän oppaan avulla MapReduce-ongelmien ratkaisemiseksi. Apache-pesä on ETL-työkalu jäsennellyn datan käsittelemiseen. Pous-arkkitehtuurin toiminnan tuntemus auttaa yrityksiä ymmärtämään pesän periaatetoiminnan ja on hyvä aloittaa pesän ohjelmoinnilla.

Suositellut artikkelit:

Tämä on ollut opas Hive-arkkitehtuuriin. Tässä keskustellaan pesän arkkitehtuurista, eri komponenteista ja pesän työnkulusta. voit myös tarkastella seuraavia artikkeleita saadaksesi lisätietoja-

  1. Hadoop-arkkitehtuuri
  2. Rubyn käyttö
  3. Mikä on C ++
  4. Mikä on MySQL-tietokanta
  5. Pesän tilauksen tekijä

Luokka:

Suuri data