Kuinka asentaa pesä?
Apache Hadoop on kokoelma kehystä, joka mahdollistaa klusterin läpi jakautuneen suuren datan käsittelyn. Kuten Apache Hive on, on Apache Hadoopin päälle rakennettu tietovarasto-ohjelmistoprojekti, joka tarjoaa tietojen kyselyä ja analysointia. Apache-pesä tarjoaa SQL-tyyppisen käyttöliittymän, jolla voidaan hakea ja käsitellä suuri määrä HQL-nimistä (Hive-kyselykieltä) dataa. Apache-pesä toimii Hadoop-ekosysteemin päällä ja tiedostoina tallennetut tiedot tarkoittavat Hadoopin hajautettua tiedostojärjestelmää (HDFS). Apache Hive tarjoaa erinomaisen käyttöliittymän käyttäjälle pääsyä dataan ja sen suorittamiseen taulukon muodossa. Se tarjoaa erinomaisen optimointitekniikan suorituskyvyn parantamiseksi. On erittäin haastavaa saada kysely nopeammaksi isoilla tiedoilla ja usko minua, sillä on merkitystä tuotantoympäristössä.
Taustaohjelmassa kääntäjä muuntaa HQL-kyselyn kartanpoistotyöksi ja toimittaa sitten Hadoop-kehykseen suorituksia varten.
Ero pesän ja SQL: n välillä
Apache Hive on hyvin samankaltainen SQL: n kanssa, mutta koska tiedämme, että pesä toimii Hadoopin ekosysteemin päällä ja muuntaa työpaikat sisäisesti MR: ksi (Map Reduce job), se tekee eroa Hive ja SQL: n välillä.
Hive ei olisi paras tapa lähestyä sovelluksia, joissa tarvitaan erittäin nopeaa reagointia, ja on erittäin tärkeää ymmärtää, että Hive soveltuu paremmin eräprosessointiin erittäin suurten muuttumattomien tietojen joukkoon, ja meidän on huomattava tämä, että Hive on säännöllinen RDBMS ja viimeinkin mutta ei vähäisimpänä, apache-pesä on lukemisvälineiden kaavio (lisättäessä tietoja pesätauluun, se ei häiritse tietotyyppien epäsovitusta, mutta lukiessaan tietoja se näyttää nolla-arvon, jos tietotyyppi ei vastaa tietyn sarakkeen tietotyyppiä).
Aikaisempi tarve asentaa pesä
Kuten aiemmin totesin, on erittäin tärkeää ymmärtää, että Apache-pesä toimii Hadoopin ekosysteemin päällä ja Hadoopin pitäisi olla käynnissä kaikkien demonien kanssa.
Jotkut Hadoop-perheen demonit ovat seuraavat:
- Nimi solmu
- Tietosolmu
- Resurssienhallinta
- Solmun hallinta
Alla olevan Hadoop-version tarkistaminen on komento:
Kirjoita → Hadoop-versio komentokehotteeseen, jolloin saat Hadoop-version.
Alla olevan Hadoop-klusterin raporttiliipaisimen tarkistaminen:
Kirjoita → Hadoop dfsadmin –report komentokehotteeseen, jolloin se antaa sinulle koko klusteriraportin, jos palvelimesi on käynnissä.
Jos Hadoop-ohjelmaa ei ole asennettu koneeseesi, pyydetään sinua noudattamaan apache-ohjeita asentaaksesi Hadoop-järjestelmään.
Toivon, että Java on jo asennettu järjestelmään. tarkistaaksesi Java-version katso alla oleva kuvakaappaus.
Vaiheet asentaaksesi pesän Ubuntuun
Alla on vaiheet asentaaksesi Hive Ubuntuun, ovat seuraavat:
Vaihe 1 : Lataa tarha, jonka voimme ladata käyttämällä terminaalin alla olevaa komentoa, jonka voimme myös ladata suoraan päätteestä.
Komento: saamme http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Vaihe 2 : Pura tar- tiedosto käyttämällä terminaalin alla olevaa komentoa. Voimme purkaa tervan yllä ladatun tar-pesän tar-tiedoston suoraan.
Komento: tar -xzf apache-hive-2.1.0-bin.tar.gz
Ehdotan, että tarkistat ls- komennolla uutetut pesätiedostot.
Vaihe 3: Muokkaa .bashrc- tiedostoa päivittääksesi käyttäjän ympäristömuuttujat.
Komento: sudo .bashrc
Lisää seuraava tiedoston loppuun:
# Aseta HIVE_HOME
Suorita alla annettu komento suorittaaksesi muutokset nykyisessä päätteessä.
Komento: lähde .bashrc 
Vaihe 5 : Meidän on luotava pesähakemistot HDFS-sijaintipaikkaan, ja tämä hakemisto ”varastossa” on paikka tallentaa pesätaulukon metatietotiedot ja pesään liittyvät tiedot.
Komento :
- hdfs dfs -mkdir -p / käyttäjä / pesä / varasto
- hdfs dfs -mkdir / tmp
Vaihe 6 : Aseta pesätaulukon luku- ja kirjoitusoikeus suorittamalla komento alla.
Komento:
Alla olevassa komennossa kirjoitusoikeuden tarjoaminen käyttäjäryhmälle:
- hdfs dfs -chmod g + w / käyttäjä / pesä / varasto
- hdfs dfs -chmod g + w / tmp
Pesän määrittäminen: On erittäin tärkeää osoittaa asennuspesä, jotta se määritetään Hadoopin kanssa. Meidän on muokattava hive-env.sh-tiedostoa, joka on sijoitettu hakemistoon $ HIVE_HOME / conf. Seuraavat komennot ohjaavat Hive conf -kansioon ja kopioi mallitiedosto:
Vaihe 7 : Aseta Hadoop- polku kohtaan hive-env.sh
Muokkaa hive-env.sh-tiedostoa lisäämällä seuraava rivi:
Nyt tällä prosessilla olemme melkein valmis ja pesän asennukset on saatu päätökseen onnistuneesti, on tärkeää määrittää Metastore ulkoisen tietokantapalvelimen kanssa ja oletusarvoisesti Apache Hive kehys käyttää Derby-tietokantaa. Käyttämällä alla-komentoa Derby-tietokannan alustaminen.
Komento: bin / schematool -initSchema -dbType derby
Vaihe 8 : Käynnistä pesä .
Komento: pesä (tyypin pesä toisen pesän terminaalissa olevassa terminaalissa aukeaa.)
Työskentely pesän kanssa: Nyt näemme joitain pesän toimintoja nähdäksemme, kuinka monta taulukkoa meillä on oletuskantatietokannassa, viittaavat alla olevien kuvakaappausten alla oleviin kuvakaappauksiin, koska se ei näytä yhtään taulukkoa, mikä tarkoittaa, että meillä ei ole taulukoita oletustietokannassa .
Taulukon luomiseksi pesässä on erittäin tärkeää viitata vaadittuun tietokantaan, muuten kaikki taulukot luodaan oletuskannan alla.
Tärkeät käskyt Hivessä
1: näytä tietokannat (se näyttää kaikki tietokannat, jotka on luotu tähän mennessä).
2: Luo tietokanta, jos sitä ei ole mydb (tämä komento luo yhden tietokannan nimellä ' mydb', jos ' mydb' ei ole olemassa ja jos ' mydb on jo olemassa, se ei myöskään anna mitään virhettä')
3: Käytä tietokantaa aina, kun joudumme käyttämään jotakin DDl-komentoa tietyssä tietokannassa. Meidän tulisi käyttää komentoa “käytä tietokantaa”. Tässä tapauksessa olemme jo luoneet “mydb” Näytä komento käytettäisiin mydb.
Tärkeää Hive DDL -komentoa
LUO, PUTAA, KÄYTÄ, NÄYTÄ, KUVAUS .
- Luo : - Luo lause, jota käytetään tietokannan luomiseen tai taulukon luomiseen pesässä.
Esimerkki: pesä> luo tietokantayritys; (tietokannan luominen)
Pesä> käytä yritystä;
Pesä> luo taulukon työntekijä (id int, nimi merkkijono, palkka merkkijono); (tämä luo taulukon työntekijän yrityksen tietokantaan, koska olemme jo suorittaneet Käytä tietokantaa -komennon.)
- Kuvaus tarjoaa tietoja taulukon kaaviosta.
Pesä> kuvaa työntekijää; (tämä antaa yksityiskohtaiset yksityiskohdat työntekijätaulukosta)
- TRUNCATE poistaa taulukon tiedot.
Pesä> typistä pöydän työntekijä;
Voimme asentaa pesän myös ikkunaan, mutta parhaiden käytäntöjen vuoksi pidän parempana Ubuntun käyttöä, se antaa paremman kuvan tuotantoympäristöstä ja tietosi lisääntyvät tulevaisuudessa, ja niitä on helppo hallita.
Suositellut artikkelit
Tämä on opas asentaa pesä. Täällä olemme keskustelleet Hive-, DDL-komentojen jne. Asentamisen eri vaiheista. Saat lisätietoja myös seuraavista artikkeleista:
- Kuinka asentaa SQL Server
- Kuinka asentaa MATLAB
- Pesän komennot ja ominaisuus
- Peruseläkkeen haastattelua koskevat kysymykset
- Pesän arkkitehtuuri | Työnkulku
- ORDER BY -toiminnon käyttö pesässä
- Pesän asennus