Suosituimmat pesän komennot - Ominaisuudet vinkkejä ja temppuja

• Johdanto pesän käskyihin

Johdanto pesän käskyihin

Hive-komento on tietovarastoinfrastruktuurityökalu, joka istuu Hadoopin päällä tiivistämään suuria tietoja. Se käsittelee jäsenneltyä tietoa. Se helpottaa tietojen kyselyä ja analysointia. Pesän komentoa kutsutaan myös nimellä "skeema lukemisessa;" pesä ei tarkista tietoja, kun ne ladataan, varmennus tapahtuu vain kyselyn yhteydessä. Tämä Hive-ominaisuus tekee siitä nopeaa ensimmäistä lastausta varten. Se on kuin tiedoston kopioiminen tai siirtäminen yksinkertaisesti asettamatta rajoituksia tai tarkistuksia. Pesän kehitti ensin Facebook. Apache Software Foundation otti sen käyttöön myöhemmin ja kehitti sitä edelleen.

Tässä ovat Hive-komennon komponentit:

Kuva 1. Pesän komponentit

https://www.developer.com/

Tässä on alla luetellut pesänkomennon ominaisuudet:

1. Pesänmyymälät ovat raa'ita ja jalostettuja aineistoja Hadoopissa.
2. Se on suunniteltu verkkopalvelun käsittelyyn (OLTP). OLTP on järjestelmä, joka helpottaa suuren määrän tiedonsiirtoa hyvin lyhyessä ajassa ilman, että tarvitsee yhtä palvelinta.
3. Se on nopea, skaalautuva ja luotettava.
4. Tässä annettua SQL-tyyppistä kyselykieltä kutsutaan HiveQL tai HQL. Tämä helpottaa ETL-tehtäviä ja muita analyysejä.

Kuva 2. pesän ominaisuudet

Lähdekuvat: - Google

Myös Hive-komennolla on muutamia rajoituksia, jotka luetellaan alla:

1. Pesä ei tue alakyselyjä.
2. Hive tukee varmasti ylikirjoittamista, mutta valitettavasti se ei tue poistamista ja päivityksiä.
3. Pesää ei ole suunniteltu OLTP: lle, mutta sitä käytetään siihen.

Päästäksesi pesän interaktiiviseen kuoreen:

$ HIVE_HOME / bin / pesää

Peruskäskykomennot

1. Luoda

Tämä luo uuden tietokannan Hivessä.

2. Pudota

Pudotus poistaa pöydän Hivestä

3. Muuttaa

Alter-komento auttaa sinua nimeämään taulukon tai taulukon sarakkeet uudelleen.

Esimerkiksi:

pesä> ALTER TAULUKKO työntekijän nimeä työntekijälle1;

4. Näytä

Näytä-komento näyttää kaikki Hivessä olevat tietokannat.

5. kuvata

Kuvaile-komento auttaa sinua taulukon kaavaa koskevissa tiedoissa.

Väliset pesän komennot

Hive jakaa taulukon sarakkeisiin perustuviin osioihin, jotka liittyvät toisiinsa. Näitä osioita käyttämällä on helpompaa kysyä tietoja. Nämä osiot jaotellaan edelleen kauhoihin, jotta kysely voidaan suorittaa tehokkaasti tietoihin.

Toisin sanoen kauhat jakavat datan klusterijoukkoon laskemalla kyselyssä mainitun avaimen hash-koodin.

1. Osion lisääminen

Osion lisääminen voidaan suorittaa muuttamalla taulukkoa. Oletetaan, että sinulla on taulukko “EMP”, kentät kuten Id, Nimi, Palkka, Osasto, Nimitys ja yoj.

pesä> ALTER PÖYTÄ työntekijä

> LISÄÄ OSAT (vuosi = '2012')

sijainti '/ 2012 / part2012';

2. Nimeä osio uudelleen

pesä> ALTER TABLE työntekijöiden OSAKKEET (vuosi = '1203')

Nimeä uudelleen jako (Yoj = '1203');

3. Pudota osio

pesä> ALTER TAULUKKO työntekijän pudotus (jos on)

> OSASTUS (vuosi = '1203');

4. Suhteelliset operaattorit

Suhteelliset operaattorit koostuvat tietystä joukosta operaattoreita, jotka auttavat hakemaan merkityksellistä tietoa.

Esimerkiksi: Sano, että EMP-taulukosi näyttää tältä:

Suoritetaan Hive-kysely, joka hakee meille työntekijän, jonka palkka on yli 30000.

pesä> VALITSE * EMP: stä, missä palkka> = 40000;

5. Aritmeettiset operaattorit

Nämä ovat operaattoreita, jotka auttavat suorittamaan aritmeettisia toimintoja operandilla, ja puolestaan ​​palauttavat aina numerotyypit.

Esimerkki: Lisää kaksi numeroa, kuten 22 ja 33

pesä> VALITSE 22 + 33 LISÄÄ temp.;

6. Looginen operaattori

Nämä operaattorit suorittavat loogiset operaatiot, jotka vastineeksi palauttavat aina True / False.

pesä> VALITSE * EMP: stä missä palkka> 40000 && osasto = TP;

Advanced pesän komennot

1. näkymä

Näkymäkäsite Hivessä on samanlainen kuin SQL: ssä. Näkymä voidaan luoda SELECT-käskyn suorittamishetkellä.

Esimerkki:

pesä> Luo näkymä EMP_30000 AS

VALITSE * EMP: stä

Missä palkka> 30000;

2. Tietojen lataaminen taulukkoon

Pesä> Lataa data paikallinen '/home/hduser/Desktop/AllStates.csv' taulukon tiloihin;

Tässä “States” on jo luotu taulukko Hivessä.

https://www.tutorialspoint.com/hive/

Pesässä on joitain sisäänrakennettuja toimintoja, jotka auttavat sinua hakutuloksen parantamisessa.

Kuten pyöreä, lattia, BIGINT jne.

4. Liittyä seuraan

Liittymislauseke voi auttaa kahden taulukon yhdistämisessä saman sarakkeen nimen perusteella.

Esimerkki:

pesä> VALITSE c.ID, c.NAME, c.AGE, o.AMOUNT

ASIAKKAISTA c LIITTYVÄT MÄÄRÄYKSET o

PÄÄLLÄ (c.ID = o.CUSTOMER_ID);

Hive tukee kaikenlaisia ​​liitoksia: Vasen ulompi liitos, oikea ulompi liitos, täydellinen ulompi liitos.

Vinkkejä ja temppuja pesukomentojen käyttämiseen

Hive tekee tietojenkäsittelystä niin helppoa, selkeää ja laajennettavaa, että käyttäjä kiinnittää vähemmän huomiota pesän kyselyjen optimointiin. Mutta kun kiinnität huomiota muutamiin asioihin, kun kirjoitat Hive-kyselyä, tuo varmasti suurta menestystä työmäärän hallinnassa ja rahaa säästäessä. Alla on muutamia vinkkejä siitä:

1. Osiot ja kauhat: Hive on iso datatyökalu, joka voi tehdä kyselyitä suurista tietojoukoista. Kyselyn kirjoittaminen ymmärtämättä verkkotunnusta voi kuitenkin tuoda hienoja osioita Hivessä.

Jos käyttäjä on tietoinen tietojoukosta, osuvia ja paljon käytettyjä sarakkeita voitaisiin ryhmitellä samaan osioon. Tämä auttaa kyselyn suorittamisessa nopeammin ja tehottomammin.

Viime kädessä ei. mapper- ja I / O-toimintojen määrää myös vähenevät.

Kuva 3. Osiointi

Lähdekuvat: Google-kuva

Kuva 4 Kauhaaminen

Lähdekuvat: - Google-kuva

2. Rinnakkaissuoritus: Hive suorittaa kyselyn useissa vaiheissa. Joissain tapauksissa nämä vaiheet voivat riippua muista vaiheista, joten ne eivät voi aloittaa, kun edellinen vaihe on suoritettu. Itsenäisiä tehtäviä voidaan kuitenkin suorittaa samanaikaisesti kokonaiskestoajan säästämiseksi. Samanaikaisen ajon ottaminen käyttöön Hivessä:

aseta hive.exec.parallel = tosi;

Siksi tämä parantaa klusterien käyttöä.

3. Estä näytteenotto: Tietojen näytteenotto taulukosta antaa mahdollisuuden tutkia kyselyitä tiedoista.

Bucking-toiminnasta huolimatta haluamme mieluummin näytteistää aineistoa satunnaisemmin. Estä näytteenotto mukana monilla tehokkailla syntaksilla, mikä auttaa näytteenotossa tietoja eri tavoin.

Näytteenotolla voidaan löytää noin tiedot tietoaineistosta, kuten keskimääräinen etäisyys lähtöpaikan ja määränpään välillä.

Kysely 1% suurista tiedoista antaa täydellisen vastauksen. Tutkiminen on entistä helpompaa ja tehokkaampaa.

Johtopäätös - pesän käskyt

Hive on korkeamman tason abstraktio HDFS: n päällä, joka tarjoaa joustavan kyselykielen. Se auttaa tietojen kyselyssä ja käsittelyssä helpommalla tavalla.

Pesä voidaan yhdistää muiden isojen dataelementtien kanssa, jotta sen toiminnallisuus saadaan täysimääräisesti käyttöön.

Suositellut artikkelit

Tämä on opas tarkkokomennoille. Täällä olemme keskustelleet perus- ja edistyneistä pesän komennoista ja joistain välittömistä pesän komennoista. Voit myös tarkastella seuraavaa artikkelia saadaksesi lisätietoja -

1. Pesän haastattelukysymykset
2. Hive VS Hue - 6 suosituinta vertailua
3. Tableau-komennot
4. Adobe Photoshop -komennot
5. ORDER BY -toiminnon käyttö pesässä
6. Lataa ja asenna pesä askel askeleelta