Mikä on pesän toiminta?
Kuten tänään tiedämme, Hadoop on yksi monenlaisista tekniikoista ison datan alalla. Hadoopilla on kyky selviytyä suuresta aineistosta, mutta koska datan kasvu on suhteellista, kartta-vähentää-ohjelmien kirjoittaminen on vaikeaa. Suorittaakseen SQL-kyselyitä, jotka ovat läsnä HDFS: ssä, Hadoop otti käyttöön yhden tällaisen tekniikan, nimeltään Facebookin aloittama apache Hive. Tietoanalyytikko käyttää hyvin pesää. Niitä käytetään kolmeen toimintoon, nimittäin: Tietojen yhteenveto, hajautettujen tiedostojen tietoanalyysi ja tietojen kysely. Hive tarjoaa SQL: n kaltaisia HQL-kyselyitä - korkea kyselykieli tukee käyttäjän määrittämiä DML-toimintoja. Hive-kääntäjä muuntaa tämän kyselyn sisäisesti karttavähennystyöksi, mikä yksinkertaistaa Hadoopin työtä monimutkaisten ohjelmien kirjoittamisessa. Löysimme pesän sovelluksista, kuten tietojen varastointi, tietojen visualisointi ja ad-hoc-analyysi, google analytiikka. Tärkein etu on, että he hyödyntävät SQL-tietämystä, joka on perustaido, joka on toteutettu tietojen tutkijoiden ja ohjelmistoammattilaisten keskuudessa.
Erilaiset pesän toiminnot yksityiskohtaisesti
Hive tukee erilaisia tietotyyppejä, joita ei löydy muista tietokantajärjestelmistä. se sisältää kartan, matriisin ja rakenteen. Pesässä on joitain sisäänrakennettuja toimintoja useiden matemaattisten ja aritmeettisten toimintojen suorittamiseen erityistarkoituksia varten. Pesän toiminnot voidaan luokitella seuraaviin tyyppeihin. Ne ovat sisäänrakennettuja ja käyttäjän määrittelemiä toimintoja.
A) Sisäänrakennetut toiminnot
Nämä toiminnot poimivat tiedot pesätaulukoista ja käsittelevät laskelmat. Jotkut sisäänrakennetut toiminnot ovat:
1. Matemaattiset / numeeriset toiminnot
Näitä toimintoja käytetään pääasiassa matemaattisissa laskelmissa. Näitä toimintoja käytetään SQL-kyselyissä.
| Toiminnon nimi | esimerkki | Kuvaus |
| ABS (kaksinkertainen x) | Pesä> valitse ABS (-200) tmp; | Se palauttaa luvun absoluuttisen arvon. |
| CEIL (kaksinkertainen x) | Pesä> valitse CEIL (8.5) tmp: stä; | Se hakee pienimmän kokonaisluvun, joka on suurempi tai yhtä suuri kuin arvo x. |
| Rand (), rand (int siemen) | Pesä> valitse Rand () tmp: stä;
Rand (0-9) | Se palauttaa satunnaisluvun, riippuu siemenarvosta, jonka generoidut satunnaislukut olisivat deterministisiä. |
| Pow (kaksinkertainen x, kaksinkertainen y) | Pesä> valitse Pow (5, 2) tmp: stä; | Se palauttaa y-arvoon nostetun x-arvon. |
| Kerros (kaksinkertainen y) | Pesä> valitse lattia (11.8) tmp; | Se palauttaa maksimiarvon, joka on pienempi tai yhtä suuri arvon y antamiseksi. |
| EXP (kaksinkertainen a) | Pesä> valitse Exp (30) tmp; | Se palauttaa eksponenttiarvon 30. luonnollisen algoritmin arvot. |
| PMOD (int a, int b) | Pesä> valitse PMOD (2, 4) tmp: stä; | Se antaa luvun positiivisen moduulin. |
2. Keräystoiminnot
Kaikkien elementtien polkumyynti ja yksittäisten elementtien palauttaminen riippuu mukana olevasta tietotyypistä.
| Toiminnon nimi | esimerkki | Kuvaus |
| Kartta- arvot (Kartta) | Pesä> valitse kartan arvot ('hi', 45) | Se hakee järjestämättömät ryhmäelementit. |
| Koko (kartta) | Pesä> valitse koko (kartta) | Palauttaa tietotyyppikartan elementtien määrän. |
| Array_contains (taulukko b) | Pesä> valitse array_contains (a (10)) | Palauttaa TOSI, jos taulukko sisältää arvon. |
| Sort_array (taulukko a) | Pesä> valitse lajitteluryhmä ((10, 3, 6, 1, 7)) | Lajittelee syötematriisin nousevassa järjestyksessä taulukkoelementtien luonnollisen järjestyksen mukaan ja palauttaa arvon. |
3. Joustoiminnot
Merkkijonofunktioiden avulla data-analyysi suoritetaan erinomaisesti.
| Jaa (merkkijono s, merkkijono) | Pesä> valitse jaettu ('koulutus ~ pesä ~ Hadoop', '~') lähtö: (”Educba”, “pesä”, “Hadoop”) | Se jakaa merkkijonon pat-lausekkeiden ympärille ja palauttaa taulukon. |
| kuorma (merkkijono s, int Len, merkkijono) | Pesä> valitse kuorma ('EDUCBA', 6, 'H') | Se palauttaa jouset oikealla pehmusteella merkkijonon pituudella. (pad-merkki). |
| Pituus (merkkijono) | Pesä> valitse pituus ('educationba') | Tämä toiminto palauttaa merkkijonon pituuden. |
| Rtrim (merkkijono a) | Pesä> valitse rtrim ('Aihe');
Tulos: 'Aihe' | Se palauttaa tuloksen leikkaamalla välilyönnit oikeista päistä. |
| Concat (merkkijono m, merkkijono n) | Pesä> valitse concat ('data', 'ware') Tulos: Dataware | Se johtaa merkkijonoon ketjuttamalla kaksi merkkijonoa. Tämä voi viedä minkä tahansa määrän tuloja. |
| Käänteinen (merkkijono) | Pesä> valitse peruutus ('matkapuhelin') | Palauttaa käänteisen merkkijonon tuloksen. |
4. Päiväystoiminto
Tarvitaan, että pesässä on tietomuoto, jotta ulostulossa ei olisi virheitä. Tarvitaan päivämääräyhteensopivuus, jotta siirryttäisiin pesän käyttöön ottamiin päivämäärätoimintoihin.
| Unix_timestamp (merkkijonon päivämäärä, merkkijono) | Pesä> valitse Unix_ aikaleima ('2019-06-08', 'vvv-kk-pp'); Tulos: 124576 400 aika: 0, 146 sekuntia | Tämä toiminto palauttaa päivämäärän tiettyyn muotoon ja palauttaa sekunnit päivämäärän ja Unix-ajan välillä. |
| Unix_timestamp (merkkijonon päivämäärä) | Pesä> valitse Unix_ aikaleima ('2019-06-08 09:20:10', 'vvv-kk-pp'); | Se palauttaa päivämäärän muodossa 'vvv-kk-pp HH: mm: ss' muodossa Unix-aikaleima. |
| Tuntia (merkkijonon päivämäärä) | Pesä> valitse tunti ('2019-06-08 09:20:10'); tulos: 09 tuntia | Se palauttaa aikaleiman tunnin |
5. Ehdolliset toiminnot
| Jos (Boolen testi, T-arvo tosi, t väärä) | Pesä> valitse IF (1 = 1, 'TRUE', 'FALSE') IF_CONDITION_TEST; | Se tarkistaa ehdolla, onko arvo tosi palauttaa 1 ja vääriä palauttaa 0. |
| Ei ole nolla (b) | Pesä> valinta ei ole nolla (nolla); | Tämä ei nouta lausuntoja. jos nolla palauttaa väärän. |
| Yhdistä (arvo1, arvo2) | Esimerkki: pesä> valitse yhdistäminen (nolla, nolla, 4, nolla, 6). se palauttaa 4. | Se hakee ensin ei nolla-arvoja arvoluettelosta. |
B) Käyttäjän määrittelemä toiminto (UDF)
Hive käyttää käyttäjäkohtaisia toimintoja asiakkaan vaatimusten mukaisesti, jotka se on kirjoitettu Java-ohjelmointiin. Se toteutetaan kahdella rajapinnalla, nimittäin yksinkertaisella API: lla ja monimutkaisella API: lla. Ne kutsutaan pesäkyselystä. Kolme UDF-tyyppiä:
1. Tavallinen UDF
Se toimii yhdellä rivillä olevalla pöydällä. Se luodaan luomalla Java-luokka ja pakaamalla ne sitten .jar-tiedostoon, seuraava askel on tarkistaa pesän luokkatiellä. suorittamalla sitten ne lopulta pesukyselyssä.
2. Käyttäjän määrittelemä aggregaattitoiminto
He käyttävät yhdistelmäfunktioita, kuten keskiarvo / keskiarvo, toteuttamalla viisi menetelmää init (), iterate (), rész (), yhdistä (), terminate ().
3. Käyttäjän määrittelemä taulukon generointitoiminnot
Se toimii yhden rivin kanssa taulukossa ja johtaa useisiin riveihin.
johtopäätös
Yhteenvetona voidaan todeta, että olemme oppineet yksityiskohtaisesti tämän artikkelin avulla toimimaan pesän alustalla, jossa on sisäänrakennetut toiminnot ja käyttäjän määrittämät toiminnot. Useimmissa organisaatioissa on ohjelmoija ja SQL-kehittäjä työskentelemään palvelinpuolen prosessissa, mutta apache-pesä on tehokas työkalu, joka auttaa heitä käyttämään Hadoop-kehystä ilman ennakkotietoa ohjelmista ja karttojen pienentämistä. Hive auttaa uusia käyttäjiä aloittamaan ja tutkimaan tietojen analysointia ilman esteitä.
Suositellut artikkelit
Tämä on opas pesää varten. Tässä keskustellaan käsitteestä, kahdesta erityyppisestä toiminnosta ja alatoiminnoista Hivessä. Voit myös käydä läpi muiden ehdotettujen artikkeleidemme saadaksesi lisätietoja -
- Hive-kielen tärkeimmät toiminnot
- Pesän haastattelukysymykset
- Mikä on RMAN Oracle?
- Mikä on vesiputousmalli?
- Johdanto pesän arkkitehtuuriin
- Pesän tilauksen tekijä