Ero pesän ja miehen välillä
Big Data yksinkertaisesti sanottuna on yhdistelmä jäsenneltyä ja jäsentämätöntä yritystietoa. Big Data käsittelee liiketoiminnan päivittäistä transaktiotietoa, joka on luonteeltaan erittäin monimutkainen. Big Data on nimitetty yhdeksi hienoimmista tekoälyn työkaluista ympäri maailmanmarkkinoita sen perustamisesta lähtien. Big Data -yrityksellä oli kuitenkin omat rajoituksensa tietojen säilyttämisessä, koosta, analysoinnissa, etsimisessä, jakamisessa ja esittämisessä liiketoiminnan käyttäjille.
Loppukäyttäjät käynnistivät perinteisen yrityslähestymistavan, joka koostuu palvelimesta, tietokannasta ja käyttäjästä. Mutta tietokantapalvelimella oli pullonkaula suurten tietomäärien käsittelyyn yhdellä prosessorilla. Tämän rajoituksen poistamiseksi Google on ottanut käyttöön Map Reduce Algorithm: n, joka voi käsitellä tietoja hajautettujen järjestelmien joukossa. Tämä algoritmi ja Big Data muutettiin myöhemmin avoimen lähdekoodin Java-kehykseksi nimeltä Hadoop Doug Cuttingin ja hänen tiiminsä avulla. Useat toimittajat jakelevat Hadoop-ohjelmistoja ympäri maailmaa heidän liiketoimintotarpeistaan riippuen. Tämän artikkelin tarkoituksena on valaista vähän Big Data -tekniikoita, nimittäin Hive ja Hue.
Suurin osa Hadoop-ekosysteemin toiminnoista suoritetaan komentoriviliittymän kautta, mutta Hadoopin ensimmäisten julkaisujen aikana ei ollut suunniteltu käyttöliittymää. Hue on web-käyttöliittymä, joka suorittaa joitain yleisiä toimintoja Hadoop-ekosysteemin tai Hadoop-pohjaisten kehysten kanssa. Hue käynnisti ja kehitti Cloudera-niminen avoimen lähdekoodin Hadoop-kehys.
Facebookin kautta aloitti pesän kehittäminen alkuvaiheessa, ja myöhemmin Apache Software Foundation vastasi sen siirtämisestä. Tämä Apahen projekti Hivessä on upottanut sen Hadoop-ekosysteemiin. Hive on suunniteltu toimimaan vuorovaikutuksessa HDFS: ään (Hadoop Distribution File System) tallennettujen tietojen kanssa. Hive on samanlainen kuin SQL, kuten kyselykieli. Hive-järjestelmää käytetään periaatteessa tietojen hakuun ja hakemiseen HDFS: stä. Tällainen Hiveä käyttävä kyselykieli tunnetaan nimellä HiveQL tai HQL.
Head to Head -vertailu pesän ja sävyn välillä (infografia)
Alla on kuuden parhaan vertailun välillä Hive vs HUE
Tärkeimmät erot pesän ja sävyn välillä
- Hue on verkkokäyttöliittymä, joka tarjoaa useita palveluita Cloudera-pohjaisen Hadoop-kehyksen kautta. Joitakin tärkeimmistä ominaisuuksista ovat HDFS-tiedostoselain, Pig-editori, Hive-editori, Job-selain, Hadoop-kuori, käyttäjän järjestelmänvalvojan oikeudet, Impala-editori, Ozzie-verkkokäyttöliittymä ja Hadoop API Access. Mutta Hive on analyyttinen SQL-kyselykieli, joka voi tehdä kyselyitä tai käsitellä tietokantaan tallennettuja tietoja. Joitakin Hiven tärkeimpiä piirteitä ovat Map-Reduce -algoritmi, OLAP (online analytical processing), skeemien luominen tietokantoihin, DML- ja DDL-toimintojen, kuten CREATE, ALTER, INSERT, SELECT, UPDATE, DELETE, DROP -käskyjen suorittaminen HDFS: ssä.
- Hue tarjoaa web-käyttöliittymän sekä tiedostopolun selataksesi HDFS: ää. Tämä web-käyttöliittymäasettelu auttaa käyttäjiä selaamaan tiedostoja, samoin kuin tavallisen Windows-käyttäjän, joka etsii tiedostoja koneeltään. Tämä Hue-lisäominaisuus auttaa käyttäjiä myös manuaalisesti lähettämään tai siirtämään tiedostoja eri hakemistoihin Web-käyttöliittymän kautta. HDFS: ään tallennettuihin tiedostoihin pääsee Hue-tiedoston selaimen avulla. Sävy voi olla kätevä työkalu käyttäjille, jotka eivät halua UNIX-komentorivikäyttöä. Mutta Hiveä käytetään skeemien, tietokantojen luomiseen tietokantaa varten. Dive- ja DDL-lauseet pesässä (CREATE, ALTER, INSERT, SELECT, UPDATE, DELETE, DROP) auttavat käyttäjiä analysoimaan HDFS: ään tallennetut tiedot liiketoimintavaatimusten mukaisesti. Hive voi käsitellä ja ladata tietoja tekstitiedostoista manuaalisesti taulukoihin. Mutta se ei voi siirtää tiedostoja eri hakemistoihin.
- Hue tarjoaa käyttöliittymän jäljittääksesi kartan työn tilan vähentääksesi työpaikkoja. Näitä töitä voidaan selata web-käyttöliittymän työselaimen kautta. Työn tila värisävyssä esitetään värikoodauksen muodossa (punainen, vihreä, keltainen ja musta). Vihreät - onnistuneet työpaikat, keltainen - parhaillaan käynnissä olevat työt, punainen - epäonnistuneet työt ja mustat - käyttäjän manuaalisesti hylkäämät työt. Mutta Hive puolestaan käyttää Map-Reduce-algoritmia HDFS: ään tallennetun datan käsittelemiseen. Pesää voidaan käyttää joko komentorivikäyttöliittymän avulla tai web-editoijilla, kuten Hue. Pesää käytetään yleensä monimutkaisten, jäsentämättömien tietojen analysointiin. Tämän tyyppiset Hivellä suoritetut analyyttiset operaatiot on ajoitettu Karttavähennä töitä Hadoopin ekosysteemissä.
- Hue tarjoaa web-käyttöliittymän ohjelmointikieleille, kuten Hive, joka voi olla kätevä työkalu käyttäjille syntaksivirheiden välttämiseksi kyselyitä suoritettaessa. Sävy palauttaa myös tulosjoukon ja lokit onnistuneen kyselyn suorituksen jälkeen. Hue tarjoaa käyttäjille myös mahdollisuuden analysoida tietoja kaavioiden (piirakka- ja pylväskaavioiden) muodossa. Pouseditoriin pääsee kyselyeditoijien Hue-vaihtoehdon kautta. Mutta Hive ilman sävyä ei pääse Web-editoriin. Visuaalioita ei voi luoda Hive-sovelluksella. Hive näyttää vain komentokehotustasolla asetetun tuloksen.
- Sävyn avulla käyttäjät voivat luoda ja määrittää tiedostojen käyttöoikeuksia HDFS: llä. Tiedoston käyttöoikeuksiin ja käyttäjärooleihin pääsee selaimessa luetellun suojausvaihtoehdon avulla. Hue antaa käyttäjille jäljittää Ozzien työnkulut prosessoidaksesi työselaimessa suunnitellut työt. Hue antaa käyttäjille myös selata ja käyttää taulukoita ja tietokantoja metastore manager ja tietokantaeditorien kautta. Mutta Hive on varmistanut Kerberos 2.0 -todennuksen yhdessä Hadoop Clusterin kanssa. Ozzien avulla ajoitettuja työnkulkuja ei voida seurata Hivellä. Kaikkia kaavioiden ja tietokantojen muodossa tallennettuja tietoja voidaan tarkastella myös HiveQL: n tai Hive: n avulla.
Hive vs Hue -vertailutaulukko
Seuraava on vertailutaulukko pesän ja sävyn välillä
| Vertailun perusteet |
PESÄ |
VÄRISÄVY |
| Keksijä / keksintö | Aphe aloitti Apache Software Foundation. | Sävy käynnisti Cloudera. |
| Soveltamisala / merkitys | Hive tai HiveQL on analyyttinen kyselykieli, jota käytetään tietojen käsittelemiseen ja hakemiseen tietovarastoista. | Hue on web-käyttöliittymä, joka helpottaa käyttäjien vuorovaikutusta Hadoop-ekosysteemin kanssa. |
| Asennus / kokoonpano | Pesä voidaan asentaa tai konfiguroida Hadoop-ekosysteemin komentoriviliittymällä. | Sävy voidaan asentaa tai määrittää vain verkkoselaimen avulla. |
| toiminnallisuus | Hive käyttää karttaa pienentävää algoritmia prosessoimaan ja analysoimaan tietoja. | Hue tarjoaa web-käyttöliittymäeditorille pääsyn pesään ja muihin ohjelmointikieliin. |
| Toteutus | Pesä toteutetaan ja siihen pääsee komentoriviliittymän tai web-käyttöliittymän avulla. | Sävy on otettu käyttöön selaimessa, jotta se voi käyttää useita Clouderaan asennettuja ohjelmia. |
| riippuvuus | Pesä voidaan upottaa useisiin Hadoop-kehyksiin. | Hue on saatavana vain Cloudera Based Hadoop Framework -sovelluksessa. |
Johtopäätös - pesää vs. sävy
Yhteenvetona voidaan todeta, että olemme kattaneet johdannon, tärkeimmät erot ja muutaman vertailun suurista tietotekniikoista Hive & Hue. Olemme myös nähneet joitain samankaltaisuuksia Hivessä, joita esiintyy myös SQL-kyselykielellä. Hue on yhden luukun web-käyttöliittymäsovellus, jolla on kaikki palvelut Hadoopin isojen tietojen ekosysteemissä. Hive ja Hue voidaan käyttää ja konfiguroida Hadoop-pohjaisissa kehyksissä loppukäyttäjän vaatimuksista riippuen. Verkon kautta on saatavana paljon tietoa yhdessä esiasetettujen Hadoop-virtuaalikoneiden kanssa, jotta saataisiin lyhyt käsitys Hive & Hue -sovelluksen toteutuksesta. Sekä Hivellä että Huellä on avainasemassa nykypäivän Big Data -analyysissä.
Suositeltava artikkeli
Tämä on opas kohtiin Hive vs Hue, niiden merkitys, Head to Head -vertailu, keskeiset erot, vertailutaulukko ja johtopäätös. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- Apache Pig vs Apache Hive - 12 suosituinta eroa
- Hadoop vs. pesää - selvitä parhaat erot
- Apache Hive: n 12 parasta vertailua Apache HBase -sovellukseen (Infographics)