Sqoop-komennot - Peruskomennot vinkkien ja vinkkien avulla

• Johdatus Sqoop-komentoihin

Johdatus Sqoop-komentoihin

Sqoop-komennoissa jokaista riviä käsitellään tietueina ja tehtävät jaetaan alatehtäviin Karttatehtävä sisäisesti. Sqoopin tukemat tietokannat ovat MYSQL, Oracle, IBM, PostgreSQL. Sqoop tarjoaa yksinkertaisen komentorivin, voimme hakea tietoja eri tietokannoista sqoop-komentojen avulla. Ne on kirjoitettu Java-kielellä ja käyttävät JDBC: tä yhteyden muodostamiseen muihin tietokantoihin.

Se tarkoittaa 'SQL to Hadoop' ja Hadoop to SQL ja avoimen lähdekoodin työkalu. Se on sovellusliitäntätyökalu, joka siirtää joukkotietoa relaatiotietokantajärjestelmän ja Hadoopin (Hive, map pienentää, Mahout, Pig, HBase) välillä. Niiden avulla käyttäjät voivat määrittää kohteen sijainnin Hadoopin sisällä ja tehdä sqoop: n siirtämään tietoja RDMS: stä kohteeseen. Ne tarjoavat optimoidut MySQL-liittimet, jotka käyttävät tietokantakohtaista sovellusliittymää suorittamaan joukkoliikkeet kokonaan. Käyttäjä tuo tietoja ulkoisista lähteistä, kuten Hive tai Hbase. Sqoop-tiedostomuodossa on kaksi tiedostomuotoa: rajattu tekstitiedostomuoto ja sekvenssitiedostomuoto.

Tässä ovat Sqoopin komentojen peruskomennot:

1. Listataulukko:

Tämä komento luettelee MYSQL-palvelimen tietokannan tietyn taulukon.

Esimerkki:

2. Kohdehakemisto:

Tämä komento tuo taulukon tiettyyn hakemistoon HDFS: ssä. -m tarkoittaa mapper-argumenttia. Heillä on kokonaislukuarvo.

Esimerkki:

3. Salasanasuojaus:

Esimerkki:

4. sqoop-eval:

Tämä komento suorittaa nopeasti vastaavan tietokannan SQL-kyselyt.

Esimerkki:

5. sqoop - versio:

Tämä komento näyttää sqoopin version.

Esimerkki:

6. sqoop-työpaikka

Tämä komento antaa meille mahdollisuuden luoda työ, luotuihin parametreihin voidaan vedota milloin tahansa. He käyttävät vaihtoehtoja, kuten (–luo, –poista, –näytä, –poistu).

Esimerkki:

7. CSV-tiedoston lataaminen SQL: ään:

Esimerkki:

8. liitin:

Esimerkki:

9. koodi gen:

Tämä Sqoop-komento luo Java-tiedostot, jotka kapseloivat tuodut tietueet. Kaikki Java-tiedostot luodaan uudelleen, ja luokan uudet versiot luodaan. Ne luovat koodin vuorovaikutuksessa tietokantatietueiden kanssa. Hakee luettelon kaikista sarakkeista ja niiden tietotyypeistä.

Esimerkki:

10.List-tietokanta:

Tällä Sqoop-komento-luettelolla on kaikki käytettävissä olevat tietokannat RDBMS-palvelimella.

esimerkiksi:

Sqoop-komentojen välikomennot:

1.sqoop -meta myymälä:

Tämä komento isännöi jaettua metatietovarastoa. Useat / etäkäyttäjät voivat suorittaa useita töitä.

Komento:

$ sqoop .metastore.client.autoconnect.url

esimerkki: jdbc: hsqldb: hsql: // metastore .example.com / sqoop

2. sqoop-apu:

Tämä komento luettelee sqoopissa käytettävissä olevat työkalut ja niiden tarkoituksen.

Komento:

$ sqoop-ohje

$ bin / sqoop auttaa tuontia

3. Vienti:

Tämä komento vie tietoja HDFS: stä RDMS-tietokantaan. HDFS: ssä tiedot tallennetaan tietueina.

Komento:

$ sqoop export \ –kytke jdbc: mysql: // localhost / inventaario - käyttäjänimi jony –table lib –export -dir / user / jony / inventaario.

4. Lisää:

Tämä komento lisää uuden tietueen HDFS: stä RDBMS-taulukkoon.

Komento

$ sqoop -vienti - yhdistä JDBC: MySQL: // localhost / sqoop_export - taulukko emp_exported –export -dir / sqoop / newemp -m -000

5. Päivitys:

Tämä Sqoop-komento päivittää RDBMS-tietueet HDFS-tiedoista.

Komento

$ sqoop -vienti - yhdistä JDBC: MySQL: // localhost / sqoop_export - taulukko emp_exported –export -dir / sqoop / newemp -m -000 - päivittää -näppäimen tunnus

6. Erävaihtoehto:

Tämä komento lisää useita rivejä yhteen, ne optimoivat lisäysnopeuden käyttämällä Sqoop JDBC -ohjainta.

Komento

$ sqoop export \ -connect JDBC: MySQL: // isäntänimi / –käyttäjänimi-salasana -vienti -dir

7. Halkaisu:

Kun tätä komentoa käytetään, missä lauseketta sovelletaan koko SQL: ään.

Komento

$ sqoop -tuonti -D mysql: // jdbc: // missä.lause.sijainti = SPLIT - taulukko JUNK - missä “rownum <= 12”

8. AVRO-tiedosto HDFS: ään:

He tallentavat RDBMS-tiedot Avro-tiedostoksi.

Komento

$ sqoop -tuonti - yhdistä JDBC: MySQL: // localhost / Acadgild - käyttäjänimi root - salasana ss.34 - taulukon maksu -m1 - tavoite -dir / sqoop_data / maksu / avro / == as -avrodatfile.

Sqoop-komentojen edistyneet komennot:

Tuo komennot:

Tuo-komennoilla on tuonnin ohjausargumentit. eri väitteet ovat seuraavat:

• raja: käytetään halkeamien luomiseen.
• as - text file: tuo tekstitiedot
• -sarakkeet (: Tuo taulukon sarakkeet
• -m, - num: tuodaan rinnakkaiset kartoitustyöt
• split-by: Jaa taulukon sarake
• -z, - pakkaa: datan pakkaus on käytössä.

Lisätuonnin perusteet:

• tarkistussarake: Ilmaisee sarakkeet tuotavien rivien määrittämiseksi.
• inkrementaalinen (tila): osoittaa uudet rivit (lisää liite ja viimeksi muuttaa rivejä)

Lähtölinjan perusteet:

• linjat päättyvät -by: He asettavat eol-merkin
• MySQL - erottajat: ne asettavat \ n kentät: rivit:

Tuo pesään

-hive - import: He tuovat taulukoita pesään

-hive - osio-avain: osion nimi on jaettu.

-hive - korvaaminen: Ne korvaavat olemassa olevan taulukon tiedot.

Tuo Hbase-perusteisiin:

-accumulo-table: Tämä määrittää kohdetaulukon HBase-sovelluksessa.

-accumulo-sarake: Tuokseen se asettaa kohdesarakkeen.

-accumulo -: Tuodaan nimensä nimi

–Accumulo -: Tuodaan akumulo salasana

Tallentaminen sekvenssitiedostoihin:

$ sqoop -tuonti - yhdistä jdbc: mysql: //db.foo.com/emp -table inventaario \ - luokan nimi com.foo.com.Kaupan varastossa -as - sequencefile

Kyselyn tuonti:

Tämä komento määrittää Sql-käskyn -query-argumentilla.

$ sqoop import \ –kysely 'SELECT a. *, b. * JOIN b: stä (a.id = b.id), jossa $ ehdot' \ -split - / kohde-dir / käyttäjä

Lisävienti:

$ sqoop export –kytke –taulukko –käyttäjänimi –salasana –lisäosa –tarkastusrivi –viime-arvo

Kaikkien taulukoiden tuominen HDFS: ään:

$ sqoop -tuonti - kaikki - taulukot - yhdistä jdbc: mysql: // localhost / sale_db - käyttäjänimi root.

Tietojen tuominen pesään:

$ sqoop -tuonti - yhdistä - taulukko - käyttäjänimi - salasana - pesä -tuonti - pesän -taulukko

Tietojen tuominen HBaseen:

komento:

$ sqoop -tuonti - yhdistä - taulukko - käyttäjänimi - salasana - pesä - tuo - HBase - taulukko

Kooda nolla-arvot:

komento:

$ mysql import \ –kytke JDBC: MySQL: //mysql.ex.com/sqoop \ - käyttäjänimi sqoop \ -salasana sqoop \ - taulukko lib \ –null-merkkijono '

Vinkkejä ja vinkkejä Sqoop-komentojen käyttöön:

Jos haluamme suorittaa dataoperaatiot tehokkaasti, meidän on käytettävä sqoop-ohjelmaa, vain yhden komentorivin avulla voimme suorittaa siinä monia tehtäviä ja alatehtäviä. Sqoop muodostaa yhteydet erilaisiin relaatiotietokantoihin liittimien kautta. Ne käyttävät JDBC-ohjainta vuorovaikutukseen sen kanssa. Koska sqoop toimii omalla lähteellä, voimme suorittaa sqoopin ilman asennusprosessia. Sqoopin suorittaminen on helppoa, koska se suorittaa tiedot rinnakkain. Karttavähennyksen avulla voimme tuoda ja viedä tietoja, mikä puolestaan ​​tarjoaa samanaikaisen suorituksen.

Johtopäätös - Sqoopin komennot:

Lopuksi voidaan todeta, että Sqoop Commands sääntelee tietojen tuontia ja vientiä. Sqoop tarjoaa mahdollisuuden päivittää taulukon osia lisäyskuormalla. Sqoopin tietojen tuonti ei ole tapahtumapohjaista. Ja mukana tulee sqoop2, jossa on aktivoitu käyttöliittymä helppoa käyttöä varten sekä komentorivi. Tiedonsiirto on nopeaa, koska ne siirtyvät samanaikaisesti. Heillä on tärkeä rooli Hadoop-ympäristössä. He tekevät työnsä yksinään, ei välttämätöntä tuotaessa pieniä tietojoukkoja.

Suositellut artikkelit

Tämä on opas Sqoop-komentoihin. Täällä olemme keskustelleet sekä perus- että edistyneistä Sqoop-komennoista ja joistakin välittömistä Sqoop-komennoista. Voit myös tarkastella seuraavaa artikkelia saadaksesi lisätietoja -

1. Sqoopin haastattelukysymykset ja vastaukset
2. Huijauskortti SQL (komennot, ilmaiset vinkit ja temput)
3. Tärkeitä VBA-komentoja
4. Tableau-komennot