Johdatus Hadoop FS -käskyluetteloon

Hadoop toimii omalla tiedostojärjestelmällä, joka on jaettu luonteeltaan nimellä "Hadoop jaettu tiedostojärjestelmä HDFS " . Hadoop luottaa hajautettuun varastointiin ja rinnakkaiseen käsittelyyn. Tämä tapa tallentaa tiedosto hajautettuihin paikkoihin klusterissa tunnetaan nimellä Hadoop hajautettu tiedostojärjestelmä eli HDFS. Useiden toimintojen suorittamiseksi tiedostotasolla HDFS tarjoaa omat komentojoukot, jotka tunnetaan nimellä Hadoop File System Commands. Katsotaanpa näitä komentoja. Tässä aiheesta aiomme oppia Hadoop FS -komennosta.

Hadoop FS: n komennot

Millä tahansa HDFS-komennolla on etuliite “hdfs dfs”. Se tarkoittaa, että määrittelemme, että oletustiedostojärjestelmä on HDFS. Tutkitaan komentoja yksi kerrallaan

1. Versiot

Versio-komentoa käytetään järjestelmään asennetun Hadoopin version löytämiseen.

Syntaksi: Hadoop version

2. Onko komento

Hadoopin ls-komentoa käytetään määrittelemään luettelo hakemistoista mainitussa polussa. ls-komento ottaa hdfs-polun parametrina ja palauttaa luettelon polulla olevista hakemistoista.

Syntaksi: hdfs dfs -ls

Esimerkki: hdfs dfs -ls / user / harsha

Voimme käyttää -lsr: ää myös rekursiivisessa tilassa

Syntaksi: hdfs dfs –lsr

3. Kissan komento

Cat-komentoa käytetään tiedoston sisällön näyttämiseen konsoliin. Tämä komento ottaa hdfs-tiedostopolun argumenttina ja näyttää tiedoston sisällön.

Syntaksi: hdfs dfs -cat

Esimerkki: hdfs dfs -cat /käyttäjä/harsha/empnew.txt

4. mkdir-komento

mkdir-komentoa käytetään uuden hakemiston luomiseen hdfs-tiedostojärjestelmään. Se ottaa argumenttina hdfs-polun ja luo uuden hakemiston määritetylle polulle.

Syntaksi: hdfs dfs -mkdir

Esimerkki: hdfs dfs -mkdir / käyttäjä / esimerkki

Yllä olevassa kuvakaappauksessa on selvästi osoitettu, että luomme uuden hakemiston nimeltä “esimerkki” mkdir-komennolla ja sama on esitetty käyttämällä ls-komentoa.

Voit myös antaa mkdir-komennolle '-p' -vaihtoehdon. Se luo vanhemmat hakemistot polulle, jos ne puuttuvat.

Esimerkki: hdfs dfs -mkdir -p / käyttäjä / testi / esimerkki2

Yllä olevassa kuvakaappauksessa on selvää, että meillä on -p-vaihtoehto ja polussa / käyttäjä / testi / esimerkki2 luodaan sekä testit että esimerkki2-hakemistot.

5. laita komento

laita komento HDFS: ään kopioidaan tiedostoja annetusta lähdepaikasta kohde-hdfs-polkuun. Tässä lähteen sijainti voi olla paikallinen tiedostojärjestelmäpolku. put-komento vie kaksi argumenttia, ensimmäinen on lähdehakemistotie ja toinen on kohdennettu HDFS-polku

Syntaksi: hdfs dfs -put

Esimerkki: hdfs dfs -put /home/harsha/empnew.txt / user / test / esimerkki2

Yllä olevassa kuvakaappauksessa näemme selvästi, että tiedosto kopioidaan lähteestä kohteeseen.

6. copyFromLocal-komento

copyFromLocal-komentoa HDFS: ssä käytetään tiedostojen kopiointiin lähdepolulta kohdepolulle. Tämän komennon lähde on rajoitettu paikalliselle tiedostojärjestelmälle

Syntaksi: hdfs dfs -copyFromLocal /home/harsha/empnew.txt/user/harsha/example

Ero put-komennon ja copyFromLocal-komennon välillä: Näiden kahden hdfs-kuorikomennon välillä ei ole paljon eroa. Niitä molempia käytetään kopioimaan paikallisesta tiedostojärjestelmästä kohdistamaan HDFS-tiedostopolku.

Mutta put-komento on hyödyllisempi ja vankempi, koska se sallii useiden tiedostojen tai hakemistojen kopioimisen määränpäähän HDFS: ssä

hdfs dfs -put

7. saada komento

get-komentoa hdfs: ssä käytetään kopioimaan tietty hdfs-tiedosto tai hakemisto kohdekohtaiseen tiedostojärjestelmäpolkuun. Se vie kaksi argumenttia, yksi on lähde-hdfs-polku ja toinen on kohdekohtaisen tiedostojärjestelmän polku

Syntaksi: hdfs dfs -get

Esimerkki: hdfs dfs -get / käyttäjä / testi / esimerkki2 / koti / harsha

8. copyToLocal-komento

hdfs-tiedoston copyToLocal-komentoa käytetään hdfs-tiedoston tai -hakemiston kopioimiseen paikalliseen tiedostojärjestelmään. Tässä komennossa kohde on kiinteä paikalliselle tiedostojärjestelmälle. Tämä copyFromLocal-komento on samanlainen kuin get-komento.

Syntaksi: hdfs dfs -copyToLocal

Esimerkki: hdfs dfs -copyToLocal / käyttäjä / harsha / esimerkki / koti / harsha

9. laskea komento

count-komentoa hdfs: ssä käytetään luomaan hakemistojen lukumäärä annetulla polulla. count-komento ottaa tietyn polun argumenttina ja antaa polulla olevien hakemistojen määrän.

Syntaksi: hdfs dfs -count

Esimerkki: hdfs dfs -count / user

10. mv-komento

hdfs: n mv-komentoa käytetään tiedoston siirtämiseen hdfs: n välillä. mv-komento vie tiedoston tai hakemiston annetusta lähde-hdfs-polusta ja siirtää sen kohde-hdfs-polkuun.

Syntaksi : hdfs dfs -mv

Esimerkki : hdfs dfs-mv / käyttäjä / testi / esimerkki2 / käyttäjä / harsha

Yllä olevassa kuvakaappauksessa näemme, että esimerkki2-hakemisto on nyt läsnä hakemistossa / user / harsha

11. setrep-komento

hdfs: n setrep-komentoa käytetään tietyn tiedoston toistokertoimen muuttamiseen. Oletuksena hdfs: n kopiointikerroin on 3. Jos annettu polku on hakemisto, tämä komento muuttaa kaikkien kyseisessä hakemistossa olevien tiedostojen replikointikertoimen.

Syntaksi: hdfs dfs -setrep (-R) (-w)

-w: Tämä lippu määrittelee, että komennon tulisi odottaa replikoinnin valmistumista.

rep: replikaatiotekijä

Esimerkki: hdfs dfs -setrep -w 5 /käyttäjä/harsha/empnew.txt

12. du komento

hdfs: n du-komento näyttää levyn käytön annetulle hdfs-polulle. Se vie hdfs-polun tulona ja palauttaa levyn käytön tavuina.

Syntaksi : hdfs dfs -du

Esimerkki: hdfs dfs -du /user/harsha/empnew.txt

13. rm-komento

hdfs: n rm-komentoa käytetään tiedostojen tai hakemistojen poistamiseen annetusta hdfs-polusta. Tämä komento ottaa hdfs-polun syötteenä ja poistaa polulla olevat tiedostot.

Syntaksi : hdfs dfs -rm

Esimerkki : hdfs dfs -rm / käyttäjä / harsha / esimerkki

Johtopäätös - Hadoop FS-komento

Olemme nyt oppineet tuntemaan erilaisia ​​hdfs-komentoja, niiden vastaavat syntaksit ja esimerkit. Meidän on huomattava hdfs-komentojen potkut aloitus, tarvitsemme suorittaa bin / hdfs-komentosarjan. hdfs: tä seuraa dfs-niminen vaihtoehto, joka osoittaa, että työskentelemme Hadoopin hajautetun tiedostojärjestelmän kanssa. Edellä mainittujen komentojen avulla voimme neuvotella HDFS-tiedostojärjestelmän kanssa.

Suositellut artikkelit

Tämä on opas Hadoop FS-komentoon. Tässä keskustellaan yleisimmin käytetyistä HDFS-komennoista. Voit myös tarkastella seuraavaa artikkelia saadaksesi lisätietoja -

  1. Hadoop-arkkitehtuuri
  2. HADOOP-kehys
  3. Asenna Hadoop
  4. Hadoop-työkalut
  5. Tableau -versiot
  6. Opas Unix-kuorikomentojen luetteloon

Luokka:

Suuri data