Johdatus Hadoop fs -komentoihin

Tässä artikkelissa käydään läpi HADOOP: n tiedostojenkäsittelykomennot, joita käytetään tiedostojen hallintaan konsolin kautta.

Tarvitset Linux-järjestelmän ja uusimman Hadoop-version. Jos haluat tulostaa Hadoop-version, tiedämme, kuka julkaisun rakensi, tarkistussumman arvo, joka meidän on vain suoritettava alla oleva komento kirjautumisen jälkeen Hadoop-alustalle.

Komento: Hadoop-versio

Hadoop fs: n komennot

Oletetaan nyt, kuinka HADOOP fs -komentoja käytetään.

Aloitamme perusteista. Kirjoita nämä komennot kohtaan PUTTY tai mihin tahansa konsoliin, josta olet tyytyväinen.

1. hadoop fs -ls

Hakemistolle se palauttaa luettelon tiedostoista ja hakemistoista, kun taas tiedostolle se palauttaa tiedoston tilastot.

hadoop fs -lsr: Tämä on hakemistojen ja tiedostojen rekursiivinen luettelo tietyissä kansioissa.

  • Esimerkki : hadoop fs -ls / tai hadoop fs -lsr
Huomaa : hadoop fs -ls (-d) (-h) (-R)
  • -d: Tätä käytetään hakemistojen luetteloimiseksi tavallisina tiedostoina.
  • -h: Tätä käytetään tiedostojen koon muotoiluun ihmisille luettavalla tavalla kuin pelkkään tavujen määrään.
  • -R: Tätä käytetään luetteloiden rekursiiviseen luettelointiin.
2. hadoop fs -mkdir

Tämä komento ottaa polun argumenttina ja luo hakemistoja hdfs: ään.

  • Esimerkki : hadoop fs -mkdir / käyttäjä / datahub1 / data
Huomaa: Jos yritämme luoda alihakemistoja, emohakemiston on oltava olemassa. Jos tämä ehto ei täyty, 'Ei tällaista tiedostoa tai hakemistoa' tulee näkyviin.
3. hadoop fs -touchz

Se luo tyhjän tiedoston eikä käytä tilaa

  • Esimerkki: hadoop fs -touchz URI
4. hadoop fs-rm

Poista argumentiksi määritetyt tiedostot. Meidän on määritettävä -r-vaihtoehto poistaaksesi koko hakemiston. Ja jos -skipTrash-vaihtoehto on määritetty, se ohittaa roskakorin ja tiedosto poistetaan heti.

  • Esimerkki : hadoop fs -rm -r /user/test1/abc.text
5. hadoopfs -rmdir

Se poistaa tiedostojen ja hakemistojen ja alihakemistojen käyttöoikeudet. Pohjimmiltaan se on Hadoop fs -rm-laajennettu versio.

6. hadoop fs-cp

Se kopioi tiedoston paikasta toiseen

  • Esimerkki : hadoop fs -cp /käyttäjä/data/abc.csv / käyttäjä / datahub
7. hadoop fs -copyFromLocal

Se kopioi tiedoston reunasolmusta HDFS: ään.

8. hadoop fs -putki

Se kopioi tiedoston reunasolmusta HDFS: ään, se on samanlainen kuin edellinen komento, mutta laittaa myös lukeman syötteen vakiosyötteestä stdin ja kirjoittaa HDFS: lle

  • Esimerkki : hadoop fs -put abc.csv / käyttäjä / data
Huomaa :
hadoop fs -put -p: Lippu säilyttää pääsyn, muokkausajan, omistajuuden ja tilan.
hadoop fs -put -f: Tämä komento korvaa kohteen, jos tiedosto on jo olemassa ennen kopiointia.
9. hadoop fs -moveFromLocal

Se on samanlainen kuin kopiointi paikallisesta paitsi, että lähdetiedosto poistetaan paikallisesta reunasolmusta sen jälkeen, kun se on kopioitu HDFS: ään

  • Esimerkki : fs -moveFromLocal abc.text / user / data / acb.
10. hadoop fs -kopioToLocal

Se kopioi tiedoston HDFS: stä reunasolmuun.

  • Esimerkki : fs -copyToLocal abc.text / localpath
11. hadoop fs -chmod

Tämä komento auttaa meitä muuttamaan tiedoston tai hakemiston käyttöoikeuksia

  • Esimerkki : hadoop fs -chmod (-R) (polku)
12. hadoop fs -chown

Tämä komento auttaa meitä muuttamaan tiedoston tai hakemiston omistajuutta

  • Esimerkki : hadoop fs -chown (-R) (OMISTAJA) (:( GROUP)) PATH
13. hadoop fs -cat

Se tulostaa HDFS-tiedoston sisällön päätelaitteella

  • Esimerkki : hadoop fs -cat /käyttäjä/data/abc.csv
14. hadoop fs-häntä

Se näyttää viimeisen KB: n HDFS-tiedostosta stdoutiin

  • Esimerkki : hadoop fs -tail / in / xyzfile
15. hadoop fs -test

Tätä komentoa käytetään HDFS-tiedostotestaustoimintoihin, se antaa 0, jos totta.

  • - e: tarkistaa onko tiedosto olemassa.
  • -z: tarkistaa onko tiedoston pituus nolla
  • -d / -f: tarkistaa onko polku hakemisto / tiedosto

Keskustelemme tässä yksityiskohtaisesti esimerkistä

  • Esimerkki : hadoop fs -test - (defz) /user/test/test1.text
16. hadoop fs -du

Näyttää annetussa hakemistossa olevien tiedostojen ja hakemistojen koko tai tiedoston pituuden, jos kyseessä on tiedosto

17. hadoop fs -df

Se näyttää vapaan tilan

18. hadoop fs -tarkasumma

Palauttaa tiedoston tarkistussummatiedot

19. hadoop fs -getfacl

Se näyttää tietyn tiedoston tai hakemiston pääsynhallintaluettelon (ACL)

20. hadoop fs -luku

Se laskee hakemistojen, tiedostojen ja tavujen määrän polulla, joka vastaa määritettyä tiedostomuotoa.

21. hadoop fs -setrep

Muuttaa tiedoston toistokerrointa. Ja jos polku on hakemisto, komento muuttaa kaikkien hakemistossa olevien tiedostojen replikointikertoimen.

  • Esimerkki : hadoop fs -setrep -R / user / datahub: sitä käytetään taaksepäin -ominaisuuden hyväksymiseen eikä sillä ole vaikutusta.

hadoop fs - setrep -w / user / datahub : odottaa replikoinnin valmistumista

22. hadoop fs -getmerge

Se yhdistää lähteessä olevat HDFS-tiedostot kohdetietoihin

  • Esimerkki : hadoop fs -getmerge / user / datahub
23. hadoop fs -appendToFile

Lisää yhden tai useamman lähteen paikallisesta tiedostojärjestelmästä määränpäähän.

  • Esimerkki : hadoop fs -appendToFile xyz.log data.csv / in / appendfile
24. hadoop fs -stat

Se tulostaa tiedoston tai hakemiston tilastotiedot.

  • Esimerkki : hadoop fs -stat (muoto)

Johtopäätös - Hadoop fs -komennot

Joten olemme käyneet läpi lähes kaikki komennot, jotka ovat tarpeen tiedostojen käsittelyyn ja katsomme tiedostojen sisältämiä tietoja. Voit muokata tiedostojasi ja syödä tietoja nyt Hadoop-alustalle.

Suositellut artikkelit

Tämä on opas Hadoop fs -käskyihin. Tässä keskustellaan yksityiskohtaisesti Hadoop fs -komentojen johdannosta ja esimerkistä. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja-

  1. Asenna Hadoop
  2. Hadoop-työkalut
  3. Hadoop-arkkitehtuuri
  4. Hadoop-komponentit
  5. Hadoop fs -komennot

Luokka:

Suuri data