Johdatus HDFS-komentoihin
Big data on sana tietojoukkoille, jotka ovat niin valtavia tai yhdistettyjä, että tavanomainen tietojenkäsittelysovellusohjelmisto ei riitä sopimukseen. Hadoop on avoimen lähdekoodin, Java-pohjainen ohjelmointikehys, joka ketjuuttaa valtavasti tilaa vievien tietojoukkojen käsittely- ja tallennustilaa hajautetussa laskentaympäristössä. Apache-ohjelmistosäätiö on avain Hadoopin asentamiseen
HDFS: n ominaisuudet:
- HDFS toimii isäntä / orja-arkkitehtuurilla
- HDFS käyttää tiedostoja käyttäjän liittyvän tiedon tallentamiseen
- omistaa valtavan joukon hakemistoja ja tiedostoja, jotka tallennetaan hierarkkisessa muodossa.
- Sisältä tiedosto on kopioitu pienempiin lohkoihin ja nämä lohkot on tallennettu joukkoon Datanodes.
- Namenode ja Datanode ovat osa ohjelmistoja, jotka on tarkoitettu käytettäväksi tuotekoneissa, jotka käyttävät klassisesti GNU / Linux-käyttöjärjestelmää.
Namenode:
- Täällä tiedostojärjestelmää ylläpitää nimisolmu
- Namenode vastaa myös kaikkien tiedostojärjestelmän muutosten kirjaamisesta. Lisäksi se ylläpitää kuvaa täydellisestä tiedostojärjestelmän nimitilasta ja tiedostojen estokartasta muistissa
- Tarkastuspiste tehdään määräajoin. siten helppo palata lavalle, ennen kuin törmäyskohta voidaan saavuttaa täällä.
Datanode:
- Datanode toimittaa tiedot tiedostoihin paikallisessa tiedostojärjestelmässään
- Integroidakseen sen olemassaolon, datasolmu lähettää sydämen sykkeen namenoodille
- Jokaisesta vastaanotetusta 10. sydämestä luodaan estoraportti
- Replikointi viittaa näihin datasolmuihin tallennettuihin tietoihin
Datan replikointi:
- Tässä lohkosekvenssi muodostaa tiedoston, jonka oletuslohkon koko on 128 Mt
- Kaikki tiedoston lohkot lopullista lukuun ottamatta ovat samankokoisia.
- Jokaisesta klusterin datasolmusta namenode-elementti vastaanottaa syke
- BlockReport sisältää kaikki Datanoden lohkot.
- omistaa valtavan joukon hakemistoja ja tiedostoja, jotka tallennetaan hierarkkisessa muodossa.
- Sisältä tiedosto on kopioitu pienempiin lohkoihin ja nämä lohkot on tallennettu joukkoon Datanodes.
- Namenode ja Datanode ovat osa ohjelmistoja, jotka on tarkoitettu käytettäväksi tuotekoneissa, jotka käyttävät klassisesti GNU / Linux-käyttöjärjestelmää.
Työnhakuri: JobTracker-keskustelu NameNode: lle tietojen sijainnin selvittämiseksi. Etsi myös hienoimmat TaskTracker-solmut suorittaaksesi tehtävät datapaikkaan perustuen
Tehtävien seuranta: TaskTracker on klusterin solmu, joka hyväksyy tehtävät - Kartta-, Pienennä- ja Shuffle-toiminnot - JobTrackerista.
Toissijainen nimi -solmu (tai) tarkistuspiste-solmu: Getsoi EditLog-nimissolmun säännöllisin väliajoin ja koskee sen FS-kuvaa. Ja kopioi valmis FS-kuvan nimisolmuun sen uudelleenkäynnistyksen aikana. Toissijaisen nimen solmun koko tarkoitus on saada tarkistuspiste HDFS: ssä.
Lanka:
- YARNissa on keskitetty resurssienhallintakomponentti, joka hallinnoi resursseja ja osoittaa resurssit jokaiselle sovellukselle.
- Tässä Resurssienhallinnassa päällikkö päättää klusteriin liittyviä resursseja, resurssienhallinta on koottu kahdesta komponentista, sovellushallinnasta ja aikataulusta, jotka nämä kaksi komponenttia yhdessä hallitsevat klusterijärjestelmien töitä. toisen komponentin kutsutaan Node Manager (NM) -operaattoria, joka vastaa käyttäjien töiden ja työnkulun hallinnasta annetussa solmussa.
- Tietojen tarkka kopio aktiivisessa namenoodissa on Standby NameNode -tilassa. Se toimii orjana, ylläpitää tarpeeksi tilaa toimittaakseen nopeaa virhetoimintoa, jos se on välttämätöntä.
HDFS-peruskomennot:
|
HDFS: n peruskomennot |
||
| Sr.No | HDFS-komento-ominaisuus | HDFS-komento |
| 1 | Tulosta hadoop-versio | $ hadoop-versio |
| 2 | Luetteloi juurikansion sisältö HDFS: ssä | $ hadoop fs -ls |
| 3 | Ilmoita käytetyn ja käytettävissä olevan tilan määrä nykyisessä asennetussa tiedostojärjestelmässä | $ hadoop fs -df hdfs: / |
| 4 | HDFS-tasapainottaja tasapainottaa dataa uudelleen DataNodes-alueella, siirtämällä lohkot ylikäynnistä vajaakäyttöisiin solmuihin. | $ hadoop-tasapainottaja |
| 5 | Ohjekomento | $ hadoop fs -help |
Keskitason HDFS-komennot:
|
Keskitason HDFS-komennot |
||
| Sr.No | HDFS-komento-ominaisuus | HDFS-komento |
| 6 | luo hakemiston määritettyyn HDFS-sijaintiin | $ hadoop fs -mkdir / käyttäjä / cloudera / |
| 7 | Kopioi tiedot paikasta toiseen | $ hadoop fs -tiedot / näyte.txt / käyttäjä / koulutus / hadoop |
| 8 | Katso tietyn hakemiston käyttämä tila HDFS: ssä | $ hadoop fs -du -s -h / käyttäjä / cloudera / |
| 9 | Poista hakemisto Hadoopista | $ hadoop fs -rm -r / käyttäjä / cloudera / pigjobs / |
| 10 | Poistaa kaikki tiedostot annetusta hakemistosta | $ hadoop fs -rm -skipTrash hadoop / vähittäiskauppa / * |
| 11 | Roskakorin tyhjentäminen | $ hadoop fs -expunge |
| 12 | kopioi tiedot paikalliselta ja paikalliselta HDFS: lle | $ hadoop fs -copyFromLocal / koti / cloudera / näyte / / käyttäjä / cloudera / flume /
$ hadoop fs -copyToLocal / käyttäjä / cloudera / pigjobs / * / koti / cloudera / oozie / |
Edistyneet HDFS-komennot:
|
Keskitason HDFS-komennot |
||
| Sr.No | HDFS-komento-ominaisuus | HDFS-komento |
| 13 | vaihda tiedostojen käyttöoikeudet | $ sudo -u hdfs hadoop fs -chmod 777 / käyttäjä / cloudera / flume / |
| 14 | aseta tiedoston replikointikerroin | $ hadoop fs -setrep -w 5 / käyttäjä / cloudera / pigjobs / |
| 15 | Laske hakemistojen, tiedostojen ja tavujen lukumäärä hdfs: n alla | $ hadoop fs-count hdfs: / |
| 16 | saada namenode olemaan turvatilassa | $ sudo -u hdfs hdfs dfsadmin -safemode lähtevät |
| 17 | Hadoop muotoilee namenodin | $ hadoop namenode -muoto |
HDFS-vinkkejä:
1) Voimme saavuttaa nopeamman palautumisen, kun klusterisolmujen lukumäärä on suurempi.
2) Varastoinnin lisääntyminen aikayksikköä kohti pidentää palautumisaikaa.
3) Namenode-laitteiston on oltava erittäin luotettava.
4) Hienostunut seuranta voidaan saavuttaa ambarin avulla.
5) Järjestelmän nälkää voidaan vähentää lisäämällä pelkistimien määrää.
Suositellut artikkelit
Tämä on ollut opas HDFS-komentoihin. Tässä keskustelimme HDFS-komennoista, ominaisuuksista, sen perus-, välitavoite- ja edistyneistä komennoista, joissa on kuvaesitys, vinkkejä ja vinkkejä komennoista. Voit myös käydä läpi muiden ehdotettujen artikkeleidemme saadaksesi lisätietoja -
- Solmun komennot
- Matlab-komennot
- DBMS-järjestelmän edut
- Hadoop-ekosysteemi
- Hadoop fs -komennot