Ura Hadoopissa - Johdanto

Hadoop ei ole pelkkä kehys Big Data -maailmassa. Sillä on laaja ekosysteemi ja siihen liittyvien tekniikoiden sateenvarjo. Samasta syystä ura Hadoopissa on lupaava. Jos sinulla on hyvä käsitys Hadoopin perusteista, se on perusta uralle Hadoopissa.

Urakoulutus Hadoopissa

Kuten monet uudet tietotekniikat, Hadoop ei vaadi sellaista erityistä koulutustausta. Noin puolet Hadoop-kehittäjistä on muun kuin tietotekniikan taustoja, kuten tilastotiede tai fysiikka. Joten on selvää, että tausta ei ole este Hadoopin maailmaan pääsylle, jos olet valmis oppimaan perusteet. On olemassa hyviä verkkokursseja, jotka kattavat Hadoopin - eduCBA: n kurssi on paras esimerkki - master-apache-Hadoop

Lisäksi, jos haluat siirtyä syvemmälle tiettyyn Hadoop-klusterinhallinnan alueeseen tai tieto mallinnukseen Hive-materiaaleissa jokaisesta tietystä aiheesta, joka on saatavana verkkokursseina ja oppikirjoina. Suurimman osan ajasta Hadoop-klusterit asetetaan pilvimyyjään, kuten AWS tai Azure. Joten tutustu mihin tahansa valitsemasi pilvimyyjään auttaa paljon. AWS: n Hadoop-palvelu on nimeltään EMR.

Suosittu erikoistuminen sisältää:

  • Spark - Skaalattava muistin tietojenkäsittelykone
  • HBase - Ei SQL-tietokantaa HDFS: n päällä
  • Beam - ensimmäisen lähestymistavan tietojen käsittelyn suoratoisto
  • Sika - tietojen muuntamisen (ETL) komentosarjat
  • Hive - Tietovarastointi
  • Mahout, Spark MLlib - Skaalattava koneoppiminen Hadoopilla
  • Apache Drill - SQL-moottori Hadoopilla
  • Flume, Sqoop - tiedonkeruupalvelut
  • Solr & Lucene - etsiminen ja indeksointi

Urapolku Hadoopissa

Stack Overflow Survey 2017 -tulosten mukaan Hadoop on johtava suosituimmassa ja rakastetuimmassa kehyksessä Big Data -tilassa (Survey Link). Tämä on mahdollista vain siksi, että erilaisista IT-näkökulmista tulevat ihmiset havaitsivat Hadoopille potentiaalisen urapolun ja haluavat vaihtaa.

Mikä tahansa on nykyinen IT-roolisi, Hadoop-maailmassa on helppo mukauttaa uraa. Muutamia suosittuja esimerkkejä -

  • Ohjelmistokehittäjä (ohjelmoija) -> Hadoop Data -kehittäjä, joka käsittelee erilaisia ​​Hadoop-abstrakti SDD: itä ja saa arvon tiedoista.
  • Tietoanalyytikko -> Joten olet taitava SQL: stä. Hadoopin suuri mahdollisuus työskennellä SQL-moottoreilla, kuten Hive tai Impala
  • Liiketoimintaanalyytikko -> Organisaatiot, jotka yrittävät tulla kannattavammiksi käyttämällä massiivisesti kerättyä tietoa, ja liiketoimintaanalyytikon rooli on tässä ratkaisevan tärkeä.
  • ETL-kehittäjä -> Jos työskentelet perinteisenä ETL-kehittäjänä, voit siirtyä helposti Hadoop ETL -sovellukseen käyttämällä työkaluja, kuten Spark.
  • Testaajat -> Hadoop-maailmassa testaajille on valtava kysyntä. Ymmärtämällä Hadoopin perusteet ja tietojen profiloinnin, kaikki testaajat voivat siirtyä tähän rooliin.
  • BI / DW -ammatit -> voi helposti siirtyä Hadoop Data -arkkitehtuuriin Data-mallinnukseen.
  • Vanhemmat IT-ammattilaiset -> Kun ymmärretään syvästi verkkotunnus ja tietomaailman nykyiset haasteet, vanhempi ammattilainen voi tulla konsulttiksi hankkimalla tietoa siitä, kuinka Hadoop yrittää ratkaista nämä haasteet.
  • On olemassa yleisiä rooleja, kuten Data Engineers tai Big Data Engineering, jotka vastaavat ratkaisun toteuttamisesta pääasiassa Cloud-toimittajien päällä. Hankkimalla tietoa pilvipalvelun tietokomponenteista, se on lupaava rooli.

Työpaikat

Hadoop-ekosysteemi tarjoaa monipuolisen urapolun

  • MapReduce Developer - Tämä pohjimmiltaan Java-kehittäjärooli, joka ymmärtää myös kuinka Hadoop-järjestelmät toimivat sisäisesti. On olemassa abstraktiota, kuten Hive tai Pig, edelleen käytettävissä MapReduce-työt ovat välttämättömiä korkean suorituskyvyn järjestelmille. MapReduce-kehittäjät ymmärtävät järjestelmän sisään ja ulos ja maksavat todella korkeat.
  • Hadoop-järjestelmänvalvojat - Nämä ovat henkilöitä, jotka vastaavat Hadoop-klusterin terveellisyydestä ja suorituskyvystä. Tämä voi sisältää tyypillisiä järjestelmänvalvojan tehtäviä, kuten säännölliset järjestelmän terveystarkastukset, mutta suurin osa Hadoop-järjestelmän arkkitehtuurin ymmärtämiseen tarvittavista tehtävistä.
  • Devops - Ota käyttöön uusia järjestelmäkomponentteja ja muita kehitykseen liittyviä muutoksia Hadoop-klusteriin. Tämän roolin vastuu vaihtelee paljon ja riippuu organisaation kulttuurista.
  • Data Developer - tietojenkäsittely Hadoopin päällä. Tämä on yksi Hadoop-ekosysteemin suosituimmista rooleista. SQL- tai analytiikkataustaiset ihmiset soveltuvat parhaiten näihin rooleihin. Enimmäkseen työskentelevät Hadoopin, kuten Hive tai Pig, korkean tason abstraktioissa.
  • Tietoturvan järjestelmänvalvoja - Tiedot ovat arvokkaimpia hyödykkeitä ja niiden turvaaminen on tärkeintä. Tietoturvan ylläpitäjät varmistavat alan standardipolitiikan ja parhaat käytännöt tietojen suojaamiseksi järjestelmän ymmärtämisen rajoituksella
  • Tietojen visualisointi - Käsittele seuraavan sukupolven visualisointityökaluja, jotka mahdollistavat dynaamisen datan viipaloinnin ja yhdistämisen muistin sisäisellä välimuistilla
  • ETL Developer - Muunna tiedot tiedon laadun parantamiseksi tai liiketoimintalogiikan mukaisesti Hadoop-ekosysteemityökaluilla. ETL-prosessi voi olla suoratoisto tai erä.
  • Järjestelmäarkkitehti - Suunnittele tehokkaat järjestelmät ottaen huomioon tiedon saatavuus ja kestävyys kustannustehokkaalla tavalla. Riippuu suuresti laitteiston tarjoajasta.
  • Tietoarkkitehti - Perinteisen tietojen loogisen / fyysisen suunnittelun lisäksi data-arkkitehdin vastuulla on monia asioita, kuten sarakkeiden koodaus, denormalisointi, osiosuunnittelu jne.

    Suositellut kurssit

    • Online XML- ja Java-koulutus
    • Solmu.JS-kurssit
    • Silverlight-koulutuskurssi
    • Ember.JS -ohjelma

palkkaus

Ohjelmistokehittäjän keskimääräinen palkka Yhdysvalloissa on 90 956 dollaria vuodessa, kun taas Hadoop-kehittäjän keskipalkka on paljon korkeampi - 118 234 dollaria vuodessa (Kuten kohden Tõs.com - todella.com)

Hadoop-kehittäjän palkat Yhdysvaltain parhaimmissa yrityksissä (viite: todella.com)

Omena147 573 dollaria vuodessa
Wipro110 553 dollaria vuodessa
HERO.jobs158 715 dollaria vuodessa
MBCAA133 422 dollaria vuodessa
Ventures Unlimited Inc130 000 dollaria vuodessa
Nityo Infotech Services Pvt. Oy128 633 dollaria vuodessa
POHJANTÄHTI126 370 dollaria vuodessa
PRI-tekniikka121 396 dollaria vuodessa
NITYO INFOTECH116 909 dollaria vuodessa
HortonWorks, Inc.110 710 dollaria vuodessa

Uranäkymät

Hadoop-ekosysteemit eroavat paljon vastaamaan muutoksiin liiketoiminnan tarpeissa. Koska tuotettu tieto kasvaa eksponentiaalisesti ja yhä useammat organisaatiot muuttuvat tietovetoisiksi, Hadoop-järjestelmän merkitys kasvaa vain.

Joitakin merkittäviä suuntauksia:

  • Siirtymä eräkäsittelystä ensimmäisen tiedonkäsittelyn lähestymistapaan Spark and Beam -sovelluksella
  • Lisää reaaliaikaista Machine Learning -mallia, jota sovelletaan reaaliaikaiseen tietoon Spark ML: n avulla
  • Irrotetut SQL-moottorit tietojen tallennuksesta, kuten Presto S3: n päällä, ad-hoc-analyysiin datajärven päälle.
  • Sarakkeelliset MPP-tietokannat, kuten AWS Redshift, nopeaan tiedonsiirtoon

Koska Hadoop on hyvin toteuttanut suurtietojen käsittelyn perustana vikasietoiset hajautetut ja horisontaalisesti skaalautuvat järjestelmät, Hadoop jatkaa johtavana tietojenkäsittelyn ekosysteeminä.

Suositeltava artikkeli

Tämä on opas uralta Hadoopissa. Tässä olemme keskustelleet johdannosta, koulutuksesta, urapolusta Hadoopissa, palkasta ja uranäkymistä Hadoopissa. voit myös tarkastella seuraavaa artikkelia saadaksesi lisätietoja -

  1. Azure Paas vs Iaas ja niiden hyödylliset edut
  2. Selvitä Java-ja Node JS -sovellusten väliset erot
  3. Paras asiantuntijaneuvoja uraan Mainframessa
  4. Ura SQL: ssä
  5. Hyödyllinen ura ohjelmistosuunnittelijana
  6. Hadoop-järjestelmänvalvoja | Taidot ja urapolku

Luokka:

Suuri data