Johdanto Data Engineer -haastatteluun Kysymyksiä ja vastauksia
Datatekniikka on termi, jonka kaikki tietävät siitä, ja se on melko suosittu Big Data -alalla. Tietojen suunnittelulla tarkoitetaan tietoinfrastruktuuria tai tietoarkkitehtuuria. Eri lähteistä, kuten sosiaalisesta mediasta, matkapuhelimista, www (Internet), tuotettu raakadata on muutettava, puhdistettava, profiloitava ja koottava liiketoiminnan tarpeita varten. Tätä raakadataa kutsutaan myös nimellä Dark Data. Tietoprosessijärjestelmän suunnittelu, arkkitehtuuri ja toteutuskäytäntö auttaa muuntamaan dataa tarkoituksenmukaiseksi informaatioksi tai tietojoukkoksi, sellaista tietoa tai tietojoukkoa kutsutaan datatekniikaksi.
Alla on luettelo suosituimmista 2019 Data Engineer -haastattelua koskevista kysymyksistä ja vastauksista:
Jos etsit Data Engineeriin liittyvää työtä, sinun on varauduttava 2019 Data Engineer -haastattelukysymyksiin. Vaikka jokainen Data Engineer -haastattelua koskeva kysymys on erilainen ja työn laajuus on myös erilainen, voimme auttaa sinua parhaiden Data Engineer -haastattelukysymysten kanssa vastauksilla, jotka auttavat sinua toteuttamaan harppauksen ja saavuttamaan menestyksen Data Engineer -haastattelussa.
1. Mikä on tietotekniikka?
Vastaus:
Tietojen suunnittelu on termi, joka on melko suosittu isojen tietojen alalla ja viittaa pääasiassa tietoinfrastruktuuriin tai tietoarkkitehtuuriin.
Monien lähteiden, kuten sosiaalisen median, matkapuhelimien, www (Internet), tuottamat tiedot ovat raakatietoja. Se on muutettava, puhdistettava, profiloitava ja koottava liiketoiminnan tarpeita varten. Voimme kutsua tätä raakatietoa tummaksi dataksi, jota valaistaan tehdäksemme tästä pimeästä tiedosta hyödyllisen. Tietojenkäsittelymenetelmäksi kutsutaan tietoprosessijärjestelmän suunnittelua, arkkitehtuuria ja toteuttamista, joka auttaa muuttamaan datan hyödylliseksi tiedoksi.
2. Selitä tietotekniikan päivittäinen työ?
Vastaus:
Tietoinsinöörin päivittäinen työ koostuu:
a. tietohallinnon käsittely organisaatiossa
b. tietojen lähdejärjestelmien ja vaihealueiden käsittely ja ylläpito
C. tekemällä ETL- tai ELT- ja datamuunnoksia
d. tietojen puhdistamisen yksinkertaistaminen ja tietojen kopioinnin ja rakentamisen parantaminen
e. tekemällä ad-hoc-kyselyn rakentamista ja poimimista
Katso alla oleva visualisointi, joka kertoo asioista, joissa tietotekniikan insinööri työskentelee: - 
3. Onko sinulla kokemusta datan mallinnuksesta?
Vastaus:
Voidaan sanoa, että hän on työskennellyt rahoitus- / sairausvakuutusasiakkaan projektissa, jossa he ovat käyttäneet ETL-työkaluja, kuten Informatica / Talend / Pentaho jne., Muuntamaan ja käsittelemään MySQL / RDS / SQL-tietokannasta haettuja tietoja ja lähettämään välittää nämä tiedot myyjille, jotka voivat auttaa kasvattamaan myyntitulojaan. Alla voidaan näyttää tietomallin korkean tason arkkitehtuuri. Se koostuu pääavaimesta, kokonaisuudesta, määritteistä, suhteesta, rajoituksista jne.
4. Mitkä ovat tietomuotojen erityyppiset mallit? Selitä esimerkillä?
Vastaus:
Tietojen mallinnuksessa on kahta tyyppiä skeemoja:
a. Tähtikaavio
Tämä kaava on jaettu kahteen, joista yksi on tositaulukko ja toinen on mittataulukko, jossa kaikki mittataulukot on kytketty tositaulukkoon. Vieras avain tosiasiallisesti taulukossa viittaa mittataulukoissa oleviin primaariavaimiin. Katso tähtikaavion alla oleva arkkitehtuuri:
b. Lumihiutalekaavio
Tässä kaaviossa normalisointitasoa nostetaan, tässä tosiasiataulukko pysyy samana kuin tähtikaaviossa, tässä mittataulukot normalisoidaan. Monien mittataulukoiden ansiosta se näyttää lumihiutaleelta, joten nimi lumihiutalekaava. Katso alla oleva arkkitehtuuri: -
5. Mitä ETL-työkalua käytät ja kuinka sitä on parempi verrata muihin?
Vastaus:
Voidaan sanoa, että hän on käyttänyt Informaticaa ETL-työkaluna monien seikkojen takia, ennen kaikkea se, että Gartner Magic Data Quadrant -tietointegraatiotyökalujen mukaisesti Informatica asetetaan johtajaksi kymmenentenä peräkkäisenä vuonna. Sitä on helppo käyttää ja oppia, ja siinä on ominaisuuksia yhteyden muodostamiseen erilaisiin lähdetietoihin ja tietotyyppeihin, uudelleenkäytettäviin komponentteihin ja ominaisuuksiin, jotka tekevät siitä ETL-kehittäjien suosikki. Sillä on myös oma aikataulu, joka on toinen etu, jossa muiden ETL-työkalujen on käytettävä ulkoista ajastinta töiden ajoittamiseen.
6. Millä tekniikoilla / ohjelmointikielellä pitäisi olla / Opi olemaan tietoinsinööri?
Vastaus:
Matematiikka (lineaarinen algebra ja todennäköisyys)
Tilastot (tiivistelmätilastot)
Koneoppimistekniikat
R- ja SAS-kielet
SQL-tietokannat, Hive QL
Python (enimmäkseen käytetty)
Näiden lisäksi tietokannasta tulisi olla ongelmanratkaisua, analyyttistä ja arkkitehtonista tietoa.
7. Mitkä ovat tietotekniikan insinöörien kohtaamia yleisiä ongelmia?
Vastaus:
1. Reaaliaikainen integrointi / jatkuva integrointi
2. Valtavan tietomäärän tallentaminen on yksi ongelma, kyseisestä tiedosta saadut tiedot ovat toinen kysymys.
3. Mitä työkaluja voidaan käyttää, jotka antavat parhaan suorituskyvyn, varastoinnin, tehokkuuden ja tulokset.
4. Onko varaston mittakaava? Oletetaan, kuinka tietää, kuinka kauan se kestää koko tietosarjan käsittelyyn?
5. Suorittimien ja RAM-asetusten huomioon ottaminen
6. Kuinka käsitellä vikoja, onko siellä vikasietoisuus vai ei?
8. Miten dataarkkitehti eroaa Data Engineeristä?
Vastaus:
Tietoarkkitehti on henkilö, joka hallitsee tietoja, varsinkin kun on kyse eri määristä erilaisia tietolähteitä. Pitäisi olla syvällinen tieto siitä, miten tietokanta toimii, miten data liittyy liiketoimintaongelmiin ja kuinka muutokset häiritsevät organisaation tietojen käyttöä ja sitten tietoarkkitehti manipuloi / muuttaa tietoarkkitehtuuria niiden mukaan.
Data-arkkitehdin päävastuu on tietojen varastointi, tietoarkkitehtuurin tai yrityksen tietokeskuksen / varaston kehittäminen.
Datainsinööri auttaa tietovarastoratkaisujen asentamisessa, tietojen mallinnuksessa, tietokanta-arkkitehtuurin kehittämisessä ja testaamisessa.
9. Kuvaile aikaa, jolloin löysit uuden käyttötavan olemassa olevalle tietokannalle, jolla oli positiivinen vaikutus liiketoimintaan?
Vastaus:
Vaikka Big Data -kauden aikana SQL: llä ei ole seuraavia ominaisuuksia:
a. RDBMS on skeemalähtöinen DB, joten se on parempi strukturoidulle datalle, ei osittain jäsentyneelle tai jäsentämättömälle tiedolle.
b. Ei pysty käsittelemään ennakoimattomia ja jäsentämättömiä tietoja.
C. Se ei ole vaakatasossa skaalautuva, ts. Rinnakkaissuoritus ja tallennus eivät ole mahdollisia SQL: ssä.
d. Se kärsii suorituskykyongelmasta, kun käyttäjien lukumäärä kasvaa.
e. Sitä käytetään pääasiassa online-tapahtumien käsittelyyn.
Näiden haittojen poistamiseksi voimme käyttää NoSQL DB: tä, ei vain SQL: tä.
Joten projektissa voidaan käyttää erityyppisiä NoSQL DB -sovelluksia, kuten Cassandra, Mongo DB, Graph DB, HBase jne.
10. Onko sinulla kokemusta työskentelystä pilvilaskentaympäristössä? Mitä etuja näet työskentelevän yhdessä?
Vastaus:
Voidaan sanoa kyllä. Cloud Computing Environment on valmis siirtämään ympäristöä tuotantoa, kehittämistä ja testaamista ajattelematta integroimalla monia ilmentymiä / Linux / ikkunapalvelimia yhteen. Markkinoilla on erilaisia pilvipalveluita, kuten AWS (Amazon-verkkopalvelut), Azure (Microsoft), GCP (Google Cloud Platform). Pilvipalvelupalvelussa on seuraavia ominaisuuksia, kuten joustavuus, ts. Ympäristö laajenee vaatimusten mukaan, katastrofien palauttaminen ottamalla varmuuskopioita ja kuvia, työskentele mistä tahansa VPN: ien avulla, turvallinen ympäristö ja ympäristöystävällinen, koska se toimii hyödykelaitteistoilla, ts. Yleiskäyttöisillä tietokoneilla, jotka ovat edullisia.
johtopäätös
Yllä olevassa blogissa olemme pitäneet Data Engineerillä eniten kysyttyjä haastattelukysymyksiä ja kuinka tähän voi vastata antamalla ominaisuuspisteitä.
Suositeltava artikkeli:
Tämä on ollut kattava opas tietotekniikan haastattelua koskeviin kysymyksiin ja vastauksiin, jotta ehdokas voi helposti hakea nämä tietoinsinöörihaastattelukysymykset. tämä artikkeli koostuu kaikista tärkeimmistä Data Engineer -haastattelua koskevista kysymyksistä ja vastauksista. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- Tärkeimmät Azure Paas vs Iaas
- Big Data -haastattelukysymykset
- 5 tärkeintä elastisen haun haastattelukysymystä
- PIG-haastattelua koskevat kysymykset ja vastaukset
- 5 suosituinta tiedehaastattelukysymystä