Tietovarastoarkkitehtuuri - Erilaisia ​​kerroksia ja arkkitehtuuria

Johdatus tietovarastoarkkitehtuuriin

• Tietovarasto on säilytyspaikka, joka sisältää monen tyyppisiä tietoja, jotka on saatu monentyyppisistä lähteistä.
• Koko prosessi, jossa ulkoisia tietolähteitä hankitaan, prosessoidaan, tallennetaan ja analysoidaan käytettäväksi informaatioksi, tapahtuu järjestelmien joukossa, jotka yhdistää yksi järjestelmä, joka tunnetaan nimellä Data Warehouse Architecture.

Tietovarastoarkkitehtuuri

Tietovarastoarkkitehtuuri koostuu yleensä kolmesta tasosta.

• Huipputaso
• Keskitaso
• Pohjataso

Huipputaso

• Ylin taso koostuu arkkitehtuurin asiakaspuolen etupäästä.
• Tietovarastoon tallennettuja muunnettuja ja logiikan mukaisia ​​tietoja käytetään ja hankitaan tämän tason liiketoiminnallisiin tarkoituksiin.
• Halutun tiedon tuottamiseksi on olemassa useita työkaluja raporttien luomiseen ja analysointiin.
• Tietojen louhinta, josta on nykyään tullut suuri trendi, tehdään täällä.
• Kaikki vaatimusanalyysi-asiakirja, kustannukset ja kaikki ominaisuudet, jotka määrittävät voittopohjaisen yrityskaupan, tehdään näiden työkalujen perusteella, jotka käyttävät tietovaraston tietoja.

Keskitaso

• Keskitaso koostuu OLAP-palvelimista
• OLAP on Online Analytical Processing Server
• OLAP: ta käytetään toimittamaan tietoa liike-elämän analyytikoille ja johtajille
• Koska se sijaitsee keskitasolla, se toimii oikein vuorovaikutuksessa alatasossa olevien tietojen kanssa ja välittää oivalluksia ylimmän tason työkaluille, jotka käsittelevät saatavilla olevia tietoja.
• Tietovarastoarkkitehtuurissa käytetään enimmäkseen relaatiota tai moniulotteista OLAP: ta.

Pohjataso

Pohjakerros koostuu pääasiassa tietolähteistä, ETL-työkalusta ja tietovarastosta.

1. Tietolähteet

Tietolähteet koostuvat lähdetiedoista, jotka hankitaan ja toimitetaan Staging- ja ETL-työkaluille jatkokäsittelyä varten.

2. ETL-työkalut

• ETL-työkalut ovat erittäin tärkeitä, koska ne auttavat yhdistämään logiikan, raakatiedot ja kaavion yhdeksi ja lataavat tiedot tietovarastoon tai tietokarttoihin.
• Joskus ETL lataa tiedot tietokarttoihin ja sitten tiedot tallennetaan tietovarastoon. Tätä lähestymistapaa kutsutaan alhaalta ylös -lähestymistapana.
• Lähestymistapa, jossa ETL lataa tiedot suoraan tietovarastoon, tunnetaan nimellä "ylhäältä alas".

Ero ylhäältä alas ja alhaalta ylöspäin suuntautuvan lähestymistavan välillä

Ylhäältä alas -lähestymistapa	Alhaalta ylöspäin suuntautuva lähestymistapa
Tarjoaa tarkan ja yhdenmukaisen kuvan tiedoista, koska tietovarastosta saatuja tietoja käytetään tietokarttojen luomiseen	Raportit voidaan luoda helposti, kun tietokartat luodaan ensin ja on suhteellisen helppo olla vuorovaikutuksessa tietokarttojen kanssa.
Vahva malli, jota suuret yritykset pitävät parempana	Ei niin vahva, mutta tietovarastoa voidaan laajentaa ja datakarttojen lukumäärää voidaan luoda
Aika, kustannukset ja ylläpito ovat korkeita	Aika, kustannukset ja ylläpito ovat vähäisiä.

Data Marts

• Data Mart on myös tallennuskomponentti, jota käytetään yksittäisen viranomaisen tallentamaan tietyn toiminnon tai yritykseen liittyvän osan tietoja.
• Data mart kerää tiedot Data Warehousesta, joten voidaan sanoa, että data mart tallentaa osajoukon tietovarastoon.
• Tietokartat ovat joustavia ja kooltaan pieniä.

3. Tietovarasto

• Tietovarasto on keskeinen osa koko tietovarastoarkkitehtuuria.
• Se toimii arkistona tietojen tallentamiseksi.
• Tietovarastoon tallennetaan suuria määriä tietoja.
• Tätä tietoa käytetään useissa tekniikoissa, kuten Big Data, jotka vaativat suurten osajoukkojen analysointia.
• Data Mart on myös Data Warehouse -malli.

Tietovarastoarkkitehtuurin eri kerrokset

Tietovarastoarkkitehtuurissa on neljä erityyppistä kerrosta, jotka ovat aina läsnä.

1. Tietolähdekerros

• Tietolähdekerros on kerros, jossa lähteestä tulevat tiedot kohdataan ja lähetetään myöhemmin muille kerroksille haluttuja toimintoja varten.
• Tiedot voivat olla mitä tahansa tyyppiä.
• Lähdedata voi olla tietokanta, laskentataulukko tai muunlainen tekstitiedosto.
• Lähdedata voi olla missä tahansa muodossa. Emme voi odottaa saavansa tietoja samassa muodossa, koska lähteet ovat huomattavasti erilaisia.
• Tosielämässä joitain esimerkkejä lähdetiedoista voi olla
• Lokitiedostot kustakin erityishakemuksesta tai työpaikasta tai työnantajan ilmoittautumisesta yritykseen.
• Kysely-, pörssitiedot jne.
• Web-selaintiedot ja paljon muuta.

2. Tietojen vaiheistuskerros

Seuraavat vaiheet suoritetaan Data Staging -kerroksessa.

1. Tietojen poiminta

Lähdekerroksen vastaanottamat tiedot syötetään vaiheittaiseen kerrokseen, jossa ensimmäinen hankkiman datan kanssa tapahtuva prosessi on uutto.

2. Laskeutumistietokanta

• Poimitut tiedot tallennetaan väliaikaisesti laskutietokantaan.
• Se hakee tiedot heti, kun tiedot on purettu.

3. Asuinalue

• Laskeutumistietokannan tiedot otetaan ja pysähdysalueella suoritetaan useita laadun tarkistuksia ja vaiheistoimenpiteitä.
• Rakenne ja kaavio tunnistetaan myös ja muutoksia tehdään tietoihin, joita ei ole järjestetty, jolloin yritetään saada aikaan yhdenmukaisuus hankittujen tietojen välillä.
• Paikka tai asetukset tietoihin juuri ennen muuntamista ja muutoksia on lisäetu, joka tekee vaiheistusprosessista erittäin tärkeän.
• Se helpottaa tietojen käsittelyä.

4. ETL

• Se on uutto, muuntaminen ja kuormitus.
• ETL-työkaluja käytetään tietojen integrointiin ja käsittelyyn, kun logiikkaa sovelletaan melko raa'aseen, mutta jonkin verran järjestettyyn tietoon.
• Nämä tiedot erotetaan vaadittavan analyyttisen luonteen mukaisesti ja muutetaan tietoiksi, jotka katsotaan sopiviksi tallennettavaksi tietovarastoon.
• Muuntamisen jälkeen tiedot tai pikemminkin tiedot ladataan lopulta tietovarastoon.
• Joitakin esimerkkejä ETL-työkaluista ovat Informatica, SSIS jne.

3. Tietojen tallennuskerros

• Käsitellyt tiedot tallennetaan tietovarastoon.
• Nämä tiedot puhdistetaan, muutetaan ja valmistellaan selkeällä rakenteella ja tarjoavat siten työnantajille mahdollisuuden käyttää tietoja liiketoiminnan edellyttämällä tavalla.
• Arkkitehtuurin lähestymistavasta riippuen tiedot tallennetaan tietovarastoon sekä datakarttoihin. Tietomääristä keskustellaan myöhemmissä vaiheissa.
• Joissakin niistä on myös toiminnallinen tietovarasto.

4. Tietojen esityskerros

• Tämä kerros, jossa käyttäjät saavat olla vuorovaikutuksessa tietovarastoon tallennettujen tietojen kanssa.
• Kyselyjä ja useita työkaluja käytetään erityyppisen tiedon hankkimiseen datan perusteella.
• Tiedot saavuttavat käyttäjän datan graafisen esityksen kautta.
• Raportointityökaluja käytetään yritystietojen hankkimiseen, ja liiketoimintalogiikkaa käytetään myös monentyyppisen tiedon keräämiseen.
• Metatiedot ja järjestelmän toiminnot ja suorituskyky ylläpidetään ja katsotaan myös tässä kerroksessa.

johtopäätös

Tärkeä kohta Data Warehousessa on sen tehokkuus. Tehokkaan tietovaraston luomiseksi rakennamme kehyksen, joka tunnetaan nimellä Business Analysis Framework. Tietovaraston suunnittelussa on neljää tyyppiäkymiä.

1. Ylhäältä alas -näkymä: Tämä näkymä sallii vain tietyt tiedot, joita tarvitaan tietovarastoon.

2. Tietolähdenäkymä: Tämä näkymä näyttää kaikki tiedot tietolähteestä siihen, miten ne muutetaan ja tallennetaan.

3. Tietovarastonäkymä: Tämä näkymä näyttää tietovarastossa olevat tiedot tosiasiataulukoiden ja mittataulukoiden kautta.

4. Yrityskyselynäkymä: Tämä on näkymä, joka näyttää tiedot käyttäjän näkökulmasta.

Suositellut artikkelit

Tämä on ollut opas Data Warehouse -arkkitehtuuriin. Tässä keskustelimme tietovaraston arkkitehtuurin erityyppisistä näkymistä, kerroksista ja tasoista. Voit myös käydä läpi muiden ehdotettujen artikkeleidemme saadaksesi lisätietoja -

1. Ura tietovarastoinnissa
2. Kuinka JavaScript toimii
3. Tietovarastohaastattelukysymykset
4. Mikä on Pandas