Ero Pieni ja iso data
Pieni data, ei ole mitään muuta kuin tieto, joka on riittävän pieni kattavaksi ihmiselle niin volyymissa kuin myös muotoilussa, mikä tekee siitä saatavan, informatiivisen ja käytettävän. Perinteinen tietojenkäsittely ei voi käsitellä suurta tai monimutkaista dataa, näitä tietoja kutsutaan isoiksi datoiksi. Kun tietomäärä kasvaa tietyn rajan yli, perinteiset järjestelmät ja menetelmät eivät riitä käsittelemään tietoja tai muuttamaan tietoja hyödylliseen muotoon. Siksi tiedot luokitellaan yleensä kahteen osaan - pieni data vs. iso data
Head to Head -vertailu piendatan ja bigdatan välillä (Kuvaajat)
Alla on kymmenen tärkeintä eroa pienten ja isojen tietojen välillä
Keskeiset erot piendatan ja suuren datan välillä
- Tiedonkeruu - yleensä pieni data on osa OLTP-järjestelmiä, ja se kerätään hallitummalla tavalla ja lisätään sitten välimuistikerrokseen tai tietokantaan. Tietokannat lukevat replikoita tukemaan välittömiä analytiikkakyselyjä tarvittaessa. Big Data -kokoonpanoputkessa on jonot, kuten AWS Kinesis tai Google Pub / Sub, nopeiden tietojen tasapainottamiseksi. Tuotteen loppupäässä on suoratoistoputkisto reaaliaikaista analysointia varten ja erätyöt kylmää tietojenkäsittelyä varten.
- Tietojenkäsittely - Koska suurin osa transaktiojärjestelmän kautta tuotetusta pienestä tiedosta, sen päällä oleva analytiikka on suurimman osan ajasta eräkeskeistä. Joissain harvinaisissa tapauksissa analytiikkakyselyt suoritetaan suoraan transaktiojärjestelmien päällä. Big Data -ympäristöissä on sekä erä- että stream-prosessointiputket. Virtaa käytetään reaaliaikaiseen analytiikkaan, kuten luottokorttipetosten havaitsemiseen tai osakehinnan ennustamiseen. Eräprosessointi, jota käytetään monimutkaisen liiketoimintalogiikan toteuttamiseen datan ja edistyneiden algoritmien avulla.
- Skaalautuvuus - Pienet tietojärjestelmät skaalautuvat yleensä pystysuunnassa. Pystysuuntainen skaalaus lisää järjestelmän kapasiteettia lisäämällä lisää resursseja samaan koneeseen. Pystysuuntainen skaalaaminen on kallista, mutta vähemmän monimutkaista hallita. Big Data -järjestelmät riippuvat enimmäkseen vaakatasossa skaalattavasta arkkitehtuurista, joka antaa enemmän ketteryyttä pienemmillä kustannuksilla. Pilvessä saatavilla olevat ennaltaehkäisevät virtuaalikoneet tekevät vaakatasossa skaalautuvista järjestelmistä vielä edullisempia.
- Tietojen mallinnus - Transaktiojärjestelmistä tuotettu pieni tieto on normalisoidussa muodossa .ETL (Extract Transform Load) -putkilinjat muuntavat sen tähti- tai lumihiutalekaavioon tietovarastoissa. Tässä skeema pannaan aina täytäntöön kirjoitettaessa tietoja, mikä on suhteellisen helppoa, koska tiedot ovat rakenteellisempia. Kuten edellä mainittiin, taulukkotiedot ovat vain murto-osa suuresta datasta. Täällä tietoja toistetaan paljon enemmän eri syistä, kuten viansiirto tai taustalla olevan tietokantamoottorin joidenkin rajoitusten takia (esimerkiksi jotkut tietokannat tukevat vain yhtä toissijaista indeksiä tietojoukkoa kohden). Kaavaa ei pakoteta kirjoitettaessa. Sen sijaan kaava vahvistetaan tietoja luettaessa.
- Tallennus- ja laskentakytkennät - Perinteisissä tietokannoissa, jotka käsittelevät pääosin pieniä tietoja, tallennus ja laskenta ovat tiiviisti kytkettyjä. Tietojen lisääminen ja hakeminen tietokantaan ja tietokannasta on mahdollista vain annetun käyttöliittymän kautta. Tietoja ei voida laittaa suoraan tietokantatiedostojärjestelmään tai olemassa olevaa tietoa ei voida kysyä muilla DB-moottoreilla. Itse asiassa tämä arkkitehtuuri auttaa suuresti takaamaan tietojen eheyden. Big Data -järjestelmillä on erittäin löysä kytkentä tallennuksen ja laskennan välillä. Yleensä tiedot tallennetaan hajautettuun tietojen tallennusjärjestelmään, kuten HDFS, AWS S3 tai Google GCS, ja laskea moottori tietojen kyselyyn tai myöhemmin valittuun ETL: ään. Esimerkiksi vuorovaikutteiset kyselyt voidaan suorittaa käyttämällä Prestoa (Link) ja ETL käyttämällä Apache Hiveä samoilla tiedoilla.
- Data Science - Koneoppimisen algoritmit vaativat syöttötietoja hyvin jäsennellyssä ja asianmukaisesti koodatussa muodossa, ja suurin osa syöttötiedoista tulee molemmista transaktiojärjestelmistä, kuten tietovarasto, ja Big Data -tallennuksesta, kuten datajärvi. Pelkästään pienellä datalla toimivat koneoppimisalgoritmit ovat helppoja, koska datan valmisteluvaihe on kapea. Tiedon valmistelu ja rikastaminen Big Data -ympäristössä vie paljon enemmän aikaa. Big Data tarjoaa suuren määrän ja monimuotoisuuden vuoksi paljon vaihtoehtoja datatieteellisiin kokeiluihin.
- Tietoturva - Pienten tietojen tietoturvakäytännöt, jotka sijaitsevat vastaavissa tietokantatoimittajien tarjoamissa yrityksen tietovarastoissa tai transaktiojärjestelmissä ja joihin voi kuulua käyttäjän käyttöoikeudet, tietojen salaus, tiivistäminen jne. Big Data -järjestelmien turvaaminen on paljon monimutkaisempaa ja haastavampaa. Tietoturvan parhaita käytäntöjä ovat muun muassa tietojen salaaminen levossa ja kauttakulussa, klusteriverkon eristäminen, vahvat pääsynvalvontasäännöt jne.
Pieni data vs. iso tietojen vertailutaulukko
| Vertailun perusteet | Pieni data | Suuri data |
| Määritelmä | Tiedot, jotka ovat riittävän pieniä ihmisen ymmärtämistä varten. Tilavuus ja muoto, joka tekee niistä saatavilla, informatiivisia ja toimivia | Tietojoukot, jotka ovat niin suuria tai monimutkaisia, että perinteiset tietojenkäsittelysovellukset eivät pysty käsittelemään niitä |
| Tietolähde | ● Tiedot perinteisistä yritysjärjestelmistä, kuten ○ Yritysresurssien suunnittelu ○ asiakassuhteiden hallinta (CRM) ● Taloudelliset tiedot, kuten pääkirjan tiedot ● Verkkosivun maksutapahtumatiedot | ● Ostotiedot myyntipisteestä ● Clickstream-tiedot verkkosivustoilta ● GPS-stream data - Palvelimelle lähetetyt siirrettävyystiedot ● Sosiaalinen media - facebook, twitter |
| tilavuus | Useimmat tapaukset kymmenien tai satojen GB-alueiden välillä. Joissakin tapauksissa muutama TB (1 TB = 1000 GB) | Yli muutama teratavu (TB) |
| Nopeus (nopeus, jolla tiedot ilmestyvät) | ● Ohjattu ja tasainen tiedonkulku ● Tietojen kerääminen on hidasta | ● Tiedot voivat saapua erittäin nopeasti. ● Valtava tieto voi kerätä erittäin lyhyessä ajassa |
| lajike | Strukturoitu data taulukkomuodossa kiinteällä kaaviolla ja osittain jäsennelty data JSON- tai XML-muodossa | Laaja valikoima tietosarjoja, jotka sisältävät taulukkotiedot, tekstitiedostot, kuvat, videot, äänet, XML, JSON, lokit, anturitiedot jne. |
| Totuus (datan laatu) | Sisältää vähemmän melua, koska hallitusti kerätyt tiedot. | Tietojen laatua ei yleensä taata. Ennen käsittelyä vaaditaan tarkka tietojen validointi. |
| Arvo | Liiketoimintatieto, analysointi ja raportointi | Monimutkainen tiedon louhinta ennakointia, suositusta, kuvioiden löytämistä varten jne. |
| Aikavarianssi | Historialliset tiedot, jotka ovat yhtä päteviä kuin tiedot, edustavat vakaata liiketoiminnan vuorovaikutusta | Joissain tapauksissa tiedot vanhenevat pian (esim. Petosten havaitseminen). |
| Tietojen sijainti | Yritystietokannat, paikalliset palvelimet jne. | Enimmäkseen pilviputkistoissa tai ulkoisissa tiedostojärjestelmissä. |
| infrastruktuuri | Ennakoitavissa oleva resurssien allokointi. Suurimmassa osassa vertikaalisesti skaalautuvaa laitteistoa | Ketterämpi infrastruktuuri horisontaalisesti skaalautuvalla arkkitehtuurilla. Kuormitus järjestelmään vaihtelee suuresti. |
Johtopäätös - pieni data vs. iso data
Tietojen analysoinnin perimmäinen tavoite saada oikea-aikaisia oivalluksia päätöksenteon tueksi. Tietojen luokittelu pieniin ja isoihin auttaa ratkaisemaan haasteita analysoimalla kunkin maailman tietoja erikseen asianmukaisilla työkaluilla. Rivi kahden luokan välillä vaihtelee kehittyvien kehittyneiden tietojenkäsittelyjärjestelmien kanssa, mikä tekee jopa suurten tietojen kyselyistä paljon nopeampia ja vähemmän monimutkaisia.
Suositellut artikkelit:
Tämä on opas pieniin tietoihin ja suuriin tietoihin, niiden merkitykseen, vertailusta päähän päin, avainerot, vertailutaulukko ja johtopäätös. tämä artikkeli sisältää kaikki tärkeät erot piendatan ja bigdatan välillä. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- Big Data vs. Data Science - Kuinka ne eroavat?
- Big Data: Tärkeää teknologian ja liike-elämän analyysien yhteenkuuluvuudelle
- 5 suosituinta suurten tietojen kehityssuuntausta, jotka yritysten on hallittava
- 16 mielenkiintoista vinkkiä isojen tietojen muuttamiseksi suureksi menestykseksi