Ero datatieteen ja koneoppimisen välillä
Tietotekniikka on tilastojen evoluutiolaajennus, joka pystyy käsittelemään valtavia määriä tietotekniikan avulla. Koneoppiminen on opiskeluala, joka antaa tietokoneille kyvyn oppia ilman, että heitä on nimenomaisesti ohjelmoitu. Tietotekniikka kattaa suuren määrän tietotekniikoita, kuten SQL, Python, R ja Hadoop, Spark jne. Koneoppiminen nähdään prosessina, se voidaan määritellä prosessiksi, jolla tietokone pystyy toimimaan tarkemmin kerääessään ja oppii annetuista tiedoista.
Head of Head -vertailu Data Science vs. Machine Learning (Infographics)
Alla on viiden parhaan vertailun välillä Data Science vs Machine Learning
Keskeinen ero tietojenkäsittelytieteen ja koneoppimisen välillä
Alla on ero tietotekniikan ja koneoppimisen välillä seuraavasti
- Komponentit - Kuten aiemmin mainittiin, Data Science -järjestelmät kattavat koko tietojen elinkaaren, ja niissä on tyypillisesti komponentteja kattamaan seuraavat:
- Tietojen keruu ja profilointi - ETL (Extract Transform Load) -putket ja profilointityöt
- Hajautettu tietojenkäsittely - Vaakatasossa skaalautuva tiedon jakelu ja käsittely
- Älykkyyden automatisointi - Automaattiset ML-mallit online-vastauksiin (ennustaminen, suositukset) ja petosten havaitsemiseen.
- Tietojen visualisointi - Tutki visuaalisesti tietoja saadaksesi parempaa intuitiota tiedoista. Olennainen osa ML-mallinnusta.
- Kojetaulut ja BI - Ennalta määritetyt kojetaulut, joissa on viipale- ja noppamahdollisuudet korkeamman tason sidosryhmille.
- Tietojen suunnittelu - Varmista, että kuumalle ja kylmälle tiedolle on aina pääsy. Kattaa tietojen varmuuskopioinnin, tietoturvan ja katastrofien palautuksen
- Käyttöönotto tuotantotilassa - Siirrä järjestelmä tuotantoon alan standardikäytäntöjen avulla.
- Automatisoidut päätökset - Tähän sisältyy liiketoimintalogiikan ajaminen datan päällä tai monimutkainen matemaattinen malli, joka on koulutettu millä tahansa ML-algoritmilla.
Koneoppimisen mallinnus alkaa siitä, kun tietoja on olemassa ja tyypilliset komponentit ovat seuraavat:
- Ymmärrä ongelma - Varmista, että tehokas tapa ratkaista ongelma on ML. Huomaa, että kaikkia ongelmia ei voida ratkaista ML: n avulla.
- Tutki tietoja - ML-mallissa käytettävien ominaisuuksien intuitio saadaan. Tämä saattaa tarvita useampaa kuin yhtä iteraatiota.Data-visualisoinnilla on tässä kriittinen rooli.
- Valmistele tiedot - Tämä on tärkeä vaihe, jolla on suuri vaikutus ML-mallin tarkkuuteen. Se käsittelee tietoongelmia, kuten mitä tehdä ominaisuuden puuttuvien tietojen kanssa? Korvaa nolla-arvo, kuten nolla, tai muiden arvojen keskiarvo, tai pudota ominaisuus mallista ?. Skaalausominaisuudet, jotka varmistavat, että kaikkien ominaisuuksien arvot ovat samalla alueella, on kriittinen monille ML-malleille. Paljon muita tekniikoita, kuten polynomiominaisuuksien luomista, käytetään tässä myös uusien ominaisuuksien saamiseksi.
- Valitse malli ja juna - Malli valitaan ongelman tyypin (Ennuste tai luokittelu jne.) Ja ominaisuusjoukon tyypin perusteella (jotkut algoritmit toimivat pienellä määrällä tapauksia, joissa on paljon ominaisuuksia, ja toiset muissa tapauksissa) .
- Suorituskykymitta - Tietojenkäsittelyssä suorituskykymittauksia ei ole standardisoitu, se muuttuu tapauskohtaisesti. Yleensä se on osoitus tietojen oikea-aikaisuudesta, datan laadusta, kyselykyvystä, tietojen saatavuuden samanaikaisuusrajoista, interaktiivisesta visualisointikyvystä jne.
ML-malleissa suorituskykymittarit ovat kristallinkirkkaita.Kummassakin algoritmissa on mitta, joka ilmaisee, kuinka hyvin tai huono malli kuvaa annettua harjoitustietoa. Esimerkiksi RME: tä (Root Mean Square Error) käytetään lineaarisessa regressiossa osoituksena virhe mallissa.
- Kehitysmenetelmät - Data Science -projektit linjataan enemmän kuin suunnitteluhanke, jolla on selkeästi määritellyt virstanpylväät. Mutta ML-projektit ovat enemmän tutkimustyyppejä, jotka alkavat hypoteesilla ja yrittävät saada sen todistamaan käytettävissä olevilla tiedoilla.
- Visualisointi - Visualisointi yleensä Data Science edustaa tietoa suoraan käyttämällä kaikkia suosittuja kuvaajia, kuten palkki, piirakka jne. Mutta ML: ssä käytetyt visualisoinnit edustavat myös harjoitustietojen matemaattista mallia. Esimerkiksi moniluokkaisen luokituksen sekaannusmatriisin visualisointi auttaa nopeasti tunnistamaan vääriä positiiviset ja negatiiviset.
- Kielet - SQL: n ja SQL: n kaltaiset syntaksikielet (HiveQL, Spark SQL jne.) Ovat eniten käytettyjä kieliä tietojenkäsittelymaailmassa. Käytössä ovat myös suositut tietojenkäsittelykomentosarjan kielet, kuten Perl, awk, sed.Raamisrakenteiset hyvin tuetut kielet ovat toinen laajalti (Java Hadoopille, Scala Sparkille jne.) käytetty luokka.
Python ja R ovat eniten käytetty kieli koneoppimisessa. Nykyään Python on saamassa enemmän vauhtia, kun uudet syvän oppimisen tutkijat muunnetaan enimmäkseen pythoniksi. SQL: llä on myös tärkeä rooli ML: n tiedonkeruuvaiheessa.
Data Science vs Machine Learning -vertailutaulukko
| Vertailun perusteet | Data Science | Koneoppiminen |
| laajuus | Luo tietoa kaikista reaalimaailman monimutkaisuuksista käsittelevästä tiedosta. Tähän sisältyy tehtäviä, kuten vaatimuksen ymmärtäminen, datan poiminta jne. | Luokittele tai ennusta tarkkaan uuden datapisteen tulos oppimalla historiallisista tiedoista käyttämällä matemaattisia malleja. |
| Tulotiedot | Suurin osa syöttötiedoista syntyy ihmisten kulutustiedoina, jotka ihmisten on luettava tai analysoitava, kuten taulukkotiedot tai kuvat. | ML: n syöttötiedot muutetaan erityisesti käytetyille algoritmeille. Ominaisuuksien skaalaus, Wordin upottaminen tai polynomifunktioiden lisääminen ovat esimerkkejä |
| Järjestelmän monimutkaisuus | ● Komponentit käsittelemättömän raakatiedon käsittelemiseksi.
● Paljon liikkuvia komponentteja, jotka orkesterikerros yleensä ajoittaa itsenäisten töiden synkronoimiseksi | ● Suuri monimutkaisuus on algoritmien ja matemaattisten käsitteiden takana
● Ensemble-malleissa on enemmän kuin yksi ML-malli, ja jokaisella on painotettu osuus lopputuloksesta |
| Haluttu taitojoukko | ● Verkkotunnuksen asiantuntemus
● ETL ja datan profilointi ● Vahva SQL ● NoSQL-järjestelmät ● Vakioraportointi / visualisointi | ● Vahva matematiikan ymmärtäminen
● Python / R-ohjelmointi ● Tietojen sekoittuminen SQL: n kanssa ● Mallikohtainen visualisointi |
| Laitteisto-eritelmä | ● Vaakatasossa skaalautuvat järjestelmät mieluummin käsittelevät massiivista dataa
● Korkeat RAm- ja SSD-levyt, joita käytetään I / O-pullonkaulan poistamiseen | ● GPU: t ovat parempia intensiivisissä vektoritoiminnoissa
● Tehokkaammat versiot, kuten TPU (link), ovat tulossa |
Johtopäätös - Data Science vs Machine Learning
Pyrimme sekä tietojenkäsittelyssä että koneoppimisessa poimimaan tietoja ja oivalluksia tiedoista. Koneoppiminen, jolla yritetään saada algoritmeja oppimaan itsenäisesti. Tällä hetkellä edistyneitä ML-malleja käytetään Data Scienceyn tunnistamaan ja profiloimaan data automaattisesti.Googlen Cloud Dataprep on paras esimerkki tästä.
Suositeltava artikkeli:
Tämä on ollut opas tietojenkäsittelytietoihin vs. koneoppimiseen, niiden merkitykseen, Head to Head -vertailuun, avainerot, vertailutaulukko ja johtopäätökset. Voit myös katsoa seuraavia artikkeleita saadaksesi lisätietoja -
- Hadoopin kehittäjähaastattelu Kysymykset
- Big Data vs. Data Science - Kuinka ne eroavat?
- Tietotiede ja sen kasvava merkitys
- Tilastot vs. koneoppiminen-erot
- Kuinka murtaa Hadoopin kehittäjähaastattelu?