Johdanto gradientinkorotusalgoritmiin

Tekniikkaa, jolla siirretään viikko-opiskelijat vahvoiksi oppilaiksi, kutsutaan tehostamiseksi. Gradientinlisäysalgoritmiprosessi toimii tämän suoritusteorian suhteen. Ada-tehostamisalgoritmi voidaan kuvata selittämään ja ymmärtämään helposti prosessi, jonka kautta tehostaminen injektoidaan tietojoukkoihin.

Päätöspuu

Päätöspuu on tuomion tukityökalu, joka määrittelee päätökset implisiittisesti puumaisen ja sen todennäköisten seurausten sekä mahdollisten tapahtumien tulosten, resurssikustannusten jne. Kanssa. Tämän tekniikan avulla he voivat näyttää valvontalausekkeita, jotka toimivat ehdollisilla tuloksilla.

Tutkimustoiminnassa käytetään laajalti näitä päätöksentekopuita nimenomaan päätöksen analysoinnissa. Se mahdollistaa myös tavoitteen saavuttamisen ja on myös ihana työkalu koneoppimisessa.

AdaBoost-algoritmi

AdaBoost-algoritmi alkaa valmistelemalla päätöksentekopuu, jossa jokaiselle havainnolle annetaan vastaava paino. Ensisijaisen puun arvioinnin jälkeen nostamme kyseisen tulkinnan painoja, joita on vaikea luokitella ja alistaa painoille niille, joita ei ole helppo luokitella. Toinen puu on tämän seurauksena kehitetty tähän ennakkoluuloiseen tietoon. Täällä suunnittelulla pyritään parantamaan ensisijaisen puun ennustetta.

Laske sitten luokitteluvirhe tämän innovatiivisen 2-puun keräysmallin perusteella ja viljele kolmatta puuta muutettujen jäännösten ennakoimiseksi. Yllä oleva menettely toistetaan muutamassa tapauksessa. Havainnot, joita ei ole tarkkaan määritelty edeltävissä puissa, määritetään seuraavia puita käyttämällä. Ennuste lopullisesta kokoonpanomallista on siten ennakkoarvioitu ennuste, jonka aikaisemmat puumallit päättivät.

Koulutus GBM-malli

Jotta gbm-malli voidaan opettaa R-kielellä, GBM-kirjasto on asennettava ja kutsu tähän ohjelmaan asennettuun GBM-kirjastoon kutsutaan ohjelmasta. Lisäksi tarvittavat argumentit on määritettävä, keskeiset argumentit on lueteltu alla,

1. Kaava

2. Vastemuuttujien jakauma

3. Ennustajamuuttuja

4. Vastemuuttuja

GBM-malleissa käytettyjä tavanomaisia ​​jakaumia ovat Bernoulli, Poisson jne.

Tietojen ja n.trees-argumenttien odotetaan vihdoin tarkentuvan. Oletuksena gbm-malli pitää itsestään selvänä 100 puuta, joka voi tarjota laadukkaan arvioinnin gbm-konsertistamme.

Näytekoodi # 1

install.packages ("gbm")
library(gbm)
GBM <- gbm( formula = response,
distribution = " bernoulli ",
data = train
n.trees = 3000)

Tässä on seuraava vaihe todellinen tietojoukko on jaettu juna- ja testitietosarjanjakoon ja tämä saavutetaan käyttämällä createDataPartition () -toimintoa. Tällaisesta jakautumisesta on paljon hyötyä myöhemmässä osassa testisarjan kouluttamisessa käyttämällä koulutettua junajoukkoa ja tämän yläosaa, joka määritetään alkuperäisen datan todelliset ennusteet.

Näytekoodi # 2

TRAIN <- read.csv("Train_dd.csv")
set.seed(77820)
intrain <- createDataPartition( y = Train$survived,
list = false )
Train <- Train(inTrain) Train <- Train(-inTrain)

Seuraava askel on valmentaa gbm-mallia harjoitteluprofiilimme avulla. Vaikka kaikki ylimääräiset argumentit ovat oikein, mitä yllä olevissa kohdissa ilmoitettiin. Kaksi muuta lisäargumenttia mainitaan - vuorovaikutus, syvyys ja kutistuminen.

1. Vuorovaikutussyvyys ilmaisee kunkin puun suurimman syvyyden

2. Älynopeuden mittaus saavutetaan kutistumalla. tässä kaikki perusoppijapuiden lisäarvot laskevat tätä kutistumista käyttämällä.

Lisäksi tämä tekniikka mahdollistaa valvontalauseiden näyttämisen, jotka toimivat ehdollisilla tuloksilla. Tutkimustoiminnassa käytetään laajalti näitä päätöksentekopuita nimenomaan päätöksen analysoinnissa. Se mahdollistaa myös tavoitteen saavuttamisen ja on myös ihana työkalu koneoppimisessa.

GBM-mallin lähtö

GBM-mallin tuotos sisältää yksityiskohdat toteutukseen tarkoitettujen puiden kokonaismäärästä. Tämä auttaa ennustamaan ennustajamuuttujan vaikutuksen mallissa, myös muuttujien tärkeystaulukko ja mallikaavio voidaan johtaa GBM-lähdön yhteenvetofunktiosta.

Ennusta () -menetelmä käyttämällä GBM-mallia

Joten ennusteiden tekemiseksi tässä esitetyn avaintiedon päälle, GBM-malli, kuten muidenkin mallien tavoin, tarkoittaa ennustemenetelmää. Lisäksi käytetyn päätöksentekopuiden kokonaismäärä on mainittava manuaalisesti menetelmän argumenttiosassa.

Näytekoodi

predictions <- predict( object = simpleGBMmodel,
newdata = test,
n.trees = 1)

GBM-mallin parannukset

Puurajoitukset

  • On tärkeää, että heikossa asemassa olevat oppijat kattavat taidot, mutta pysyvät heikoina.

Painotetut päivitykset

  • Lisäys suoritetaan peräkkäin kunkin puun ennusteiden perusteella
  • Jokaisen puun lahjoituksen tälle määrälle on oltava massa hidastaa algoritmien oppimista. tämä prosessi on puhelun kutistuminen.

Stokastinen gradientinkorotusalgoritmi

Tätä vastaavaa voittoa voidaan käyttää puiden reunustaman vähentämiseen.

Rankaistu gradientinkorotusalgoritmi

Parametrisoidut puut voidaan täyttää lisärajoitteilla, klassista päätöspuuta ei voida käyttää heikkoina oppijoina. Sen sijaan käytetään räätälöityä, nimeltään regressiopuua, jolla on numeeriset arvot lehtisolmuissa.

Suositellut artikkelit

Tämä on opas Gradient Boosting Algorithmiin. Tässä keskustellaan johdannosta, päätöspuusta, AdaBoost-algoritmista, GBM-mallin kouluttamisesta, GBM-mallin parannuksista sekä erästä näytekoodista. Voit myös käydä läpi muiden ehdotettujen artikkeleidemme saadaksesi lisätietoja -
  1. Päätöksen puun algoritmi
  2. Koneoppimisen algoritmit
  3. XGBoost-algoritmi
  4. Data Science algoritmit
  5. C ++ -algoritmi | Esimerkkejä C ++ -algoritmista
  6. Poisson-regression toteuttaminen R: ssä

Luokka:

Suuri data