Johdanto Talend-tietojen integrointiin
Talend Data -integraatio tarkoittaa tietojen yhdistämistä eri lähteistä ja yhdistämistä yhdeksi näkymäksi, jotta saadaan merkityksellistä tietoa siitä, joka voi auttaa yritystä tai organisaatiota parantamaan liiketoimintaansa analysoimalla näitä tietoja. Integrointi auttaa tiedon hankkimisessa, tietojen puhdistamisessa tarvittavien muutosten tekemisessä jne. Ja sitten lataamisen tietovarastoon.
Mikä on Talend Data Integration?
- Talend on ETL-työkalu, jota käytetään tiedon integrointiin. Talend tarjoaa ratkaisun tietojen valmisteluun, tiedon laatuun, tietojen integrointiin ja isoihin tietoihin.
- Talend tarjoaa Open Studio -sovelluksen, joka on avoin lähdekoodi tietojen integrointiin ja big dataan.
- Talendin avoin studio auttaa käsittelemään valtavaa dataa isoilla komponenteilla. Siinä on yli 800 komponenttia erilaisiin integrointitarkoituksiin. Tässä keskustellaan joistakin osista. Katso siitä alla oleva esimerkki, jotta se olisi helppoa
- Sim-operaattorilla on valtavia tietoja suunnitelmista, asiakkaista, sim-yksityiskohdista jne. Nämä tiedot ovat valtavia, joten suuria tietoja käytetään myös integroinnissa.
Asiakas Sim: n ostaminen käyttämällä julkista tunnusta.
Annetaan hänen nimensä: AB C
Osoite: Chennai, Chennai
Puhelinnumero: 1234567890
Tietojen integroinnin jälkeen
Etunimi: AB
Sukunimi: C
Osoite: Chennai, Intia
Puhelinnumero: +911234567890
Täällä tiedot puhdistetaan ja muutetaan jotain merkityksellisempää.
Tietojen integroinnin edut
Tässä keskustellaan tietojen integroinnin eduista.
- Yritystrendien analysointi tietojen integroinnin avulla
- Tietojen yhdistäminen yhdeksi järjestelmäksi
- Aikaa säästävä ja tehokkaampi ja vähemmän työstöjä
- Easy Report -sovellus - BI-työkalujen käyttämä
- Tietojen ylläpito ja lisääminen tietovarastoon ja tietokarttoihin
Talend-tietojen integroinnin soveltaminen
Tässä keskustellaan Talend-tietojen integroinnin soveltamisesta.
1. Työskentely Talendin kanssa
- Varmista, että Java on asennettu ja ympäristömuuttujat on asetettu.
- Lataa avoimen lähdekoodin Talend-verkkosivusto ja asenna ohjelmisto.
- Luo uusi projekti ja viimeistele asennus
- Talend avautuu suunnittelija-välilehdessä.
- Talend on eclipse-pohjainen työkalu ja komponentit voidaan vetää paletilta tai napsauttaa ja kirjoittaa komponenttien nimi.
2. Ensimmäinen tiedosto tiedoston lukeminen
- Etsi komponentti tFileinputdelimited. Tätä komponenttia käytetään lukemaan rajoitetut tiedostot.
- Aseta tFileinputdelimited-komponentti. Etsi tLogRow ja sijoita se työn suunnittelijaan.
- Napsauta hiiren kakkospainikkeella tFileinputdelimited ja valitse rivi-> pää ja vedä viiva tLogRow-kohtaan.
- Komponentissa välilehti valitsee luettavan tiedoston polun ja antaa rivierottimen \ n. Jos tiedostossa on erotin, voit mainita erottajan.
- Napsauta kaavaa ja anna sarakkeen tyyppitiedot tai voit lukea koko rivin merkkijonona, jossa on yksi sarake, ja erotusarvon tulisi olla tyhjä.
- Voit ohittaa myös otsikon ja alatunnisteen.
- Valitse tLogRow-komponentissa tapa, jolla haluat nähdä tiedot. Taulukko- tai yksirivinen muoto.
- tLogRow näyttää tulosteen suorituskonsolissa.
- Kun olet kytkenyt sekä tFileinputdelimited että tLogRow, suorita työ suoritusvälilehdeltä.
- Voit nähdä tulostetun konsolin tiedoston sisällön.
3. Toinen työ Tmap: n avulla
- Lue tiedosto ja suodata se erilaisiin tulostetiedostoihin.
- Lue tiedosto tFileinputdelimited -komponentista yhdellä sarakkeella tietueena.
- Tmap-komponentti - Tämä komponentti auttaa muuntamaan dataa joillakin sisäisillä toiminnoilla, kuten haulla, liittymisillä jne.
- Luo tmap-muodossa kaksi lähtöä1 ja 2.
- Lisää out1-suodattimeen record.contains (“talend”) ja vedä ennätys out1: ään.
- Piirrä tietueen linja toiseen out2: een.
- Ota tmap: stä päärivit ja muodosta yhteys kahteen tFileoutputdelimited.
- out1-linkki yhteen tfileoutputdelimited1 tiedostona1.txt ja out2 toiseen tfileoutputdelimited2 tiedostona2.txt.
- txt: llä on tietueita, jotka sisältävät talendin.
- txt: llä on tietueita, joilla on muita nimiä.
4. Sisäänrakennettu ja arkisto
- Sisäänrakennettu tarkoittaa, että sinun tulee asettaa kaavio tai yksityiskohdat tietokantaan yhdistämistä varten joka kerta.
- Varasto on hyödyllinen tietojen tallentamiseksi metatietoihin, jotta voit käyttää samoja tietoja joka kerta syöttämättä tietoja manuaalisesti joka kerta. Metatiedoissa voit tallentaa tiedostokaavion, tietokantayhteydet, Hadoop-yhteyden, pesän yhteyden, s3-yhteyden ja monia muita.
Talend-tietojen integroinnin komponentit
Tässä keskustellaan Talend Data Integration -komponenteista.
1. tFileList: Tämä komponentti luettelee hakemistossa tai kansiossa olevat tiedostot, joissa on annettu tiedostomaski.
2. tMysqlConnection: Tätä komponenttia käytetään yhteyden muodostamiseen MySQL-tietokantaan. Mysql-komponentit voivat käyttää tätä yhteyttä helpottamaan yhteyden muodostamista tietokantaan.
3. tMysqlInput: Tämä komponentti auttaa suorittamaan mysql-tietokantakyselyn ja saamaan taulukon tai sarakkeet. Tätä komponenttia käytetään kyselyiden valintaan ja yksityiskohtien saamiseen.
4. tMysqlOutput: Tätä komponenttia käytetään tietojen lisäämiseen tai päivittämiseen Mysql-tietokantaan.
5. tPrejob: Tämä komponentti suoritetaan työssä ensimmäisenä ja se voidaan kytkeä muihin komponentteihin, joissa Subjob ok on.
6. tPostjob: Tämä komponentti on viimeinen, joka suoritetaan työssä. Voit yhdistää tämän läheisesti yhteydessä oleviin komponentteihin.
7. tLogcatcher: Tämä komponentti tarttuu työn varoituksiin ja virheisiin. Tämä on tärkein virheiden käsittelytekniikassa käytetty komponentti. Virhelokeja voidaan kirjoittaa käyttämällä tätä komponenttia yhdessä tfileoutputdelimited kanssa. Komponentteja on yli 800 +.
8. Kontekstimuuttuja: Kontekstimuuttujat ovat muuttujia, joita voidaan käyttää työssä missä tahansa. Se pitää arvoja ja voidaan siirtää toiseen työhön myös tRun-komponenteilla. Kontekstuaalimuuttujien käyttö on, että voimme muuttaa arvoa eri tarkoituksiin. Meillä voi esimerkiksi olla joukko arvoja kehityskontekstiryhmälle ja erilaiset kontekstiarvot tuotannolle. Tällä tavalla meidän ei tarvitse muuttaa työtä, pelkästään kontekstiparametrien muuttaminen riittää.
9. Työn rakentaminen : Jos haluat rakentaa työn, napsauta sitä hiiren kakkospainikkeella ja valitse rakennustyö. Voit tuoda rakennustyön TACissa. Talend Administration Consolessa ajoitat työn käynnistämään myös työjoukko-riippuvuus. Voit myös tuoda työn Nexus-arkistosta artefaktityön avulla.
10. Luo tehtävä TAC: iin: Avaa TAC-tehtäväjohdin . Napsauta uusia tehtäviä ja valitse normaalit tai esineet. Tuo rakennustyö tai valitse Nexuksesta. Valitse työpalvelin, jossa talend suoritetaan. Tallenna tehtävä. Nyt voit ottaa työn käyttöön ja suorittaa sen.
johtopäätös
- “Yksinkertaista ETL ja ELT johtavalla ilmaisella avoimen lähdekoodin ETL-työkalulla isoille datalle.” On avoimen studion tunnusmerkki.
- Talend Bigdata sisältää monia komponentteja valtavan tiedon käsittelemiseen.
- Vakiotyö, Bigdatan työ, Bigdatan suoratoistotyöt ovat erityyppisiä töitä, joita Talend tarjoaa.
- Bigdata-työt voidaan luoda kipinä- tai MapReduce-kehyksessä.
Suositeltava artikkeli
Tämä on opas Talend-tietojen integrointiin. Tässä keskustellaan Talend Data Integration -aloitteen esittelystä ja hyödyistä sekä sovelluksista ja komponenteista. Voit myös käydä läpi muut ehdotetut artikkelimme saadaksesi lisätietoja
- Tietojen integroinnin työkalu | Paras 12 työkalua
- Talend haastattelukysymyksiä ja vastauksia
- Parhaat datan visualisointityökalut tyypeineen
- Talend vs Mulesoft - erot
- Mikä on Data Mart?