Johdanto Talend-työkaluista
Talendin avoimessa studiossa on yli 700 komponenttia esimerkiksi suurilla tiedoilla, tietokannoilla, pilvillä jne. Talendin avoin studio voidaan jakaa moniin, kuten Talendin avoin studio tietojen integrointiin ja Talendin avoin studio isoihin tietoihin jne. Tässä artikkelissa me näkee yksityiskohtaisesti talendin eri työkalut.
Talend Open Studio -komponentit / työkalut
Talend Open Studio for Data Integration kattaa seuraavat alueet / tekniikat joissain sisäänrakennetuissa komponenteissa, mikä auttaa prosessointia helposti.
- Big Data -komponentit
- Liiketoiminnan komponentit
- Liiketoimintatietokomponentit
- Pilvikomponentit
- Custom Code -komponentit
- Tietojen laadun komponentit
- Tietokannat - perinteiset komponentit
- Tietokannat - laitteen / tietovaraston komponentit
- Tietokannat - muut komponentit
- DotNET-komponentit
- ELT-komponentit
- ESB-komponentit
- Tiedostokomponentit
- Internet-komponentit
- Lokit ja virheet -komponentit
- Sekalaiset ryhmäkomponentit
- Orkesterin komponentit
- Komponenttien käsittely
- Järjestelmän komponentit
- Talend MDM -komponentit
- Tekniset komponentit
- XML-komponentit
Tässä keskustellaan muutamasta Talend Open Studio for Data Integration -komponentista.
1. tS3Connection: Tätä komponenttia käytetään yhteyteen amazon s3: n kanssa. Komponentit voivat käyttää tätä yhteyttä amazon s3: een kytkemisen helppoon määrittämiseen.
2. tS3Input: Tätä käytetään lukemaan tiedosto S3-tiedostojärjestelmästä. Sillä on joitain toimintoja, jotka ovat samanlaisia kuin tfileinputdelimited, mutta käyttää Amazon Simple Storage -palvelua.
3. tS3Output: Tätä käytetään tietojen kirjoittamiseen S3-tiedostojärjestelmään. Sillä on joitain toimintoja, jotka ovat samanlaisia kuin tfileoutputdelimited, mutta käyttää Amazon Simple Storage -palvelua.
4. ts3Put: Tätä tiedostoa käytetään S3-tiedostojärjestelmään paikallisesta järjestelmästä.
5. ts3Get: Tätä komponenttia käytetään tiedoston hakemiseen S3: sta paikalliseen järjestelmään.
6. tS3BucketCreate: Tätä komponenttia käytetään luomaan ämpäri S3: lle.
7. tS3BucketDelete: Tätä komponenttia käytetään S3: n kauhan poistamiseen.
8. tS3BucketExist: Tätä komponenttia käytetään tarkistamaan, onko annettu ämpäri S3: ssa. Se palauttaa tuloksen oikean tai väärän boolean-arvona, jota voidaan käyttää globaalina kartana.
9. tS3BucketList: Tätä komponenttia käytetään luetteloon kaikki S3: n kauhat.
10. tS3Copy: Tätä komponenttia käytetään S3-objektin kopiointiin yhdestä kauhasta toiseen. Se on samanlainen kuin tFileCopy.
11. tS3Delete: Tätä komponenttia käytetään S3-objektin poistamiseen kauhasta. Se on samanlainen kuin tFileDelete.
12. tS3Close: Tätä komponenttia käytetään sulkemaan S3-yhteys, joka luodaan tS3Connection-sovelluksella.
13. tCreateTemporaryFile: Tämä komponentti luo väliaikaisen tiedoston, kuten tFileOutputDelimited, mutta tämä väliaikainen tiedosto voidaan joko poistaa automaattisesti työn päätyttyä tai se voidaan pitää.
14. tFileArchive: Tätä komponenttia käytetään pakatun tiedoston luomiseen yhdestä tai useammasta tiedostosta. Salaus voidaan soveltaa myös pakkaamiseen.
15. tFileCompare: Tätä komponenttia käytetään kahden tiedoston vertailuun ja palautetaan vertailutiedot.
16. tFileUnarchive: Tätä komponenttia käytetään pakatun tiedoston pakkaamiseen .
17. tFileCopy: Tätä komponenttia käytetään kopioimaan tiedosto tai kansio kohdehakemistoon.
18. tFileDelete: Tätä komponenttia käytetään tiedoston tai kansion poistamiseen.
19. tFileExist: Tätä komponenttia käytetään tarkistamaan, onko tiedosto olemassa vai ei. Se palauttaa tuloksen oikean tai väärän boolean-arvona, jota voidaan käyttää globalMap-muodossa.
20. tFileInputExcel: Tätä komponenttia käytetään lukemaan määriteltyyn skeemoon perustuva Excel-tiedosto.
21. tMsgBox: Tätä komponenttia käytetään valintaikkunan näyttämiseen OK-painikkeella.
22. tRowGenerator: Tätä komponenttia käytetään luomaan minkä tahansa määrän rivejä sarakkeilla, joilla on tietyt arvot tai satunnaiset arvot. Sitä käytetään lähinnä testaustarkoituksiin ja testitiedostojen luomiseen.
23. tIterateToFlow: Sitä käytetään muuntamaan luettelo virtauksista päävirtaan, mikä tarkoittaa iteraatiota-> rivi-> päävirtausta.
24. tFlowToIterate: Sitä käytetään muuntamaan päävirta virtausluetteloksi, mikä tarkoittaa pää-> rivi-> toistoa.
25. tLoop: Sitä käytetään tietyn tehtävän silmukointiin.
26. tReplicate: Sitä käytetään saapuvan mallin toistamiseen kahteen lähtövirtaan.
27. tRunJob: Sitä käytetään toisen talend-työn suorittamiseen nykyisessä työssä alitunnin ok jälkeen.
28. tSleep: Sitä käytetään työn suorittamiseen tai tiettyyn alatyötaukoon tiettyyn aikaan sekunteina.
29. tWaitForFile: Se tarkastelee tiettyä hakemistoa ja laukaisee seuraavan komponentin ehdon perusteella.
30.tMysqlBulkExec: Tätä komponenttia käytetään tarjoamaan suorituskyvyn lisäyksiä suorittaessa Mysql-tietokannassa lisäysoperaatioita .
31. tMysqlClose: Tätä komponenttia käytetään sulkemaan mysql-yhteys, jonka tMysqlConnection on luonut.
32. tMysqlRow: Tätä komponenttia käytetään suorittamaan SQL-kysely MySQL-tietokannassa suoraan.
33. tMysqlTableList: Tätä komponenttia käytetään luetteloimaan taulukoiden nimet.
34. tMysqlColumnList: Tätä komponenttia käytetään iteroimaan taulukon kaikki sarakkeet.
35. tMysqlCommit: Tätä komponenttia käytetään Mysql-tietokantaan tehtyjen muutosten tekemiseen.
36. tMysqlLastInsertId: Tätä komponenttia käytetään viimeisen lisätyn avaimen arvon saamiseen
37. tMysqlOutputBulk: Tätä komponenttia käytetään tiedostojen kirjoittamiseen sarakkeilla, jotka perustuvat erottimeen
38. tMysqlOutputBulkExec: Tätä komponenttia käytetään tiedostojen kirjoittamiseen, joiden sarakkeet perustuvat erottimeen, ja suorittaa sitten tiedoston Mysql-tietokantaan.
39. tContextLoad: Tätä komponenttia käytetään arvojen lataamiseen kontekstiin tulovuodesta . Kontekstimuuttujat olisi luotava ennen arvojen lataamista kontekstimuuttujiin. Jos kontekstimuuttujia ei luoda, se näyttää varoituksen.
40. tHiveClose: Tätä komponenttia käytetään tHiveConnection-sovelluksella luodun yhteyden sulkemiseen.
41. tHiveConnection: Tätä komponenttia käytetään pesäyhteyden luomiseen, ja muut pesän komponentit voivat käyttää sitä uudelleen.
42. tHiveRow: Tätä komponenttia käytetään suorittamaan pesän kyselyitä suoraan.
johtopäätös
- HDFS-komponentit voidaan nähdä Talendin avoimessa studiossa isoille datalle.
- thdfsinput, thdfsoutput ovat joitain komponentteja ja ne ovat samanlaisia kuin tiedostokomponentit.
- tHDFSInput - Lukee tiedostoa, joka sijaitsee tietyssä Hadoopin hajautetussa tiedostojärjestelmässä (HDFS). Sillä on joitain toimintoja, jotka ovat samanlaisia kuin tfileinputdelimited, mutta käyttää Hadoopin hajautettua tiedostojärjestelmää.
- tHDFSOutput - kirjoittaa tiedoston Hadoopin hajautettuun tiedostojärjestelmään (HDFS).
- Sillä on joitain toimintoja, jotka ovat samanlaisia kuin tfileoutputdelimited, mutta käyttää Hadoopin hajautettua tiedostojärjestelmää.
- tHDFSPut- Tätä käytetään tiedoston sijoittamiseen paikallisesta järjestelmästä HDFS-tiedostojärjestelmään.
- tHDFSGet - Tätä komponenttia haettiin tiedosto HDFS: stä paikallisiin järjestelmiin.
Suositellut artikkelit
Tämä on Talend Tools -oppaan opas. Tässä keskustellaan avoimen studion komponenttien tai tiedon integroinnin käyttöönotosta ja talendista, jotka sisältävät tS3Connection, tS3Input, tS3Output ja ts3Put jne. Voit myös tarkastella seuraavia artikkeleita saadaksesi lisätietoja -
- Talend-tietojen integrointi
- Ilmaiset tietojen analysointityökalut
- Talend vs Mulesoft
- Tiedon visualisoinnin tyypit
- Tietovarastojen suunnittelu
- JavaScriptin tyypit ja käsittelyvirheet
- Mikä on tietojen integrointi?