Talend 튜토리얼: Talend ETL 도구란 무엇인가요?

탈렌드란 무엇인가?

Talend는 데이터 통합 ​​및 데이터 관리 솔루션을 제공하는 오픈 소스 소프트웨어 플랫폼입니다. Talend는 특히 다음 분야에 특화되어 있습니다. 빅 데이터 통합 기능을 제공합니다. 이 플랫폼은 클라우드, 빅데이터, 엔터프라이즈 애플리케이션 통합, 데이터 품질 및 마스터 데이터 관리와 같은 기능을 제공합니다. 또한 메타데이터를 저장하고 재사용할 수 있는 통합 저장소를 제공합니다.

Talend는 역사적으로 오픈 소스 버전과 프리미엄 버전 모두 제공되어 왔으며, 클라우드 컴퓨팅 및 빅 데이터 통합 ​​작업에 널리 사용됩니다.

중요 업데이트: Qlik은 2023년 5월 Talend 인수를 완료했으며, 2024년 1월 31일 무료 Talend Open Studio 에디션은 서비스가 종료되었습니다. 더 이상 호스팅, 패치 또는 업데이트가 제공되지 않습니다. 상용 플랫폼은 Qlik Talend Cloud로 계속 운영됩니다. 아래 섹션에서는 지원 기간 동안 Open Studio가 어떻게 작동했는지 설명하며, 이는 현재 상황을 이해하는 가장 명확한 방법입니다. ETL 도구 조립됩니다.

탈렌드의 역사

아래는 주요 성과입니다. trac프랑스 연구 개발 프로젝트에서 시작된 Talend의 기술이 Qlik 클라우드 플랫폼 내의 데이터 통합 ​​및 품질 관리 엔진에까지 영향을 미쳤습니다.

출간연도	연혁
2002	R&D
2005	회사 설립 - AGF 사모 펀드 및 Galle 파트너 XNUMX차 자금 조달
2006	Open Studio V1.0- 미국 운영 시작
2007	통합 제품군/XNUMX차 파이낸싱 마감
2008	오픈 프로파일러/데이터 품질
2009	통합 제품군 RTx/MPx/MDM 획득
2010	IDM 커뮤니티 에디션/ MDM 엔터프라이즈 에디션
2011	오픈 스튜디오 V5
2014	OW2 최고의 프로젝트
2015	인정받은 트렌드세팅 제품
2016	DBTA 100
2017	데이터 통합 ​​도구 부문 Gartner 매직 쿼드런트
2021	Stitch와 기본 통합 Amazon Redshift 콘솔
2021	토마 브라보는 약 2.4억 달러의 기업 가치로 탈렌드를 비상장 회사로 전환하는 거래를 성사시켰습니다.
2023	토마 브라보의 지원을 받는 Qlik은 5월에 Talend 인수를 완료할 예정입니다.
2024	Talend Open Studio는 1월 31일부로 서비스가 종료되었으며, 무료 데스크톱 버전은 더 이상 업데이트되지 않습니다.
2024	Qlik Talend Cloud는 AI 기반 파이프라인, 데이터 제품 및 데이터 마켓플레이스를 추가하는 후속 플랫폼으로 7월에 정식 출시될 예정입니다.
2024	Talend MDM 서버는 12월 31일부로 지원이 종료되며, Talend 7.3은 11월에 표준 지원이 종료됩니다.
2025	Qlik Talend Cloud는 RAG 애플리케이션용 데이터를 벡터화하는 지식 마트 작업과 Qlik Cloud 카탈로그에 Talend Studio 작업 계보를 추가합니다.
2025	11월 릴리스에서는 관리형 데이터 제품, 자동화된 현장 문서화, AI 기반 데이터 품질 규칙 제안 및 데이터 관리 기능을 위한 원클릭 API 엔드포인트가 제공됩니다.
2026	Qlik은 4월 Qlik Connect에서 에이전트 기반 데이터 엔지니어링, 즉 선언적 파이프라인, Talend Studio용 AI 어시스턴트, 실시간 라우팅 및 네이티브 Open Lakehouse 스트리밍을 발표합니다.
2026	Talend 7.3에 대한 유료 연장 지원은 12월에 종료되며, 이후에는 Talend 8 또는 Qlik Talend Cloud만 지원되는 버전이 됩니다.

Talend 제품군

Talend 제품군은 아래에서 설명하는 세 가지 주요 제품으로 구성됩니다.

탈렌드 빅데이터

Talend는 그래픽 도구와 마법사를 통해 빅데이터 통합을 손쉽게 자동화할 수 있습니다. 이를 통해 기업은 Apache Hadoop과 연동되는 환경을 구축할 수 있습니다. Spark NoSQL 데이터베이스 클라우드 또는 온프레미스 작업의 경우.

많은 기업들이 비용 절감과 성능 향상을 위해 하둡을 도입했습니다. 엔터프라이즈 솔루션은 종종 값비싼 컴퓨팅 시간을 소모하기 때문입니다. 하둡을 사용하면 데이터를 변환, 정제, 보강 및 통합하여 더욱 복잡한 분석 워크로드를 처리할 수 있습니다.

Talend Sandbox에는 다음 네 가지 사용 사례가 포함되어 있습니다.

1. 데이터 웨어하우스 최적화
2. 클릭스트림 분석
3. 소셜 미디어 감성 분석
4. 아파치 웹로그 분석

이러한 기능들을 기반으로 더욱 복잡한 사용 사례를 직접 만들어낼 수도 있습니다.

빅데이터 및 하둡 환경에서 Talend를 사용하면 얻을 수 있는 이점

• 그래픽 인터페이스를 통해 구성 요소를 배치하고 설정함으로써 빅데이터 작업 설계의 효율성을 향상시킵니다.
• 데이터 품질, 확장성 및 관리 기능을 추가합니다.
• MapReduce 지원을 통해 더 빠른 병렬 데이터 처리가 가능합니다.
• 공유 저장소 및 원격 배포
• 데이터 정제를 통한 데이터 품질 및 프로파일링
• HBase에 대한 기본 지원, HDFS, 하이브, 스쿱 그리고 돼지
• 호튼웍스 데이터 플랫폼에 내장되어 있습니다.

데이터 통합

탈렌드 데이터 통합 ​​소프트웨어 개방적이고 확장 가능한 아키텍처를 갖추고 있어 비즈니스 요청에 더 빠르게 대응할 수 있습니다. 이 도구는 수동 코딩보다 빠르게 데이터 통합 ​​작업을 개발하고 배포합니다.

Talend를 사용하면 모든 데이터를 다른 데이터 웨어하우스와 통합하거나 시스템 간에 데이터를 동기화할 수 있습니다. 데이터 통합이란 서로 다른 소스에 저장된 데이터를 결합하여 사용자에게 통합된 보기를 제공하는 것을 의미합니다. Talend는 ETL 작업을 관리하고 사용자가 간편하게 셀프 서비스 방식으로 데이터를 준비할 수 있도록 지원합니다.

Talend를 사용한 데이터 통합의 이점

애자일 통합: 1000개 이상의 기본 제공 커넥터를 사용하여 코드를 작성하지 않고도 비즈니스 요청에 더 빠르게 대응하세요. Eclipse그래픽 도구 기반 및 성능 최적화 코드 생성기.

팀 생산성: 버전 관리, 영향 분석, 테스트 및 디버깅, 메타데이터 관리를 활용하여 협업합니다.

쉬운 관리: 이 도구는 고급 스케줄링 및 모니터링 기능을 제공합니다. 대시보드와의 실시간 데이터 통합 ​​및 중앙 집중식 제어를 통해 여러 노드에 걸쳐 신속하게 배포할 수 있습니다.

경쟁에서 앞서 나가세요: 이 플랫폼을 사용하면 최신 데이터 통합 ​​기능이 제공될 때까지 기다릴 필요가 없습니다.

낮은 소유 비용: Talend는 구독 기반 가격 모델을 사용합니다. Talend Studio를 사용하는 개발자 수에 따라 비용을 지불하며, 이는 서버당 고정 라이선스 방식보다 저렴합니다.

통합 클라우드

Talend Integration Cloud는 확장성과 보안성이 뛰어난 클라우드 통합 플랫폼 서비스(iPaaS)를 사용하여 클라우드 및 온프레미스 데이터 통합 ​​프로젝트를 가속화할 수 있습니다. Talend Integration Cloud는 연결성, 내장 데이터 품질 관리 기능 및 네이티브 코드 생성 기능을 제공합니다.

이는 IT 및 비즈니스 사용자가 클라우드 시스템과 온프레미스 시스템을 연결할 수 있도록 하는 안전한 클라우드 통합 플랫폼입니다. 클라우드에서 설계된 작업은 온프레미스 환경에서도 관리, 모니터링 및 제어할 수 있습니다.

통합 클라우드의 이점

아래 표는 Talend Integration Cloud와 그것이 대체하고자 하는 수동 코딩 방식의 차이점을 비교합니다.

Talend 통합 클라우드	기타 도구
900개 이상의 드래그 앤 드롭 구성 요소	비생산적인 핸드코딩
최적화된 코드 생성	전문적인 기술이 필요하다
협업 및 관리	유지하기 어렵다
골드 지원(SLA)	제한된 지원

탈렌드 오픈스튜디오란?

Talend Open Studio는 데이터 통합, 데이터 프로파일링, 빅 데이터, 클라우드 통합 등을 위한 개방형 아키텍처였습니다.

이 소프트웨어는 1000개 이상의 사전 구축된 커넥터를 제공하는 GUI 환경입니다. 이를 통해 파일 변환, 데이터 로드, 파일 이동 및 이름 변경과 같은 작업을 쉽게 수행할 수 있습니다. 각 구성 요소는 복잡한 프로세스를 정의하도록 구성할 수 있습니다.

통합 작업은 코딩 대신 구성한 Talend 구성 요소를 기반으로 생성됩니다. 작업은 개발 환경 내에서 실행하거나 독립 실행형 스크립트로 내보내어 실행할 수 있습니다.

Talend Open Studio 사용의 이점

• 이를 통해 통합 개발 시간을 몇 주 또는 몇 달에서 며칠 또는 몇 시간으로 단축할 수 있습니다.
• 이 프로그램은 다양한 소스에 저장된 데이터를 변환하고 업데이트합니다.
• 이 시스템은 복잡한 배포 환경을 손쉽게 모니터링하고 관리합니다.
• 이 제품은 유사한 솔루션 중에서 가장 낮은 총소유비용을 제공합니다.
• 그것은 근본적인 것의 힘을 계승합니다. Java 프로그래밍 플랫폼.
• 다양한 종류의 소스 및 타겟 커넥터를 제공하여 업계 전반에서 강력한 선택지로 자리매김하고 있습니다.
• 이 시스템은 강력한 멀티 스키마 로그 파일과 데이터 흐름 또는 마이그레이션 후 조정 보고 기능을 제공합니다.

기존의 독점 ETL 엔진과 비교했을 때 차이점은 다음과 같습니다.

레거시 ETL	탈 렌드
독점 엔진	엽니다
빅데이터 확장이 어렵다	네이티브 코드 생성
고급 레벨	낮은 TCO

참고 : Open Studio는 2024년 1월 31일부로 지원이 종료되었으므로 무료 버전에는 보안 패치가 제공되지 않습니다. 무료 버전을 계속 사용 중인 팀은 Qlik Talend Cloud 또는 다른 지원되는 플랫폼으로 마이그레이션을 계획해야 합니다.

탤런트 오픈 스튜디오 Archi강의

아키텍처는 클라이언트, 서버, 데이터베이스라는 세 가지 핵심 블록과 프로젝트 파일 및 메타데이터를 저장하는 작업 공간 및 저장소로 구성됩니다. 아래 다이어그램은 이러한 블록들이 어떻게 연결되는지 보여줍니다.

고객사

클라이언트 블록에는 하나 이상의 Talend Studio 및 웹 브라우저가 포함될 수 있으며, 이들은 동일하거나 다른 컴퓨터에서 실행될 수 있습니다. Talend Studio를 사용하면 데이터 용량이나 프로세스 복잡성에 관계없이 데이터 통합 ​​프로세스를 구축할 수 있습니다.

Talend 서버

Talend 서버 블록에는 웹 기반 애플리케이션 서버가 포함되어 있습니다. 이 서버를 통해 모든 프로젝트를 관리하고 유지보수할 수 있으며, 관리 데이터베이스에 사용자 계정, 접근 권한 및 프로젝트 승인 정보가 저장됩니다.

데이터베이스

데이터베이스 블록에는 관리, 감사 및 모니터링 데이터베이스가 포함됩니다. 관리 데이터베이스는 사용자 계정, 접근 권한 및 프로젝트 승인을 관리합니다. 감사 데이터베이스는 업무의 다양한 측면을 평가하여 프로세스 중심의 의사 결정 지원 시스템을 구축하는 데 도움을 줍니다.

작업 공간

Talend에서 워크스페이스는 모든 프로젝트 폴더를 저장하는 디렉터리입니다. 저장소 연결당 최소 하나 이상의 워크스페이스 디렉터리가 필요합니다. 기본 워크스페이스 디렉터리 대신 여러 개의 워크스페이스 디렉터리에 연결할 수도 있습니다.

저장소

리포지토리는 Talend Open Studio가 비즈니스 모델이나 디자인 작업에 대한 정보를 저장하는 데 사용하는 저장 영역입니다.ping 저장소의 메타데이터는 여러 작업에서 연결 또는 스키마를 재사용할 수 있도록 해줍니다.

Talend Open Studio 확장

Talend Open Studio는 거버넌스, 품질 및 서비스 기능을 추가하는 제품군으로 확장되었습니다.

• Talend 통합 제품군
• 주문형 탈렌드
• Talend 데이터 품질
• 탈렌드 ESB
• Talend 빅데이터 통합

이러한 명칭은 오픈 스튜디오 시대에서 유래되었습니다. Qlik에서는 이와 동등한 기능이 별도의 다운로드가 아닌 Qlik Talend Cloud 내에서 제공됩니다.

자주 묻는 질문