Talendチュートリアル：Talend ETLツールとは？
プラフラ・ラナディヴ
⚡ スマートサマリー
Talendはオープンソースのデータ統合およびデータ管理プラットフォームであり、そのグラフィカルなStudioはETL、ビッグデータ、クラウドパイプライン向けのネイティブコードを生成します。現在はQlik Talend Cloudとして商用提供されています。
タレントとは何ですか?
Talendは、データ統合およびデータ管理ソリューションを提供するオープンソースソフトウェアプラットフォームです。Talendは、 ビッグデータ 統合。このプラットフォームは、クラウド、ビッグデータ、エンタープライズアプリケーション統合、データ品質、マスターデータ管理などの機能を提供します。また、メタデータを保存および再利用するための統合リポジトリも提供します。
Talendはこれまでオープンソース版と有料版の両方が提供されており、クラウドコンピューティングやビッグデータ統合の分野で広く利用されている。
重要な状況更新： Qlik は 2023 年 5 月に Talend の買収を完了し、2024 年 1 月 31 日には無料の Talend Open Studio エディションの提供が終了しました。つまり、ホスト、パッチ、アップデートは行われなくなりました。商用プラットフォームは Qlik Talend Cloud として継続されます。以下のセクションでは、Open Studio がサポートされていた当時どのように動作していたかを説明します。これは、Open Studio がどのように動作していたかを理解する最も明確な方法です。 ETLツール 組み立てられる。
Talendの歴史
以下のマイルストーン tracTalendは、フランスの研究開発プロジェクトから、Qlikのクラウドプラットフォーム内のデータ統合および品質エンジンへと発展しました。
| 年 | マイルストーン |
|---|---|
| 2002 | |
| 2005 | 会社設立 - 第一ラウンドの資金調達 AGFプライベート・エクイティとゴール・パートナーズ |
| 2006 | Open Studio V1.0 - 米国での運用開始 |
| 2007 | 統合スイート/第 XNUMX ラウンドの資金調達を完了 |
| 2008 | オープンプロファイラー/データ品質 |
| 2009 | Integration Suite RTx/MPx/MDM の取得 |
| 2010 | IDM コミュニティ エディション/MDM エンタープライズ エディション |
| 2011 | オープンスタジオV5 |
| 2014 | OW2ベストプロジェクト |
| 2015 | 認知されたトレンドを生み出す製品 |
| 2016 | DBTA100 |
| 2017 | データ統合ツールに関する Gartner マジック クアドラント |
| 2021 | Stitch とのネイティブ統合 Amazon Redshift コンソール |
| 2021 | トーマ・ブラボーは、タレンドを約2.4億ドルと評価する取引で非公開化した。 |
| 2023 | 同じくトーマ・ブラボーが出資するQlikは、5月にTalendの買収を完了した。 |
| 2024 | Talend Open Studioは1月31日にサポートが終了しました。無料のデスクトップ版は今後アップデートされません。 |
| 2024 | Qlik Talend Cloudは、AIを活用したパイプライン、データ製品、データマーケットプレイスを追加し、後継プラットフォームとして7月に一般提供を開始します。 |
| 2024 | Talend MDM Serverは12月31日にサポート終了となり、Talend 7.3は11月に標準サポートが終了します。 |
| 2025 | Qlik Talend Cloud では、RAG アプリケーション向けにデータをベクトル化するナレッジマートタスクと、Qlik Cloud Catalog の Talend Studio ジョブリネージが追加されました。 |
| 2025 | 11月のリリースでは、管理対象データ製品向けのワンクリックAPIエンドポイント、自動化されたフィールドドキュメント、AIが提案するデータ品質ルール、およびデータ管理機能が追加されます。 |
| 2026 | Qlikは4月に開催されるQlik Connectにおいて、エージェント型データエンジニアリングを発表します。これには、宣言型パイプライン、Talend Studio向けAIアシスタント、リアルタイムルーティング、ネイティブOpen Lakehouseストリーミングが含まれます。 |
| 2026 | Talend 7.3の有料延長サポートは12月に終了するため、Talend 8またはQlik Talend Cloudのみがサポート対象となります。 |
Talend 製品スイート
Talend製品スイートは、以下で説明する3つの主要製品で構成されています。
Talendビッグデータ
Talend はグラフィカルツールとウィザードを使用してビッグデータ統合を簡単に自動化できます。これにより、組織は Apache Hadoop と連携する環境を構築できます。 Spark (NAIST) と NoSQLデータベース クラウドまたはオンプレミスのジョブ向け。
多くの企業は、コスト削減とパフォーマンス向上を目的としてHadoopを採用しています。これは、エンタープライズソリューションがしばしば高額な計算時間を消費するためです。Hadoopを使用することで、データの変換、クレンジング、エンリッチメント、統合が可能になり、より負荷の高い分析ワークロードに対応できます。
Talend Sandboxには、以下の4つのユースケースが含まれています。
- データウェアハウスの最適化
- クリックストリーム分析
- ソーシャルメディア感情分析
- Apacheウェブログ分析
さらに、これらを基に、より複雑な独自のユースケースを作成することもできます。
ビッグデータとHadoopにおけるTalendの利点
- グラフィカルインターフェース上でコンポーネントを配置・構成することで、ビッグデータジョブ設計の効率を向上させます。
- データ品質、拡張性、管理機能を追加します
- MapReduceのサポートにより、より高速な並列データ処理が可能になります。
- 共有リポジトリとリモートデプロイメント
- データクレンジングによるデータ品質とプロファイリング
- HBaseのネイティブサポート、 HDFSハイブ、 スクープ そして豚
- Hortonworksデータプラットフォームに組み込まれています
データ統合
タレン データ統合ソフトウェア オープンで拡張性の高いアーキテクチャを採用しているため、ビジネスからの要望に迅速に対応できます。このツールを使えば、手作業でコーディングするよりも速くデータ統合ジョブを開発・展開できます。
Talendを使えば、すべてのデータを他のデータウェアハウスと統合したり、システム間でデータを同期したりできます。データ統合とは、異なるソースに保存されているデータを組み合わせ、ユーザーに統一されたビューを提供することを意味します。TalendはETLジョブの管理を支援し、ユーザーが簡単にセルフサービスでデータ準備を実行できるようにします。
Talendによるデータ統合のメリット
アジャイル統合： 1000種類以上の既成コネクタを使用して、コードを書かずにビジネス要求に迅速に対応します。 Eclipseベースのグラフィカルツールと、パフォーマンスを最適化したコードジェネレーター。
チームの生産性: バージョン管理、影響分析、テストとデバッグ、メタデータ管理を活用して共同作業を行う。
簡単な管理： このツールは高度なスケジュール設定と監視機能を提供します。ダッシュボードとのリアルタイムデータ統合と、複数のノードへの迅速な展開を可能にする集中制御機能を備えています。
競争で優位に立つ: このプラットフォームを利用すれば、最新のデータ統合機能が利用できるようになるまで待つ必要はありません。
所有コストが低い： Talendはサブスクリプション型の料金体系を採用しています。Talend Studioを使用する開発者の数に応じて料金が発生するため、サーバーごとの定額ライセンスよりも費用を抑えることができます。
統合クラウド
拡張性とセキュリティに優れたクラウド統合プラットフォーム・アズ・ア・サービス（iPaaS）を活用することで、クラウドとオンプレミスのデータ統合プロジェクトを加速できます。Talend Integration Cloudは、接続性、組み込みのデータ品質、ネイティブコード生成機能を提供します。
これは、IT担当者とビジネスユーザーがクラウドシステムとオンプレミスシステムの両方を接続できる、セキュリティの高いクラウド統合プラットフォームです。クラウドで設計されたジョブは、クラウド上で管理、監視、制御することも可能です。
統合クラウドのメリット
以下の表は、Talend Integration Cloudと、それが置き換えることを目的とした手作業による代替手段とを比較したものです。
| Talend統合クラウド | その他のツール |
|---|---|
| 900 以上のドラッグ アンド ドロップ コンポーネント | 非生産的な手作業によるコーディング |
| 最適化されたコードを生成します | 専門的なスキルが必要 |
| コラボレーションと管理 | メンテナンスが難しい |
| ゴールドサポート (SLA) | 限定サポート |
Talend Open Studioとは何ですか?
Talend Open Studioは、データ統合、データプロファイリング、ビッグデータ、クラウド統合などに対応するオープンアーキテクチャでした。
これは1000種類以上の既製コネクタを提供するGUI環境です。これにより、ファイルの変換、データの読み込み、ファイルの移動や名前変更といった操作を容易に実行できます。各コンポーネントは、複雑なプロセスを定義するように構成できます。
統合ジョブは、コーディングではなく設定によって構成されるTalendコンポーネントから作成されます。ジョブは開発環境内で実行することも、エクスポートしてスタンドアロンスクリプトとして実行することもできます。
Talend Open Studioを使用するメリット
- これにより、統合開発にかかる時間を数週間から数か月から数日、あるいは数時間にまで短縮できます。
- 様々なソースに保存されているデータを変換・更新します。
- 複雑なデプロイメントも容易に監視・管理できます。
- 同等のソリューションと比較して、所有コストが最も低いものの1つです。
- それは根底にある力を受け継ぐ Java プログラミングプラットフォーム。
- 豊富な種類のソースコネクタとターゲットコネクタが用意されているため、業界全体で有力な選択肢となっています。
- データフローや移行後の、強力なマルチスキーマログファイルと照合レポート機能を備えています。
従来の独自開発のETLエンジンと比較すると、違いは以下のようになります。
| レガシーETL | タレンド |
|---|---|
| プロパティエンジン | 店は開いています |
| ビッグデータの拡張が難しい | ネイティブコードを生成します |
| 高価な | 低TCO |
注意： Open Studioは2024年1月31日にサポート終了となったため、無料版にはセキュリティパッチは提供されません。現在もOpen Studioを使用しているチームは、Qlik Talend Cloudまたは他のサポート対象プラットフォームへの移行を計画する必要があります。
Talendオープンスタジオ Archi構造
アーキテクチャは、クライアント、サーバー、データベースという3つの主要ブロックに加え、プロジェクトのファイルとメタデータを格納するワークスペースとリポジトリに分かれています。下の図は、これらの接続方法を示しています。
取引実績
クライアントブロックには、1つ以上のTalend StudioとWebブラウザーが含まれており、これらは同じマシンまたは異なるマシン上で実行できます。Talend Studioを使用すると、データ量やプロセスの複雑さに関係なく、データ統合プロセスを構築できます。
Talendサーバー
Talendサーバーブロックには、Webベースのアプリケーションサーバーが含まれています。これにより、すべてのプロジェクトの管理と保守が可能になり、管理データベースにユーザーアカウント、アクセス権限、およびプロジェクト承認情報が保持されます。
データベース
データベースブロックには、管理、監査、監視の各データベースが含まれます。管理では、ユーザーアカウント、アクセス権限、プロジェクトの承認を管理します。監査データベースは、業務のさまざまな側面を評価するのに役立ち、プロセス指向の意思決定支援システムを構築できます。
Talendでは、ワークスペースとはすべてのプロジェクトフォルダを保存するディレクトリのことです。リポジトリ接続ごとに少なくとも1つのワークスペースディレクトリが必要です。デフォルトのワークスペースディレクトリを使用しない場合は、Talendは複数のワークスペースディレクトリに接続できます。
倉庫
リポジトリとは、Talend Open Studioがビジネスモデルを記述したりジョブを設計したりするデータを収集するために使用するストレージ領域のことです。ping リポジトリ内のメタデータによって、接続やスキーマをジョブ間で再利用できるようになります。
Talend Open Studio拡張機能
Talend Open Studioは、ガバナンス、品質、サービス機能を追加する一連の製品によって拡張されました。
- タレント統合スイート
- Talend オンデマンド
- Talendのデータ品質
- Talend ESB
- Talendビッグデータ統合
これらの名称はOpen Studio時代に由来するものです。Qlikでは、同等の機能は個別のダウンロードではなく、Qlik Talend Cloud内で提供されます。
