Учебное пособие по Talend: Что такое инструмент Talend ETL?
Прафулла Ранадив
⚡ Умное резюме
Talend — это платформа с открытым исходным кодом для интеграции и управления данными, графический интерфейс Studio которой генерирует нативный код для ETL, обработки больших данных и облачных конвейеров, и которая теперь поставляется в коммерческой продаже как Qlik Talend Cloud.
Что такое Таленд?
Talend — это программная платформа с открытым исходным кодом, предлагающая решения для интеграции и управления данными. Talend специализируется на большие данные Интеграция. Платформа предоставляет такие функции, как облачные вычисления, большие данные, интеграция корпоративных приложений, качество данных и управление основными данными. Она также предоставляет единое хранилище для хранения и повторного использования метаданных.
Talend исторически был доступен как в версии с открытым исходным кодом, так и в платной версии, и широко используется для облачных вычислений и интеграции больших данных.
Важное обновление статуса: В мае 2023 года компания Qlik завершила приобретение Talend, а 31 января 2024 года бесплатные версии Talend Open Studio были сняты с поддержки — они больше не размещаются, не обновляются и не исправляются. Коммерческая платформа продолжает существовать как Qlik Talend Cloud. В разделах ниже описывается работа Open Studio в период её поддержки, что по-прежнему является наиболее понятным способом осмысления её функционирования. Инструмент ETL складывается.
История Таленда
Ниже перечислены этапы проекта. tracРазработка Talend началась с французского научно-исследовательского проекта, который лег в основу системы интеграции и контроля качества данных в облачной платформе Qlik.
| Год | Вехи |
|---|---|
| 2002 | R & D |
| 2005 | Создание компании – первый раунд финансирования AGF Private Equity & Galle Partners |
| 2006 | Open Studio V1.0 – запустила нашу деятельность |
| 2007 | Интеграционный пакет/закрытый второй раунд финансирования |
| 2008 | Открыть профилировщик/качество данных |
| 2009 | Пакет интеграции RTx/MPx/MDM |
| 2010 | Версия IDM Community/MDM Enterprise Edition |
| 2011 | Открытая студия V5 |
| 2014 | OW2 лучший проект |
| 2015 | Признанный продукт, задающий тенденции |
| 2016 | ДБТА 100 |
| 2017 | Магический квадрант Gartner для инструментов интеграции данных |
| 2021 | Встроенная интеграция Stitch с Amazon Консоль Redshift |
| 2021 | Компания Thoma Bravo выкупает Talend и делает её частной компанией в рамках сделки, оценивающей её примерно в 2.4 миллиарда долларов. |
| 2023 | Компания Qlik, также поддерживаемая Thoma Bravo, завершила приобретение Talend в мае. |
| 2024 | Talend Open Studio был закрыт 31 января; бесплатная настольная версия больше не получает обновлений. |
| 2024 | Платформа Qlik Talend Cloud, являющаяся преемником существующей, станет общедоступной в июле и добавит в себя конвейеры обработки данных с поддержкой ИИ, продукты для работы с данными и торговую площадку для данных. |
| 2024 | Поддержка Talend MDM Server прекратится 31 декабря; стандартная поддержка Talend 7.3 прекратится в ноябре. |
| 2025 | Qlik Talend Cloud добавляет задачи для хранилища знаний, которые векторизуют данные для приложений RAG, а также функцию отслеживания происхождения заданий Talend Studio в каталоге Qlik Cloud. |
| 2025 | В ноябрьском релизе появились API-интерфейсы для доступа к регулируемым данным в один клик, автоматизированная полевая документация, правила качества данных, предлагаемые искусственным интеллектом, и управление данными. |
| 2026 | На конференции Qlik Connect в апреле компания Qlik анонсировала агентную обработку данных: декларативные конвейеры, ИИ-помощника для Talend Studio, маршрутизацию в реальном времени и собственную технологию Open Lakehouse Streaming. |
| 2026 | Платная расширенная поддержка Talend 7.3 заканчивается в декабре, поэтому единственными поддерживаемыми вариантами остаются Talend 8 или Qlik Talend Cloud. |
Пакет продуктов Talend
Пакет продуктов Talend состоит из 3 основных продуктов, которые описаны ниже.
Таленд Большие данные
Talend позволяет легко автоматизировать интеграцию больших данных с помощью графических инструментов и мастеров. Это дает организации возможность создать среду, работающую с Apache Hadoop. Spark и Базы данных NoSQL для облачных или локальных работ.
Многие компании внедрили Hadoop для экономии средств и повышения производительности, поскольку корпоративные решения часто потребляют дорогостоящее вычислительное время. С помощью Hadoop данные можно преобразовывать, очищать, обогащать и интегрировать для более ресурсоемких аналитических задач.
В тестовой среде Talend Sandbox представлены четыре варианта использования:
- Оптимизация хранилища данных
- Аналитика кликов
- Анализ настроений в социальных сетях
- Аналитика веб-блога Apache
Вы также можете создавать свои собственные, более сложные сценарии использования на основе этих решений.
Преимущества Talend для больших данных и Hadoop
- Повышает эффективность проектирования заданий для обработки больших данных за счет организации и настройки компонентов в графическом интерфейсе.
- Добавляет функции обеспечения качества данных, масштабируемости и управления.
- Поддержка MapReduce обеспечивает более быструю параллельную обработку данных.
- Общий репозиторий и удалённое развертывание
- Качество и профилирование данных с очисткой данных.
- Встроенная поддержка HBase. HDFS, Зима, Скуп и свинья
- Встроено в платформу данных Hortonworks
Интеграция данных
Таленд программное обеспечение для интеграции данных Обладает открытой, масштабируемой архитектурой, которая позволяет быстрее реагировать на запросы бизнеса. Инструмент разрабатывает и развертывает задачи интеграции данных быстрее, чем при ручном кодировании.
Это позволяет интегрировать все ваши данные с другими хранилищами данных или синхронизировать данные между системами. Интеграция данных означает объединение данных, хранящихся в разных источниках, и предоставление пользователям единого представления о них. Talend помогает управлять задачами ETL и предоставляет пользователям простую, самостоятельную подготовку данных.
Преимущества Talend для интеграции данных
Гибкая интеграция: Быстрее реагируйте на бизнес-запросы без написания кода, используя более 1000 готовых коннекторов. Eclipseграфические инструменты и оптимизированный для повышения производительности генератор кода.
Производительность команды: Для совместной работы используйте системы версионирования, анализ влияния, тестирование и отладку, а также управление метаданными.
Легкое управление: Этот инструмент предлагает расширенные возможности планирования и мониторинга. Он обеспечивает интеграцию данных в режиме реального времени с панелями мониторинга и централизованное управление для быстрого развертывания на нескольких узлах.
Будьте впереди конкурентов: Использование этой платформы означает, что вам не нужно ждать появления новейших функций интеграции данных.
Низкая стоимость владения: Talend использует модель ценообразования на основе подписки. Вы платите за количество разработчиков, использующих Talend Studio, что обходится дешевле, чем фиксированная лицензия за сервер.
Облако интеграции
Вы можете ускорить проекты интеграции данных из облака и локальных систем, используя масштабируемую и безопасную облачную интеграционную платформу как услугу (iPaaS). Talend Integration Cloud предлагает возможности подключения, встроенную проверку качества данных и генерацию нативного кода.
Это защищенная платформа интеграции облачных сервисов, которая позволяет ИТ-специалистам и бизнес-пользователям подключать как облачные, так и локальные системы. Задачи, разработанные в облаке, также можно управлять, отслеживать и контролировать там.
Преимущества облачной интеграции
В таблице ниже приведено сравнение Talend Integration Cloud с альтернативным решением, написанным вручную, которое оно призвано заменить.
| Облако интеграции Talend | Другие инструменты |
|---|---|
| Более 900 компонентов, которые можно перетаскивать | Ручное кодирование, которое непродуктивно |
| Генерирует оптимизированный код | Нужны специальные навыки |
| Сотрудничество и управление | Трудно поддерживать |
| Золотая поддержка (SLA) | Ограниченная поддержка |
Что такое Talend Open Studio?
Talend Open Studio представляла собой открытую архитектуру для интеграции данных, профилирования данных, работы с большими данными, интеграции с облачными сервисами и многого другого.
Это графический интерфейс пользователя, предлагающий более 1000 готовых коннекторов. Это упрощает выполнение таких операций, как преобразование файлов, загрузка данных, перемещение и переименование файлов. Каждый компонент может быть настроен для определения сложного процесса.
Интеграционные задания создаются на основе компонентов Talend, которые настраиваются, а не кодируются. Задания можно запускать из среды разработки или экспортировать и выполнять в виде автономных скриптов.
Преимущества использования Talend Open Studio
- Это сокращает время разработки интеграционных решений с недель и месяцев до дней или даже часов.
- Она преобразует и обновляет данные, хранящиеся в различных источниках.
- Она с легкостью отслеживает и управляет сложными развертываниями.
- Это решение отличается одной из самых низких затрат на эксплуатацию среди всех аналогичных вариантов.
- Оно наследует силу основополагающего Java программная платформа.
- Широкий выбор разъемов для источника и цели делает его надежным выбором для всей отрасли.
- Он обладает мощными функциями ведения журналов по нескольким схемам и формирования отчетов о сверке данных после передачи данных или миграции.
По сравнению с традиционным проприетарным механизмом ETL, различия выглядят следующим образом:
| Устаревший ETL | Talend |
|---|---|
| Собственный движок | Открыто |
| Трудно масштабировать большие данные | Генерирует собственный код |
| Дорогостоящий | Низкая стоимость владения |
Примечание: Поскольку поддержка Open Studio прекратилась 31 января 2024 года, бесплатная версия не получает обновлений безопасности. Командам, которые все еще используют ее, следует запланировать переход на Qlik Talend Cloud или другую поддерживаемую платформу.
Открытая студия Таленд Archiтекстура
Архитектура разделена на три ключевых блока — клиенты, сервер и базы данных — плюс рабочее пространство и репозиторий, в которых хранятся файлы и метаданные проекта. На диаграмме ниже показано, как они связаны между собой.
Наши клиенты
Блок «Клиенты» включает в себя одну или несколько версий Talend Studio и веб-браузеров, которые могут работать на одном или разных компьютерах. Talend Studio позволяет создавать процессы интеграции данных независимо от объема данных или сложности процесса.
Таленд Сервер
Серверный блок Talend включает в себя веб-сервер приложений. Он обеспечивает администрирование и обслуживание всех проектов, а также хранит учетные записи пользователей, права доступа и авторизацию проектов в базе данных администрирования.
База данных
Блок «Базы данных» включает в себя базы данных администрирования, аудита и мониторинга. В блоке администрирования управляются учетные записи пользователей, права доступа и авторизация проектов. База данных аудита помогает оценивать различные аспекты работы, что позволяет создать систему поддержки принятия решений, ориентированную на процессы.
Рабочее пространство
В Talend рабочая область — это каталог, в котором хранятся все папки проекта. Для каждого подключения к репозиторию требуется как минимум один каталог рабочей области. Talend может подключаться к нескольким каталогам рабочих областей, если вы не хотите использовать каталог по умолчанию.
Репозиторий
Репозиторий — это область хранения, которую Talend Open Studio использует для сбора данных, описывающих бизнес-модели или проектные задачи.ping Метаданные в репозитории — это то, что делает соединение или схему многократно используемыми в разных заданиях.
Расширения Talend Open Studio
Talend Open Studio был расширен за счет семейства продуктов, которые добавили возможности управления, обеспечения качества и обслуживания:
- Пакет интеграции с Talend
- Таленд по требованию
- Качество данных Talend
- Таленд ЭСБ
- Talend Интеграция больших данных
Эти названия относятся к эпохе Open Studio. В Qlik аналогичные возможности предоставляются внутри Qlik Talend Cloud, а не в виде отдельных загружаемых файлов.
