Informatica 中的工作流:创建、任务和管理

⚡ 智能摘要

Informatica 中的工作流是一个容器,它告诉集成服务要运行哪些任务、按什么顺序运行以及使用哪些连接,从而将已保存的映射转换为工作流。ping 转化为实际执行的工作。

  • 🧱 先完成任务: 在将任务添加到工作流之前,先在任务开发工具中构建可重用的命令任务、会话任务和电子邮件任务。
  • ???? 连接: 关系型连接、FTP 连接、队列连接和应用程序连接使集成服务能够访问每个源和目标。
  • 🔁 会话规则: 一次会话正好运行一张地图ping而且它不能在工作流之外执行。
  • 🔗 链接 链接任务选项定义执行顺序,可以是并行执行(从起始任务开始),也可以是串行执行。
  • ✅ 链接条件: 类似 $task.status=SUCCEEDED 这样的条件会使下一个任务等待前一个任务成功完成。
  • 📄 参数文件: .par 文件替换了硬编码的连接名称,因此相同的工作流程可以在不同的环境之间保持不变。

Informatica 中的工作流

地图ping描述数据如何变化。工作流决定工作何时以及按何种顺序运行。

什么是工作流?

工作流是一组发送给 Informatica 集成服务的指令或命令。集成服务负责从存储库读取工作流信息,从数据源获取数据,并在执行转换后将其加载到目标系统中。

工作流程 – 它定义了如何运行诸如会话任务、命令任务、电子邮件任务等任务。

创建工作流程:

  1. 您首先需要创建任务
  2. 然后将这些任务添加到工作流程中。

工作流就像一个空容器,可以存储你想要执行的对象。你可以将想要执行的任务添加到工作流中。在本教程中,我们将在工作流中执行以下操作。

本 Informatica 教程中构建的工作流任务概述

工作流执行可以通过两种方式完成:

  • 序列 任务按照其定义的顺序执行。
  • 基于事件 – 根据事件条件执行任务。

如何打开工作流管理器

步骤1) 在 Informatica Designer 中,单击工作流管理器图标。

Informatica PowerCenter Designer 工具栏上的“工作流管理器”图标

步骤2) 这将打开工作流管理器窗口。然后,在工作流管理器中:

  1. 我们将连接到存储库“guru99”,所以双击文件夹进行连接。
  2. 输入用户名和密码,然后选择“连接”按钮。

用于从工作流管理器登录到 guru99 存储库的连接对话框

步骤3) 在工作流管理器中:

  1. 右键单击文件夹
  2. 在弹出菜单中,选择“打开”选项。

在存储库文件夹上单击右键菜单,显示“打开”选项

这将打开工作流管理器的工作区。

文件夹打开后,工作流管理器工作区即可使用。

如何为工作流管理器创建连接

要在工作流管理器中执行任何任务,都需要创建连接。集成服务通过这些连接连接到不同的对象。

例如,在你的 地图ping如果你有一个源表, Oracle 那么你就需要一个数据库。 Oracle 连接以便集成服务可以连接到 Oracle 从数据库中获取源数据。

工作流管理器中可以创建以下类型的连接。

  • 关系联系
  • FTP连接
  • 队列
  • 应用领域

您选择创建哪种连接取决于您要连接的源系统和目标系统的类型。通常情况下,您会使用关系型连接。

创建关系连接

步骤1) 在工作流管理器中:

  1. 点击“连接”菜单
  2. 选择“关系”选项

在工作流管理器中,“连接”菜单中已选择“关系”选项

步骤2) 在弹出窗口中:

  1. 选择 Oracle 类型
  2. 点击新按钮

关系连接浏览器 Oracle 已选中,新建按钮高亮显示

步骤3) 在连接对象定义的新窗口中:

  1. 输入连接名称(新名称 – guru99)
  2. 输入用户名
  3. 输入密码
  4. 输入连接字符串
  5. 其他设置保持默认,然后单击“确定”按钮

连接对象定义窗口已填充 guru99 连接详细信息

注意: – 连接字符串是集成服务用于访问数据库的数据库服务或 TNS 名称,而不是连接名称,连接名称只是一个标签。

步骤4) 您将返回上一个窗口。点击关闭按钮。

关系连接浏览器列出了新创建的 guru99 连接

现在您已在工作流管理器中设置好关系连接。

工作流管理器的组件

工作流管理器包含三个组成工具,用于在工作流管理器中创建各种对象。这些工具是:

  • 任务开发者
  • 工作集设计器
  • 工作流设计器

下面展示了这三种工具。

工作流管理器中的任务开发人员、工作单元设计器和工作流设计器工具

任务开发者 任务开发工具可以帮助您创建可重用对象。在工作流管理器中,可重用对象是指可以在多个工作流中重复使用的对象。例如,如果您在任务开发工具中创建了一个命令任务,则可以在任意数量的工作流中重复使用此任务。

工作集设计器 – Worklet Designer 创建工作区,工作区是由一组任务组成的,其行为类似于小型工作流,​​可以插入到其他工作流中。

工作流设计器的作用是执行添加到工作流中的任务。您可以向工作流中添加任意数量的任务。

在任务开发工具中,您可以创建三种类型的可重用任务。

  • 命令任务
  • 会话任务
  • 电子邮件任务

命令任务 命令任务用于执行不同的 Windows 或者在工作流执行期间执行 UNIX 命令。您可以创建命令任务来执行各种基于命令的任务。借助此任务,您可以执行创建文件和文件夹、删除文件和文件夹、通过 FTP 上传文件等命令。

会话任务 – 在 Informatica 中,运行映射需要会话任务。ping.

  • 如果没有会话任务,则无法执行或运行映射。ping
  • 会话任务只能执行单个映射。ping因此,地图与现实之间存在一一对应的关系。ping 以及一次会议
  • 会话任务是一个对象,Informatica 借助该对象了解如何、在哪里以及何时执行映射。ping
  • 会话不能独立执行;必须将会话添加到工作流程中。
  • 在 会话对象可以配置缓存属性和高级性能优化设置。

电子邮件任务 借助电子邮件任务,您可以在集成服务运行工作流时向指定的收件人发送电子邮件。例如,如果您想监控会话的完成时间,可以配置会话发送一封包含会话开始和结束时间的电子邮件。或者,如果您希望集成服务在工作流完成或失败时通知您,也可以为此配置电子邮件任务。

工作流设计器添加了更多不可重用的任务,用于控制工作流在运行时的行为。

任务 它做什么
时间 运行一张地图ping 具有真实的源和目标连接。
命令 运行 shell 或 DOS 命令,例如复制、归档或删除文件。
电邮 当会话或工作流完成或失败时,发送通知。
决策 评估条件并设置一个值,供后续链接测试。
定时器 等待一段设定的时间或一个绝对时间后,下一个任务才会开始。
通过积极争取让商标与其相匹配的域名优先注册来维护 根据所选选项,停止、中止或使工作流程失败。
转让 为用户定义的工作流变量赋值。
工作区 将一组任务分组,以便该组任务可以在其他工作流程中重复使用。

如何创建命令任务

步骤1) 要创建命令任务,我们将使用任务开发工具。在工作流管理器中,单击菜单中的“任务开发工具”选项卡打开任务开发工具。

从“工作流管理器”菜单中选择“任务开发人员”选项卡

步骤2) 打开 Task Developer 后,请按照以下步骤操作:

  1. 选择“任务”菜单
  2. 选择“创建”选项

在“任务开发工具”中打开“任务”菜单,其中包含“创建”选项。

步骤3) 在创建任务窗口中:

  1. 选择“命令”作为要创建的任务类型。
  2. 输入任务名称
  3. 选择创建按钮

创建任务窗口,并选择“命令”作为任务类型

这将创建命令任务。现在您需要配置该任务以向其中添加命令,我们将在下一步中看到这一点。

任务开发人员工作区中新增了命令任务图标。

步骤4) 要配置任务,请双击命令任务图标,这将打开“编辑任务窗口”。在新打开的编辑任务窗口中:

  1. 选择“命令”菜单
  2. 单击添加新命令图标
  3. 输入命令名称
  4. 单击命令图标添加命令文本

这将打开一个命令编辑器框。

在“命令”选项卡的“编辑任务”窗口中,添加了一个新的命令行

步骤5) 在命令编辑器框中,输入命令“mkdir C:\guru99”(这是 Windows 命令创建一个名为“guru99”的文件夹),然后选择确定。

命令编辑器框中包含 mkdir C:\guru99 命令

完成此步骤后,您将返回到编辑任务窗口,并且可以在命令文本框中看到您添加的命令。

步骤6) 在编辑任务窗口中单击“确定”。

“编辑任务”窗口在关闭前会显示已保存的命令。

命令任务将在 Task Developer 的“guru99”存储库下创建。

guru99 存储库下列出的命令任务 cmd_create_folder

注意: – 使用 Ctrl+S 快捷键将更改保存到存储库。

使用键盘快捷键将新命令任务保存到存储库

如何创建工作流来执行命令任务

要执行命令任务,您需要切换到工作流设计器。工作流设计器会构建一个父对象或容器对象,您可以在其中添加多个任务;工作流执行时,所有添加的任务都会执行。要创建工作流,请按照以下步骤操作。

步骤1) 点击“工作流设计器”菜单,打开工作流设计器。

在工作流管理器中选择工作流设计器工具

步骤2) 在工作流设计器中:

  1. 选择“工作流程”菜单
  2. 选择创建选项

在“工作流设计器”中,“工作流”菜单中的“创建”选项

步骤3) 在创建工作流窗口中:

  1. 输入工作流名称
  2. 点击“确定”按钮(其他选项保持默认设置)

创建工作流窗口,并输入工作流名称 wkf_run_command

这将创建工作流程。

命名约定 – 工作流名称以“wkf_”为前缀。例如,如果您有一个名为“s_m_employee_detail”的会话,则该会话的工作流可以命名为“wkf_s_m_employee_detail”。

工作区中仅包含启动任务的空 wkf_run_command 工作流

创建工作流时,它本身不包含任何任务。因此,要执行工作流中的任何任务,您必须将任务添加到工作流中。

步骤4) 要将我们在任务开发器中创建的命令任务添加到工作流设计器中:

  1. 在导航树中,展开“任务”文件夹
  2. 将命令任务拖放到工作流设计器中

将命令任务从导航器树拖到工作流工作区。

步骤5) 从顶部菜单的工具箱中选择“链接任务”选项。“链接任务”选项可将工作流中的各个任务链接到起始任务,从而定义任务的执行顺序。

工作流设计器工具箱中的“链接任务”图标

步骤6) 选择链接任务图标后,即可在开始任务和命令任务之间拖动链接。现在选择开始任务,然后拖动链接到命令任务。

工作流程中从起始任务到命令任务的链接

现在您已准备好执行具有命令任务的工作流。

如何执行工作流程

步骤1) 执行工作流程:

  1. 从菜单中选择“工作流程”选项
  2. 选择“启动工作流程”选项

工作流菜单,并选中“启动工作流”选项

这将打开 工作流监控器 打开窗口并执行工作流程。

工作流监视器报告 wkf_run_command 工作流的运行情况

工作流执行完毕后,它将执行命令任务,在指定的目录中创建一个文件夹(guru99 文件夹)。

命令任务在 C 盘创建了 guru99 文件夹。

会话任务

在 Informatica 中,运行映射需要会话任务。ping前面列出的规则适用于你创建的每个会话:一个会话只运行一张地图。ping会话不能独立运行,它承载着集成服务在运行时使用的连接、缓存和性能设置。

如何创建会话任务

在本练习中,您将为地图创建一个会话任务。ping 您在“m_emp_emp_target”中创建了 以前的文章.

步骤1) 打开工作流管理器和任务开发器。

任务开发工具已在工作流管理器中打开,用于会话练习

步骤2) 现在任务开发工具已打开,在工作流管理器中转到主菜单:

  1. 点击“任务”菜单
  2. 选择创建选项

在任务开发器中,可以使用“任务”菜单创建新的会话任务。

这将打开一个新窗口,“创建任务”。

步骤3) 在创建任务窗口中:

  1. 选择会话作为任务类型。
  2. 请输入任务名称。
  3. 点击创建按钮

在“创建任务”窗口中,选择“会话”,并输入会话名称。

步骤4) 用于选择地图的窗口ping 地图将显示。选择地图。ping 您希望将其与此会话关联;在本例中,请选择“m_emp_emp_target”映射。ping 然后点击“确定”按钮。

地图ping 选中窗口,其中 m_emp_emp_target 已高亮显示

步骤5) 之后,单击“完成”按钮。

“完成”按钮用于关闭“创建任务”窗口。

会话对象将出现在任务开发器中。

任务开发人员工作区中显示的会话对象 s_m_emp_emp_target

步骤6) 在此步骤中,您将为会话任务创建工作流程。单击“工作流程设计器”图标。

工作流设计器图标用于从任务开发人员界面切换到工作流设计器。

步骤7) 在工作流设计器工具中:

  1. 点击“工作流程”菜单
  2. 选择创建选项

在“工作流”菜单中,为会话工作流选择了“创建”选项。

步骤8) 在创建工作流窗口中:

  1. 输入工作流名称
  2. 选择“确定”(其他属性保持默认设置;无需更改任何属性)。

创建用于会话工作流程的工作流窗口

在工作流管理器中,将出现一个启动任务;它是工作流执行的起点。

开始任务显示为新会话工作流程的入口点。

步骤9) 在工作流管理器中:

  1. 在导航树下展开“会话”文件夹。
  2. 将您创建的会话拖放到工作流管理器工作区中。

将会话从“会话”文件夹拖到工作流工作区。

步骤10) 点击工具箱中的链接任务选项。

在工作流设计器工具箱中选择“链接任务”选项

步骤11) 使用链接将开始任务和会话任务关联起来。

连接开始任务和会话任务的链接

步骤12) Double-在工作流管理器中单击会话对象。这将打开一个任务窗口,您可以在其中修改任务属性。

步骤13) 在编辑任务窗口中:

  1. 选择地图ping 标签
  2. 选择连接属性
  3. 将连接分配给源和目标——即我们在前面步骤中创建的连接。
  4. 选择“确定”按钮

编辑任务地图ping 选项卡中已将 guru99 连接分配给源和目标

现在工作流配置已完成,您可以执行该工作流。

会话工作流程已完成,可以开始了。

如何将多个任务添加到开始任务

起始任务是工作流执行的起点。有两种方法可以将多个任务链接到一个起始任务。

  1. 并行
  2. 串行

在并行链接中,任务直接链接到起始任务,所有任务同时并行执行。

如何并行添加任务

步骤1) 在工作流管理器中,打开工作流“wkf_run_command”。

wkf_run_command 工作流在工作流设计器中重新打开

步骤2) 在工作流中,选择会话,然后拖放,添加会话任务“s_m_emp_emp_target”。ping 它。

在同一工作流程中,会话任务已添加到命令任务旁边。

步骤3) 从工具箱中选择链接任务选项。

从工具箱中选择“链接任务”图标,用于并行链接。

步骤4) 点击开始任务,按住鼠标左键并连接到会话任务,即可将会话任务链接到开始任务。

从起始任务到会话任务的链接正在绘制中

链接会话任务后,工作流程将如下所示。

命令任务和会话任务都与启动任务并行链接。

步骤5) 启动工作流程,并在工作流程监控器中进行监控。

工作流程菜单用于启动并行工作流程

工作流监控器随后会报告同一运行中的这两个任务。

工作流监视器行显示了两个任务的并行运行情况。

如何以串行模式添加任务

但在以串行模式添加任务之前,我们必须先删除之前为了演示任务并行执行而添加的链接。为此:

步骤1) 打开工作流“wkf_run_command”。

  1. 选择会话任务的链接。
  2. 在菜单中选择编辑选项
  3. 选择删除选项

对选中的链接应用“删除”选项,编辑菜单。

步骤2) 屏幕上将出现一个确认对话框;选择“是”选项。

确认对话框询问是否删除所选链接

启动任务和会话任务之间的链接将被移除。

移除会话开始链接后的工作流程

步骤3) 现在再次转到顶部菜单,然后从工具箱中选择链接任务选项。

再次选中“链接任务”图标以进行串行链接。

步骤4) 将会话任务链接到命令任务。

从命令任务到会话任务的链接

连接完成后,工作流程将如下所示。

串行工作流,命令任务为会话任务提供数据。

步骤5) 为了使工作流程的视觉呈现更加清晰:

  1. 右键单击工作流程的工作区。
  2. 选择“安排”菜单
  3. 选择水平选项

右键单击“排列菜单”,选择“水平布局”选项

任务从左到右依次排列。

工作区中水平排列的串行工作流程

如果启动工作流,命令任务将首先执行,执行完毕后,会话任务才会启动。

工作流变量

工作流变量允许工作流中的不同任务相互交换信息,也允许任务访问工作流中其他任务的某些属性。例如,要获取当前日期,可以使用内置变量“sysdate”。

最常见的场景是工作流中包含多个任务,其中一个任务需要访问另一个任务的变量。例如,如果工作流中有两个任务,并且要求只有在第一个任务成功执行后才能执行第二个任务,那么可以使用工作流中预定义的变量来实现这种情况。

实现场景

我们之前有一个名为“wkf_run_command”的工作流,其中的任务是以串行模式添加的。现在,我们将在会话任务和命令任务之间的链接中添加一个条件,以便只有在命令任务成功执行后才会执行会话任务。

步骤1) 打开工作流“wkf_run_command”。

已打开串行 wkf_run_command 工作流以添加链接条件

步骤2) Double-点击会话和命令任务之间的链接。

命令任务与选定的会话任务之间的链接,用于编辑

将出现一个表达式窗口。

表达式编辑器已打开,用于工作流链接条件

步骤3) Double-单击“cmd_create_folder”菜单下的状态变量。变量“$cmd_create_folder.status”将出现在右侧的编辑器窗口中。

cmd_create_folder 的状态变量已插入表达式编辑器

步骤4) 现在我们将变量“$cmd_create_folder.status”条件设置为成功状态,这意味着只有当上一个任务执行完毕且执行成功后,下一个会话任务才会运行。

  1. 将变量的值更改为“$cmd_create_folder.status=SUCCEEDED”。
  2. 单击“确定”按钮

链接条件设置为 $cmd_create_folder.status=SUCCEEDED

工作流程大致如下。

工作流程图显示了命令和会话任务之间的条件链接

执行此工作流时,命令任务会首先执行,只有当命令任务成功执行后,会话任务才会执行。

工作流参数

工作流参数是指在整个运行过程中保持不变的值。一旦赋值,该值便保持不变。参数可用于工作流属性,其值可在参数文件中定义。例如,您可以不使用硬编码的连接值,而是在连接名称中使用参数或变量,并在参数文件中定义该值。

参数文件是用来定义映射值的文件。ping 以及工作流变量或参数。这些文件扩展名为“.par”。通常情况下,每个工作流都会创建一个参数文件。

参数文件的优势

  • 有助于将代码从一个环境迁移到另一个环境。
  • 便于调试和测试
  • 无需更改代码即可轻松修改值。

参数文件的结构

参数文件的结构为:每行包含一个节标题,后跟一个名称=值对:

[folder_name.WF:Workflow_name]
$Parameter_name=Parameter_value

Folder_name 是存储库文件夹的名称,workflow name 是您要为其创建参数文件的工作流的名称。

注意: – 集成服务会将第一个等号之前的所有内容视为参数名称,将等号之后的所有内容视为参数值,因此请避免在等号周围添加空格。

我们将为数据库连接“guru99”创建一个参数文件,该数据库连接是我们之前在会话中为源和目标分配的。

如何创建参数文件

步骤1) 创建一个新的空文件(记事本文件)。

为参数文件创建了一个新的空记事本文件

步骤2) 在文件中,按照图中所示输入文本。

包含工作流部分和 $DBConnection_SRC 条目的参数文件内容

步骤3) 将文件保存到名为“C:\guru99”的文件夹 guru99 下,文件名为“wkf_run_command.par”。

另存为对话框,将 wkf_run_command.par 保存到 C:\guru99 文件夹

我们在文件中创建了一个名为“$DBConnection_SRC”的参数;我们将把它分配给工作流中的一个连接。

步骤4) 打开工作流“wkf_run_command”。

  1. 选择“工作流程”菜单
  2. 选择编辑选项

在“工作流”菜单中,已选择“编辑”选项以查看工作流属性

步骤5) 这将打开编辑工作流程窗口。在此窗口中:

  1. 转到“属性”选项卡菜单
  2. 输入参数文件名为“c:\guru99\wkf_run_command.par”
  3. 选择“确定”按钮

“编辑工作流属性”选项卡,其中包含完整的参数文件路径

现在我们已经完成了参数文件内容的定义并将其指向工作流。

下一步是在会话中使用该参数。

步骤6) 在工作流程中,双击会话“s_m_emp_emp_target”,然后:

  1. 选择地图pings 选项卡菜单
  2. 在左侧面板中选择连接属性
  3. 点击目标连接,该连接目前被硬编码为“guru99”。

会话图pings 选项卡显示了硬编码的 guru99 目标连接

步骤7) 将会弹出一个连接浏览器窗口。在该窗口中:

  1. 选择使用连接变量的选项
  2. 输入连接变量名“$DBConnection_SRC”
  3. 选择“确定”按钮

连接浏览器设置为使用连接变量 $DBConnection_SRC

步骤8) 在编辑任务窗口中,目标对象的连接变量将显示出来。在编辑任务窗口中,单击“确定”按钮。

在“编辑任务”窗口中,将连接变量分配给目标。

现在我们已经完成了连接参数的创建以及在参数文件中为其赋值。

当我们执行工作流时,工作流会读取参数文件,在参数文件中查找其参数和变量的值,并获取这些值。

常见问题

工作单元是一组可重用的任务,其行为类似于小型工作流。当相同的任务序列(例如加载后发送通知)在多个工作流中重复出现时,可以使用工作单元。

在工作流的“编辑工作流”属性中,将调度程序附加到工作流;或者使用企业调度程序(例如 Control-M 或 cron)中的 pmcmd 命令行实用程序从外部触发工作流。

Stop 命令允许集成服务完成当前数据的读写操作后再结束。Abort 命令会在 60 秒超时后终止运行并杀死处理线程。

任务状态还可以是失败、中止、停止、禁用、未启动或运行中。链接条件可以将这些状态与工作流变量和运算符结合起来,以控制哪个分支继续执行。

是的。一个文件可以包含多个部分,每个部分都有自己的文件夹和工作流名称,因此一个文件可以为多个工作流、工作单元和会话提供值。

最常见的原因是集成服务节点上缺少邮件服务器配置、收件人地址未设置或拼写错误,以及任务从未链接到工作流。

Informatica CLAIRE 会推荐运行计划,根据历史运行元数据预测故障,并标记异常负载量。其他调度器中类似的机器学习功能会在作业超出其运行窗口之前检测到运行时间的漂移。

Copilot 会生成用于启动、停止和部署工作流的 pmcmd 和 pmrep 脚本,并为每个环境生成参数文件。在针对生产代码库运行这些命令之前,务必先检查生成的命令。

总结一下这篇文章: