Informatica 中的工作流监控:甘特图和任务

⚡ 智能摘要

Informatica 中的工作流监视器 tracks 会报告集成服务运行的每个工作流和任务的状态、开始和完成时间、行数和日志,并通过两个互补的布局(任务视图和甘特图视图)进行显示。

  • ???? 首先建立连接: 监视器打开时处于断开连接状态,因此在出现任何运行之前,请右键单击集成服务并选择连接。
  • 🪟 四扇窗户: 导航器、输出、属性和时间窗口显示存储库、服务消息、任务详细信息和运行进度。
  • 📋 任务视图: 以报告格式呈现运行结果,便于比较和筛选多个工作流运行结果。
  • 📊 甘特图视图: 按时间顺序显示相同的运行情况,包括任务名称、持续时间和最新状态。
  • 🔍 运行属性: 右键单击任务并选择“获取运行属性”以读取实例名称、任务类型和计时详细信息。
  • 🎯 行统计信息: 已应用、受影响和已拒绝的计数准确地显示了有多少记录到达了目标表。

Informatica 中的工作流监视器

在之前的教程中,我们讨论了…… 工作流程 ——它实际上就是一组发送给集成服务的命令或指令。它定义了如何运行诸如命令任务、会话任务和电子邮件任务之类的任务。为了确保所有流程都按预期顺序顺利执行,我们需要一个工作流监视器。

什么是工作流监视器?

工作流监控器是一款可以用来监控工作流执行情况以及分配给工作流的任务的工具。它会持续接收来自以下系统的运行信息: 集成服务 以及存储库服务,它会从存储库中获取历史运行详情。

在工作流监控器中,您可以:

  • 查看执行细节
  • 查看工作流程执行的历史记录
  • 停止、中止或重新启动工作流程和任务
  • 显示至少执行过一次的工作流

工作流监视器由以下窗口组成——

  • 导航窗口 – 显示受监控的存储库、文件夹和集成服务
  • 输出窗口 – 显示来自集成服务和存储库的消息
  • 属性窗口 – 显示任务和工作流的详细信息/属性
  • 时间窗口 – 显示正在运行的任务和工作流程的进度以及时间详情。

下面的屏幕截图显示了在单个工作流监视器会话中排列的四个窗口。

工作流监视器窗口显示导航器、输出、属性和时间窗格

现在,让我们看看工作流监视器能做什么。

如何打开工作流监视器

步骤1) 在 Informatica Designer 或 Workflow Manager 工具栏中,单击 Workflow Monitor 图标。

Informatica 客户端工具栏上的工作流监视器图标已高亮显示

步骤2) 这将打开工作流监视器窗口。

在工作流监控工具中,您会在左侧看到存储库和关联的集成服务。在状态列下方,您可以看到与集成服务的连接状态(已连接或已断开连接)。如果处于断开连接状态,则不会看到任何正在运行的工作流。时间条可帮助您确定任务的执行时间。

工作流监控窗口,左侧显示存储库树,右侧显示时间条。

步骤3) 工作流监视器默认处于断开连接模式。要连接到集成服务,请执行以下操作。

  1. 右键单击集成服务
  2. 选择连接选项

在“集成服务”上单击右键菜单,并选择“连接”选项。

连接后,显示器将显示状态为已连接。

工作流监视器中报告连接状态的集成服务行

Workflow Monitor 中的视图

Informatica Workflow Monitor 中有两种类型的视图可供使用。

  • 任务视图
  • 甘特图视图

两种视图读取的是相同的运行数据,因此选择取决于所提出的问题。

查看 布局 最适合用于
任务视图 报告格式,按工作流程运行组织 比较和筛选多个运行结果
甘特图视图 沿时间轴的年代条 查看任务持续时间和重叠情况

任务查看

任务视图以报告格式显示工作流运行情况,并按工作流运行进行组织。它提供了一种便捷的方式来比较工作流运行情况并筛选工作流运行的详细信息。

任务视图显示以下详细信息

  • 工作流运行列表 – 显示工作流运行列表。列表包含文件夹、工作流、工作单元和任务名称。工作流运行按时间顺序显示,最近一次运行显示在顶部。文件夹和集成服务按字母顺序显示。
  • 状态消息 – 来自集成服务的有关任务或工作流状态的消息。
  • Node – 集成服务的节点执行了该任务。
  • 开始时间 任务或工作流程开始的时间。
  • 完成时间 任务或工作流程完成执行的时间。
  • 状态 – 显示任务或工作流的状态,工作流是已启动、成功、失败还是已中止。

下面所示的报表网格中可以看到每一列。

任务视图报告网格列出了工作流运行情况,包括状态、节点、开始时间和完成时间。

甘特图视图

在甘特图视图中,您可以按时间顺序查看工作流运行情况。甘特图显示以下信息。

  • 任务名称 工作流程中的任务名称
  • 修读年限 执行任务所需的时间
  • 状态 任务或工作流程的最新状态

如何在甘特图视图和任务视图之间切换

要从甘特图切换到任务视图或反之亦然,请单击屏幕截图中所示的相应按钮来更改模式。

用于在甘特图视图和任务视图之间切换的工具栏按钮

示例:如何监控和查看详细信息

在前面的例子中,我们创建了一个

  • 地图ping “m_emp_emp_target”: A 地图ping 是一组关于如何修改数据以及处理影响记录集的转换的指令。
  • 会话“s_m_emp_emp_target”: A 会议 是地图的更高层级对象ping 它指定了执行的属性。例如,性能调优选项、源/目标的连接详细信息等。
  • 工作流“wkf_s_m_emp_emp_target”: 工作流是会话和其他对象的容器,它定义了任务的执行时间以及执行的依赖关系或流程。

现在我们就来分析一下这个主题的执行细节。

步骤1) 如上一主题所述,从工作流设计器重新启动工作流。

从工作流设计器重新启动工作流 wkf_s_m_emp_emp_target

步骤2) 转到工作流监视器,在监视器窗口中,您将看到如屏幕截图所示的详细信息,例如存储库、工作流运行详细信息、节点详细信息、工作流运行开始时间、工作流运行完成时间和状态。

工作流监视器列出了已重启工作流的存储库、节点和运行时间详细信息。

步骤3) 您可以在此处查看当前正在运行的工作流程,其状态为“正在运行”。

状态列报告工作流执行期间的运行状态

步骤4) 工作流执行完成后,其状态将变为成功/失败,并显示开始和结束时间等详细信息。

状态栏已更新为“成功”,并填写了完成时间。

步骤5) 查看任务详细信息

  1. 右键单击任务名称
  2. 在弹出窗口中选择“获取运行属性”
  3. 将出现一个包含任务详细信息的属性窗口

获取运行属性,打开所选会话任务的属性窗口。

步骤6) 点击属性窗口的每个菜单以查看具体详细信息。

任务详情

这里我们选择“任务详情”来查看。它将显示所有详细信息,如实例名称、任务类型、开始时间、集成服务名称等。

“任务详细信息”窗格列出了实例名称、任务类型、开始时间和集成服务名称

来源和 Target 统计数据

源和目标统计信息提供了源和目标的详细信息。例如,从源中提取了多少行数据,目标中填充了多少行数据,当前吞吐量等等。

在以下屏幕中,从源中提取了 14 条记录,并将所有 14 条记录填充到目标表中。

  • 应用的行 表示 Informatica 尝试更新或插入到目标数据库中的记录数。
  • 受影响的行 表示实际应用的行数中有多少行成功加载。这里,所有 14 行都已成功加载到目标数据库中,因此两者的计数相同。
  • 拒绝的行 表示由于目标限制或其他问题而删除了多少行。

源和目标统计报告显示,已应用、受影响和拒绝的行数分别为 14 行和 0 行。

在本教程中,您学习了如何使用工作流监视器打开和监视工作流和任务。当统计数据无法解释故障原因时, trace 数据与 Informatica调试器.

常见问题

右键单击任务或工作流,然后选择“获取会话日志”或“获取工作流日志”。“日志事件”窗口会向日志代理发出请求,日志代理会从运行该任务或工作流的每个节点收集日志。

停止时,集成服务会尝试结束所有当前正在运行的任务,包括工作区内的任务。如果无法结束,则会执行中止操作。电子邮件发送任务始终优先完成。

是的,前提是配置了恢复策略。恢复操作会从中断点继续执行,而重启操作则会从头开始重新运行对象。已暂停的工作流可以恢复,但不能重启。

仅显示至少运行过一次的工作流。如果集成服务仍显示断开连接状态,即使是正在运行的工作流也会保持隐藏状态,直到服务连接恢复为止。

机器学习模型会建立正常的运行时长和行数基线,并在会话加载的行数远低于正常水平或运行时间远超正常水平时发出警报。可观测性工具会将此应用于作业元数据。

Copilot 无法驱动客户端工具,但它可以编写代码。 Python 或者,可以使用 shell 脚本来解析导出的会话日志、对错误代码进行分组并汇总拒绝计数,从而缩短重复故障的分类时间。

是的。pmcmd 程序可以从 shell 启动、停止、中止和报告工作流和任务,因此它是调度程序和自动状态检查的常用选择。

Informatica Intelligent Cloud Services 提供了一种基于浏览器的监控服务。该服务会列出映射的作业状态、已处理的行数和错误详情。ping 由于使用了任务和任务流,因此无需安装桌面客户端。

总结一下这篇文章: