การเปลี่ยนแปลงการควบคุมธุรกรรมใน Informatica (ตัวอย่าง)

⚡ สรุปอย่างชาญฉลาด

การแปลงข้อมูลการควบคุมธุรกรรมใน Informatica เป็นอ็อบเจ็กต์ที่เชื่อมต่อและทำงานอยู่ ซึ่งจะยืนยันหรือยกเลิกการเปลี่ยนแปลงในแต่ละแถวในขณะที่ทำการแมปping รันโดยใช้ตัวแปรในตัวห้าตัวภายในเงื่อนไขที่ประเมินผลหนึ่งครั้งสำหรับแต่ละแถว

  • 🔄 ตัวแปรในตัวห้าตัว: TC_CONTINUE_TRANSACTION, TC_COMMIT_BEFORE, TC_COMMIT_AFTER, TC_ROLLBACK_BEFORE และ TC_ROLLBACK_AFTER จะเป็นตัวกำหนดว่าจะเกิดอะไรขึ้นในแต่ละแถว
  • ⚙️ เงื่อนไขการอยู่อาศัยในอสังหาริมทรัพย์: ช่องเงื่อนไขการควบคุมธุรกรรม (Transaction Control Condition) ในแท็บคุณสมบัติ (Properties) จะเก็บนิพจน์ IIF ที่บริการบูรณาการ (Integration Service) ประเมินผล
  • 🧪 ตัวอย่างการทำงาน: แผนที่เจ็ดping ขั้นตอนการออกแบบจะบันทึกข้อมูล EMP ลงใน EMP_TARGET ทุกครั้งที่พบหมายเลขแผนก 20
  • ✅ ได้ผลหรือไม่ได้ผล: การแปลงใดๆ ที่ยกเลิกขอบเขตการทำธุรกรรมหลังจากนั้น จะทำให้วัตถุนั้นไม่มีประสิทธิภาพสำหรับเป้าหมายที่อยู่เบื้องหลัง
  • 🔧 ประเภทการยืนยันเซสชัน: แผนที่ping โดยการแปลงการควบคุมธุรกรรมที่มีประสิทธิภาพจะทำงานภายใต้ประเภทการยืนยันที่ผู้ใช้กำหนดเอง
  • ⚠️ ค่าส่งคืนที่แน่นอน: หากเงื่อนไขใด ๆ ส่งคืนค่าอื่นที่ไม่ใช่ commit, roll back หรือ continue จะทำให้ Integration Service ล้มเหลวในการดำเนินการเซสชัน

การเปลี่ยนแปลงการควบคุมธุรกรรมใน Informatica

การเปลี่ยนแปลงการควบคุมธุรกรรมคืออะไร?

การควบคุมธุรกรรม (Transaction Control) เป็นการแปลงข้อมูลแบบแอคทีฟและเชื่อมโยงกัน ซึ่งช่วยให้เราสามารถยืนยันหรือยกเลิกธุรกรรมได้ในระหว่างการดำเนินการของแผนที่ (map)pingการยืนยันและการยกเลิกการเปลี่ยนแปลงมีความสำคัญอย่างยิ่ง เนื่องจากเป็นการรับประกันความพร้อมใช้งานของข้อมูล

ในการประมวลผลข้อมูลปริมาณมาก อาจเกิดสถานการณ์ที่ต้องบันทึกข้อมูลลงระบบปลายทาง หากบันทึกข้อมูลบ่อยเกินไป จะทำให้ระบบทำงานหนักเกินไป ในทางกลับกัน หากบันทึกข้อมูลช้าเกินไป ในกรณีที่เกิดข้อผิดพลาด อาจทำให้ข้อมูลสูญหายได้

ดังนั้น เพื่อให้เกิดความยืดหยุ่น จึงมีการจัดเตรียมการแปลง Transaction Control ไว้ แทนที่จะปล่อยให้จุดยืนยัน (commit point) เป็นไปตามค่าเริ่มต้นของเซสชัน การแปลงนี้จะอนุญาตให้มีเงื่อนไขภายใน แผนที่ping กำหนดทีละแถวว่าธุรกรรมหนึ่งสิ้นสุดลงที่ใดและธุรกรรมถัดไปเริ่มต้นที่ใด

คำสั่ง Commit และ Rollback ของ TCL

ในการแปลงข้อมูลนี้ มีตัวแปรในตัวห้าตัวที่สามารถใช้จัดการการดำเนินการได้ เงื่อนไขจะต้องส่งคืนค่าใดค่าหนึ่งจากห้าค่านี้สำหรับทุกแถว และค่าที่อยู่นอกเหนือจากรายการดังกล่าวจะทำให้ Integration Service ล้มเหลวในการเชื่อมต่อ

TC_CONTINUE_TRANSACTION

ใน TC_CONTINUE_TRANSACTION จะไม่มีการดำเนินการใดๆ กระบวนการโหลดข้อมูลจะดำเนินต่อไปตามปกติ นี่คือค่าเริ่มต้นของนิพจน์นี้

TC_COMMIT_BEFORE

ใน TC_COMMIT_BEFORE เมื่อพบว่ามีการตั้งค่าแฟล็กนี้ การยืนยันการทำธุรกรรมจะเกิดขึ้นก่อนการประมวลผลแถวปัจจุบัน จากนั้นธุรกรรมใหม่จะเริ่มต้นขึ้นและเขียนแถวปัจจุบันไปยังปลายทาง

TC_COMMIT_AFTER

ใน TC_COMMIT_AFTER แถวปัจจุบันจะได้รับการประมวลผล จากนั้นจะทำการยืนยัน (commit) และธุรกรรมถัดไปจะเริ่มต้นขึ้น

TC_ROLLBACK_BEFORE

ใน TC_ROLLBACK_BEFORE จะทำการย้อนกลับ (rollback) ก่อน จากนั้นจึงประมวลผลข้อมูลเพื่อเขียนลงไป

TC_ROLLBACK_AFTER

ใน TC_ROLLBACK_AFTER ข้อมูลจะได้รับการประมวลผล จากนั้นจึงทำการย้อนกลับ (rollback)

คุณสมบัติการแปลงการควบคุมธุรกรรม

สามารถกำหนดค่าวัตถุได้จากหน้าต่างแก้ไขการแปลง (Edit Transformations) ซึ่งมีแท็บสี่แท็บเช่นเดียวกับการแปลงอื่นๆ ใน PowerCenter การทราบว่าแท็บใดควบคุมการตั้งค่าใดจะช่วยประหยัดเวลาในการค้นหาในระหว่างขั้นตอนต่อไปนี้

แถบ มีการตั้งค่าอะไรไว้ที่นั่น
การแปลง ชื่อของการเปลี่ยนแปลง คำอธิบาย และระบุว่าวัตถุนั้นสามารถนำกลับมาใช้ใหม่ได้หรือไม่
พอร์ต พอร์ตอินพุตและเอาต์พุต โดยปกติจะสร้างขึ้นโดยการลากคอลัมน์จากขั้นตอนการแปลงข้อมูลต้นทาง
อสังหาริมทรัพย์ เงื่อนไขการควบคุมธุรกรรม เปิดโดยใช้ลูกศรเล็กๆ ที่อยู่ข้างๆ ช่อง และ Tracระดับ ing ถูกบันทึกไว้ในบันทึกเซสชัน
ส่วนขยายเมตาเดตา เมตาเดต้าที่ผู้ใช้กำหนดเองจะถูกเก็บไว้พร้อมกับการแปลงในที่เก็บข้อมูล

การตั้งค่าสองอย่างนี้เป็นส่วนสำคัญที่สุด เงื่อนไขการควบคุมธุรกรรม เก็บนิพจน์ ซึ่งโดยปกติจะเป็นการทดสอบ IIF() ที่ส่งคืนค่าตัวแปรใดตัวแปรหนึ่งจากห้าตัวแปร Tracระดับ กำหนดว่ารายละเอียดเกี่ยวกับการแปลงข้อมูลจะปรากฏในบันทึกการทำงานมากน้อยเพียงใดเมื่อมีการตรวจสอบการทำงาน

การตั้งค่าหนึ่งอยู่นอกเหนือการแปลง เมื่อแผนที่ping ประกอบด้วยการแปลงการควบคุมธุรกรรมที่มีประสิทธิภาพ เซสชันทำงานด้วย ประเภทการคอมมิต ตั้งค่าเป็น "กำหนดเองโดยผู้ใช้" ในแท็บ "คุณสมบัติ" ของ เซสชั่นแทน Target หรือประเภทการคอมมิตซอร์สโค้ดที่ใช้ช่วงเวลาการคอมมิตคงที่

วิธีใช้งาน Transaction Control Transformation ใน Informatica

ในตัวอย่างนี้ เราจะบันทึกข้อมูลไปยังเป้าหมายเมื่อเงื่อนไข "หมายเลขแผนก = 20" เป็นจริง

ขั้นตอน 1) สร้างแผนที่ping โดยใช้ EMP เป็นแหล่งที่มาและ EMP_TARGET เป็นเป้าหมาย แผนที่นี้ping จากนั้น พื้นที่ทำงานของนักออกแบบจะประกอบด้วยแหล่งข้อมูล ตัวระบุคุณสมบัติของแหล่งข้อมูล และคำจำกัดความของเป้าหมาย

แผนที่แสดงที่ตั้งบริษัทping พื้นที่ทำงานของนักออกแบบที่มีแหล่งที่มาของ EMP, ตัวกำหนดคุณสมบัติของแหล่งที่มา และคำจำกัดความเป้าหมาย EMP_TARGET

ขั้นตอน 2) สร้างการแปลงข้อมูลใหม่โดยใช้เมนู Transformation จากนั้นในหน้าต่าง Create Transformation:

  1. เลือกการควบคุมธุรกรรมเป็นการแปลงข้อมูลใหม่
  2. ป้อนชื่อการเปลี่ยนแปลง “tc_commit_dept20”
  3. เลือกตัวเลือกสร้าง

สร้างหน้าต่าง Transformation โดยเลือก Transaction Control และป้อนชื่อ tc_commit_dept20

ขั้นตอน 3) การแปลงข้อมูลการควบคุมธุรกรรมจะถูกสร้างขึ้น เลือกปุ่มเสร็จสิ้น วัตถุใหม่จะปรากฏบนพื้นที่ทำงานถัดจากตัวกำหนดแหล่งที่มา

การแปลงควบคุมธุรกรรม tc_commit_dept20 ถูกสร้างขึ้นถัดจากตัวกำหนดแหล่งที่มา

ขั้นตอน 4) ลากและวางคอลัมน์ทั้งหมดจาก Source Qualifier ไปยังการแปลงข้อมูล Transaction Control จากนั้นเชื่อมโยงคอลัมน์ทั้งหมดจากการแปลงข้อมูล Transaction Control ไปยังตารางเป้าหมาย ตอนนี้ไปป์ไลน์จะทำงานเป็น source → Source Qualifier → tc_commit_dept20 → EMP_TARGET

คอลัมน์ Source Qualifier เชื่อมโยงผ่าน tc_commit_dept20 ไปยังตาราง EMP_TARGET

ขั้นตอน 5) Double คลิกที่การแปลง Transaction Control จากนั้นในหน้าต่างแก้ไขคุณสมบัติ:

  1. เลือกแท็บคุณสมบัติ
  2. คลิกที่ไอคอนตัวแก้ไขการควบคุมธุรกรรม

แท็บคุณสมบัติในหน้าต่างแก้ไขการแปลงข้อมูลจะแสดงไอคอนตัวแก้ไขการควบคุมธุรกรรม

ขั้นตอน 6) ในช่องแก้ไขนิพจน์ ให้ป้อนนิพจน์ต่อไปนี้ –

iif(deptno=20,tc_commit_before,tc_continue_transaction)

จากนั้นเลือก ตกลง (OK) หมายความว่า หากพบหมายเลขแผนก 20 ให้ยืนยันธุรกรรมในปลายทาง มิฉะนั้นให้ดำเนินการประมวลผลปัจจุบันต่อไป

ตัวแก้ไขนิพจน์ที่เก็บเงื่อนไข IIF ซึ่งจะยืนยันก่อนแถวที่มีหมายเลขแผนก 20

ขั้นตอน 7) เลือก OK ในหน้าต่างก่อนหน้า เงื่อนไขดังกล่าวจะถูกบันทึกไว้ในแท็บ Properties ของการแปลงแล้ว

แท็บ Properties ของหน้าต่าง Edit Transformations หลังจากบันทึกเงื่อนไขการควบคุมธุรกรรมแล้ว

ตอนนี้บันทึกแผนที่ping และเรียกใช้งานหลังจากสร้างเซสชันและเวิร์กโฟลว์แล้ว แผนผังนี้ping ระบบจะบันทึกข้อมูลไปยังเป้าหมายเมื่อพบหมายเลขแผนก 20 ในข้อมูล

การเปลี่ยนแปลงการควบคุมธุรกรรมที่มีประสิทธิภาพและไม่มีประสิทธิภาพ

การแปลงข้อมูลนี้เป็นตัวสร้างธุรกรรม มันจะตัดขอบเขตธุรกรรมใดๆ ก็ตามที่มาจากต้นทาง และกำหนดขอบเขตใหม่ของตัวเองสำหรับทุกสิ่งปลายทาง ซึ่งเป็นเหตุผลว่าทำไมตำแหน่งของมันในไปป์ไลน์จึงมีความสำคัญพอๆ กับสภาพของมัน

มันถูกเรียกว่า มีประสิทธิภาพ สำหรับเป้าหมายเมื่อขอบเขตที่สร้างขึ้นยังคงไปถึงเป้าหมายนั้น และ ไม่ได้ผล เมื่อการแปลงข้อมูลในภายหลังลบล้างขอบเขตเหล่านั้น ตามคู่มือการแปลงข้อมูลของ Informatica PowerCenter วัตถุต่อไปนี้จะลบล้างขอบเขตธุรกรรมขาเข้า:

  • ผู้รวบรวมข้อมูล ช่างไม้, อันดับตัวเรียงลำดับหรือการแปลงแบบกำหนดเองที่มีขอบเขตการแปลงเป็นข้อมูลป้อนเข้าทั้งหมด
  • การแปลงข้อมูลแบบกำหนดเองที่กำหนดค่าไว้เพื่อสร้างธุรกรรม
  • การแปลงการควบคุมธุรกรรมอีกรูปแบบหนึ่ง
  • การแปลงกลุ่มอินพุตหลายรายการที่เชื่อมต่อกับจุดควบคุมธุรกรรมต้นทางมากกว่าหนึ่งจุด

การที่ไม่มีประสิทธิภาพสำหรับเป้าหมายไม่ได้หมายความว่าวัตถุนั้นไร้ประโยชน์ การแปลงข้อมูลในขั้นตอนถัดไปที่มีขอบเขตการแปลงเป็นธุรกรรมยังคงใช้ขอบเขตที่กำหนดไว้ในขั้นตอนก่อนหน้า ดังนั้นการแปลงข้อมูลเดียวกันอาจมีประสิทธิภาพสำหรับตัวเรียงลำดับ แต่ไม่มีประสิทธิภาพสำหรับตารางที่อยู่เบื้องหลัง

ในแผนที่ping เมื่อมีเป้าหมายหลายเป้าหมาย วัตถุนั้นอาจมีประสิทธิภาพสำหรับเป้าหมายหนึ่ง แต่ไม่มีประสิทธิภาพสำหรับอีกเป้าหมายหนึ่ง แผนที่ping จะยังคงใช้งานได้ตราบใดที่เป้าหมายทุกเป้าหมายเชื่อมต่อกับการแปลงควบคุมธุรกรรมที่มีประสิทธิภาพ และจะใช้งานไม่ได้ทันทีที่เป้าหมายใดเป้าหมายหนึ่งไม่ได้เชื่อมต่อ ตัวออกแบบจะรายงานว่าการแปลงใดบ้างที่ไม่มีประสิทธิภาพสำหรับเป้าหมายเมื่อทำการแมปping ได้รับการบันทึกหรือตรวจสอบความถูกต้องแล้ว

กฎและแนวทางปฏิบัติสำหรับการเปลี่ยนแปลงการควบคุมธุรกรรม

ปัญหาส่วนใหญ่ในการแปลงข้อมูลนี้มักปรากฏขึ้นในระหว่างการทำงานมากกว่าในระหว่างการออกแบบ ดังนั้นจึงควรตรวจสอบประเด็นต่างๆ ด้านล่างนี้ก่อนที่จะสร้างเซสชัน

  • ค่าที่ส่งคืนนั้นเป็นค่าคงที่ หากเงื่อนไขประเมินค่าได้เป็นอย่างอื่นนอกเหนือจาก commit, rollback หรือ continue บริการ Integration Service จะทำให้เซสชันล้มเหลว
  • TC_CONTINUE_TRANSACTION คือตัวเลือกสำรอง ทุกสาขาของฟังก์ชัน IIF() จะต้องสิ้นสุดที่ใดที่หนึ่ง และค่า continue คือค่าที่ทำให้ธุรกรรมปัจจุบันไม่เปลี่ยนแปลง
  • ประเภทของกลุ่มเป้าหมายมีความสำคัญ การแปลงข้อมูลควบคุมธุรกรรมที่เชื่อมต่อกับเป้าหมายอื่นใดนอกเหนือจากเป้าหมายเชิงสัมพันธ์ XML หรือ MQSeries แบบไดนามิก จะไม่มีผลกับเป้าหมายนั้น
  • เงื่อนไขดังกล่าวสามารถใช้ได้เฉพาะสิ่งที่เข้าถึงได้เท่านั้น เฉพาะพอร์ตที่เชื่อมโยงเข้ากับการแปลง พอร์ตตัวแปร และตัวแปรในตัวเท่านั้นที่จะสามารถใช้งานได้ภายในตัวแก้ไขการควบคุมธุรกรรม
  • ความถี่ในการคอมมิตเป็นสิ่งที่ต้องแลกเปลี่ยนกัน เงื่อนไขที่ยืนยันการเปลี่ยนแปลงเกือบทุกแถวจะทำให้ประโยชน์ของการบัฟเฟอร์หายไป ในขณะที่เงื่อนไขที่แทบไม่เคยเกิดขึ้นเลยจะนำพาความเสี่ยงต่อการสูญเสียข้อมูลกลับมาอีกครั้ง ซึ่งเป็นสิ่งที่การแปลงข้อมูลถูกเพิ่มเข้ามาเพื่อปิดช่องว่างนั้น
  • ตรวจสอบบันทึกการใช้งาน บันทึกจะระบุจุดที่ทำการเปลี่ยนแปลงที่เกิดขึ้นจริง ซึ่งเป็นวิธีที่เร็วที่สุดในการยืนยันว่าเงื่อนไขทำงานได้ตามที่ตั้งใจไว้ การปรับแต่งประสิทธิภาพ.

คำถามที่พบบ่อย

ช่วงเวลาการคอมมิตจะทำการคอมมิตหลังจากจำนวนแถวที่กำหนดไว้ในเซสชัน ในขณะที่เงื่อนไขการควบคุมธุรกรรมจะทำการคอมมิตตามข้อมูลจริง ดังนั้นจุดคอมมิตจึงเป็นไปตามกฎทางธุรกิจมากกว่าจำนวนแถว

คู่มือการแปลงข้อมูล Informatica PowerCenter ระบุว่า การแปลงข้อมูลควบคุมธุรกรรมที่เชื่อมต่อกับเป้าหมายใดๆ ก็ตามที่ไม่ใช่เป้าหมายเชิงสัมพันธ์ XML หรือ MQSeries แบบไดนามิก จะไม่มีผลกับเป้าหมายนั้น

ใช่ สร้างมันใน Transformation Developer หรือเลือก Make Reusable ในแท็บ Transformation ของแผนที่ที่มีอยู่แล้ว แผนที่ทุกอันping จากนั้นจึงอยู่ในเงื่อนไขเดียวกัน ดังนั้นการเปลี่ยนแปลงกฎจึงส่งผลกระทบต่อทุกกรณีพร้อมกัน

การเรียนรู้ของเครื่องจากบันทึกเซสชันในอดีตสามารถระบุโหลดที่ความถี่ในการคอมมิตมีความสัมพันธ์กับเวลาการทำงานที่ยาวนานหรือการย้อนกลับจำนวนมากได้ ข้อเสนอแนะนี้ยังคงเป็นเพียงสมมติฐาน ดังนั้นควรตรวจสอบกับข้อมูลการทำงานจริงก่อนที่จะเปลี่ยนแปลงเงื่อนไข

Copilot สามารถร่างรูปแบบ IIF() และเตือนคุณเกี่ยวกับชื่อตัวแปรทั้งห้าได้ แต่ไม่รู้จักชื่อพอร์ตหรือกฎทางธุรกิจของคุณ ดังนั้นให้ถือว่าผลลัพธ์เป็นจุดเริ่มต้นและตรวจสอบความถูกต้องในตัวแก้ไขนิพจน์

กลยุทธ์การอัปเดตจะกำหนดว่าจะเกิดอะไรขึ้นกับแถวข้อมูล โดยติดแท็กเป็นการแทรก อัปเดต ลบ หรือปฏิเสธ การควบคุมธุรกรรมจะกำหนดว่าเมื่อใดที่แถวข้อมูลที่บันทึกไว้จะถูกทำให้ถาวร ทั้งสองอย่างนี้ตอบคำถามที่แตกต่างกันและมักใช้ร่วมกัน

Cloud Data Integration มาพร้อมกับการแปลงข้อมูล Transaction Control ของตัวเอง ซึ่งมีตัวแปร commit, rollback และ continue เหมือนกัน แนวคิดการออกแบบยังคงเหมือนเดิม แต่ตัววัตถุถูกสร้างขึ้นใน Cloud Mapping ออกแบบโปรแกรมแทนที่จะใช้ในไคลเอนต์ PowerCenter

แถวข้อมูลที่เขียนลงไปตั้งแต่การคอมมิตครั้งล่าสุดในธุรกรรมนั้นจะถูกทิ้งไป ส่วนข้อมูลที่ถูกคอมมิตไปก่อนหน้านี้จะยังคงอยู่ในปลายทาง ซึ่งเป็นเหตุผลว่าทำไมตำแหน่งของจุดคอมมิตจึงเป็นตัวกำหนดว่าความล้มเหลวจะส่งผลกระทบต่อการทำงานมากน้อยเพียงใด

สรุปโพสต์นี้ด้วย: