บทช่วยสอนการแปลง INFORMATICA และการแปลงตัวกรอง

⚡ สรุปอย่างชาญฉลาด

การแปลงข้อมูลใน Informatica เปรียบเสมือนแผนที่ping วัตถุที่สร้าง แก้ไข หรือส่งต่อข้อมูลไปยังเป้าหมาย และการแปลงข้อมูลแบบ Filter เป็นวัตถุที่ทำงานอยู่ ซึ่งจะตัดแถวทั้งหมดที่ไม่ตรงตามเงื่อนไขการกรองเพียงเงื่อนไขเดียวออกไป

  • 🔗 การเชื่อมต่อ: การแปลงข้อมูลที่เชื่อมต่อกันจะอยู่ในไปป์ไลน์ ในขณะที่การแปลงข้อมูลที่ไม่เชื่อมต่อกันจะถูกเรียกใช้จากภายในกระบวนการแปลงข้อมูลอื่น
  • 🔁 จำนวนแถว: การแปลงข้อมูลแบบแอคทีฟจะเปลี่ยนจำนวนแถว ในขณะที่การแปลงข้อมูลแบบพาสซีฟจะเปลี่ยนเฉพาะค่าภายในแถวเท่านั้น
  • 🎯 หลักการพื้นฐานของตัวกรอง: เงื่อนไขหนึ่งจะตัดสินว่าแถวใดจะดำเนินการต่อ และแถวเว้นแถวจะถูกคัดออกจากกระบวนการ
  • 🧪 ตัวอย่างการทำงาน: เงื่อนไข deptno=10 จะโหลดเฉพาะข้อมูลของแผนกที่สิบลงใน EMP_TARGET เท่านั้น
  • 📄 บันทึกการใช้งาน: แถวที่มีค่าเป็น FALSE จะถูกละทิ้งและบันทึกไว้ในบันทึกเซสชัน
  • ⚡ ตำแหน่ง: Keeping ตัวกรองที่อยู่ใกล้กับแหล่งข้อมูลจะช่วยป้องกันไม่ให้แถวที่ถูกทิ้งเข้าสู่กระบวนการแปลงข้อมูลในภายหลัง

การแปลงข้อมูลและการแปลงตัวกรองใน Informatica

การเปลี่ยนแปลงคืออะไร?

การแปลงข้อมูลใน Informatica คืออ็อบเจ็กต์ที่สร้าง แก้ไข หรือส่งต่อข้อมูลไปยังโครงสร้างเป้าหมายที่กำหนดไว้ (ตาราง ไฟล์ หรือเป้าหมายอื่นๆ)

จุดประสงค์ของการแปลงข้อมูลใน Informatica คือการปรับเปลี่ยนข้อมูลต้นทางให้ตรงตามข้อกำหนดของระบบปลายทาง นอกจากนี้ยังช่วยให้มั่นใจได้ถึงคุณภาพของข้อมูลที่กำลังโหลดเข้าสู่ระบบปลายทางด้วย

Informatica นำเสนอการเปลี่ยนแปลงที่หลากหลายเพื่อใช้งานฟังก์ชันเฉพาะ

ตัวอย่างเช่น การคำนวณภาษีโดยอิงจากข้อมูลต้นทาง การทำความสะอาดข้อมูล เป็นต้น ในการแปลงข้อมูล เราเชื่อมต่อพอร์ตเพื่อส่งข้อมูลเข้าไป และการแปลงจะส่งผลลัพธ์กลับมาทางพอร์ตเอาต์พุต

การจำแนกประเภทของการเปลี่ยนแปลง

การแปลงข้อมูลแบ่งออกเป็นสองประเภท ประเภทแรกแบ่งตามการเชื่อมต่อ และประเภทที่สองแบ่งตามการเปลี่ยนแปลงจำนวนแถว ก่อนอื่นเราจะมาดูการแปลงข้อมูลตามการเชื่อมต่อกันก่อน

ประเภทของการเปลี่ยนแปลงตามการเชื่อมต่อ

  • การเปลี่ยนแปลงที่เชื่อมโยงกัน
  • การเปลี่ยนแปลงที่ไม่เชื่อมโยงกัน

ใน Informatica ระหว่างการสร้างแผนที่pingการแปลงที่เชื่อมโยงกับการแปลงอื่นๆ เรียกว่า การแปลงที่เชื่อมโยงกัน

ตัวอย่างเช่น การแปลงคุณสมบัติแหล่งที่มา ตารางต้นทาง EMP เชื่อมต่อกับการแปลงข้อมูลแบบ Filter เพื่อกรองพนักงานของแผนก

การแปลงที่ไม่เกี่ยวข้องกับการแปลงอื่น ๆ เรียกว่าการแปลงที่ไม่เชื่อมโยงกัน

ฟังก์ชันการทำงานของพวกมันถูกใช้งานโดยการเรียกใช้ภายในทรานส์ฟอร์เมชันอื่นๆ เช่น ทรานส์ฟอร์เมชันนิพจน์ ทรานส์ฟอร์เมชันเหล่านี้ไม่ได้เป็นส่วนหนึ่งของไปป์ไลน์

การแปลงข้อมูลที่เชื่อมโยงกันนั้นเหมาะสมกว่า เมื่อมีการเรียกใช้การแปลงข้อมูลในแต่ละแถวข้อมูลขาเข้า หรือคาดว่าการแปลงข้อมูลจะส่งคืนค่า ตัวอย่างเช่น สำหรับรหัสไปรษณีย์ในแต่ละแถว การแปลงข้อมูลจะส่งคืนชื่อเมือง

การแปลงข้อมูลที่ไม่เชื่อมโยงกันนั้นมีประโยชน์เมื่อต้องการใช้งานฟังก์ชันดังกล่าวเป็นระยะๆ หรือขึ้นอยู่กับเงื่อนไขบางประการเท่านั้น ตัวอย่างเช่น การคำนวณรายละเอียดภาษีหากไม่มีข้อมูลมูลค่าภาษี

แผนภาพด้านล่างแสดงหมวดหมู่ทั้งสองคู่ไว้เคียงข้างกัน

การแปลงข้อมูลใน Informatica จำแนกตามการเชื่อมต่อและตามการเปลี่ยนแปลงจำนวนแถว

ประเภทของการแปลงข้อมูลโดยพิจารณาจากการเปลี่ยนแปลงจำนวนแถว

  • การเปลี่ยนแปลงที่ใช้งานอยู่
  • การเปลี่ยนแปลงแบบพาสซีฟ

การแปลงข้อมูลแบบแอคทีฟ คือการแปลงข้อมูลที่แก้ไขแถวข้อมูลและจำนวนแถวข้อมูลที่ป้อนเข้าไป ตัวอย่างเช่น หากการแปลงข้อมูลรับข้อมูลเข้ามาสิบแถวและส่งออกข้อมูลออกมาสิบห้าแถว การแปลงนั้นก็ถือเป็นการแปลงข้อมูลแบบแอคทีฟ นอกจากนี้ ข้อมูลในแถวข้อมูลยังถูกแก้ไขในการแปลงข้อมูลแบบแอคทีฟด้วย

การแปลงข้อมูลแบบพาสซีฟ คือการแปลงข้อมูลที่ไม่เปลี่ยนแปลงจำนวนแถวของข้อมูลนำเข้า ในการแปลงข้อมูลแบบพาสซีฟ จำนวนแถวของข้อมูลนำเข้าและข้อมูลส่งออกจะคงที่ และจะมีการแก้ไขเฉพาะข้อมูลในระดับแถวเท่านั้น

ในการแปลงข้อมูลแบบไม่เชิงรุก จะไม่มีการสร้างแถวใหม่ และจะไม่มีการลบแถวที่มีอยู่แล้ว

ต่อไปนี้เป็นรายการการเปลี่ยนแปลงใน Informatica

การแปลงตัวกรองคืออะไร?

การแปลงข้อมูลด้วยตัวกรอง (Filter Transformation) เป็นการแปลงข้อมูลแบบแอคทีฟ เนื่องจากเป็นการเปลี่ยนแปลงจำนวนระเบียนข้อมูล

โดยใช้การแปลงข้อมูลแบบ Filter เราสามารถกรองข้อมูลตามเงื่อนไขการกรองได้

ตัวอย่างเช่น สำหรับการโหลดข้อมูลพนักงานที่มีหมายเลขแผนกเท่ากับ 10 เท่านั้น เราสามารถใส่การแปลงข้อมูลแบบ Filter ลงในแผนที่ได้ping โดยใช้เงื่อนไขการกรอง deptno=10 ดังนั้นเฉพาะเรคอร์ดที่มี deptno=10 เท่านั้นที่จะผ่านการแปลงข้อมูลด้วยตัวกรอง ส่วนเรคอร์ดที่เหลือจะถูกตัดทิ้ง

เงื่อนไขการกรองเริ่มต้นคือ TRUE ดังนั้นการแปลงข้อมูลแบบ Filter ที่สร้างขึ้นใหม่จะผ่านทุกแถวจนกว่าจะมีการป้อนเงื่อนไข แต่ละแถวที่ส่งค่า FALSE กลับมาจะถูกละทิ้ง และข้อความจะถูกเขียนลงในบันทึกเซสชัน

วิธีใช้งานการแปลงฟิลเตอร์

ขั้นตอน 1) สร้าง แผนที่ping โดยมีแหล่งที่มาคือ “EMP” และเป้าหมายคือ “EMP_TARGET”

แผนที่แสดงที่ตั้งบริษัทping โดยเปิดแหล่งกำเนิด EMP และเป้าหมาย EMP_TARGET ไว้ในแผนที่ping นักออกแบบ

ขั้นตอน 2) จากนั้นในแผนที่ping:

  1. เลือกเมนูการแปลง
  2. เลือกตัวเลือก สร้าง

สร้างตัวเลือกที่เลือกจากเมนูการแปลงของแผนที่ping นักออกแบบ

ขั้นตอน 3) จากนั้นในหน้าต่าง สร้างการแปลง (Create Transformation):

  1. เลือก การแปลงตัวกรอง จากรายการ
  2. ป้อนชื่อการแปลง “fltr_deptno_10”
  3. เลือกตัวเลือก สร้าง

สร้างหน้าต่าง Transformation โดยใช้ Filter Transformation และตั้งชื่อว่า fltr_deptno_10

ขั้นตอน 4) การแปลงข้อมูลแบบ Filter จะถูกสร้างขึ้น เลือกปุ่ม “เสร็จสิ้น” ในหน้าต่างสร้างการแปลงข้อมูล (Create Transformation)

มีการเพิ่มการแปลง fltr_deptno_10 ใหม่ลงบนแผนที่ping ผ้าใบ

ขั้นตอน 5) ในแผนที่ping:

  1. ลากและวางคอลัมน์ Source Qualifier ทั้งหมดไปยังการแปลง Filter
  2. เชื่อมโยงคอลัมน์จากการแปลงข้อมูลด้วยตัวกรองเข้ากับตารางเป้าหมาย

พอร์ต Source Qualifier ที่เชื่อมโยงเข้ากับการแปลง Filter และต่อไปยัง EMP_TARGET

ขั้นตอน 6) Double-คลิกที่การแปลงตัวกรองเพื่อเปิดคุณสมบัติ จากนั้น:

  1. เลือกแท็บ คุณสมบัติ
  2. คลิกที่ตัวแก้ไขเงื่อนไขตัวกรอง

แท็บคุณสมบัติของการแปลงตัวกรองที่แสดงแถวเงื่อนไขตัวกรอง

ขั้นตอน 7) จากนั้นในตัวแก้ไขนิพจน์เงื่อนไขตัวกรอง:

  1. ป้อนเงื่อนไขตัวกรอง – deptno=10
  2. กดปุ่ม OK

ตัวแก้ไขนิพจน์ที่มีเงื่อนไขตัวกรอง deptno=10 ถูกป้อนและตรวจสอบแล้ว

ขั้นตอน 8) ตอนนี้ กลับไปที่หน้าต่างแก้ไขการแปลง (Edit Transformations) อีกครั้ง ในแท็บคุณสมบัติ (Properties) คุณจะเห็นเงื่อนไขตัวกรอง เลือกปุ่มตกลง (OK)

เงื่อนไขการกรอง deptno=10 แสดงอยู่ข้างคุณสมบัติเงื่อนไขการกรอง

ตอนนี้บันทึกแผนที่ping และเรียกใช้งานหลังจากสร้างเสร็จแล้ว เซสชั่น และ เวิร์กโฟลว์ในตารางเป้าหมาย จะโหลดเฉพาะระเบียนที่มี deptno=10 เท่านั้น

ด้วยวิธีนี้ คุณสามารถกรองข้อมูลต้นทางโดยใช้การแปลงข้อมูลแบบ Filter ได้

ตัวกรอง เทียบกับ เราเตอร์ เทียบกับ ตัวกรองคุณสมบัติแหล่งที่มา

ใน Informatica มีออบเจ็กต์อยู่ 3 ตัวที่สามารถลบแถวที่ไม่ต้องการได้ และการเลือกออบเจ็กต์ผิดจะส่งผลต่อประสิทธิภาพการทำงานหรือการมองเห็นข้อมูลที่ถูกลบ

วัตถุ วิธีการลบแถว ควรเลือกเมื่อใด
การแปลงตัวกรอง กำหนดเงื่อนไขหนึ่งข้อต่อการแปลงข้อมูลหนึ่งครั้ง แถวที่ส่งค่า FALSE กลับมาจะถูกลบออกและบันทึกไว้ในบันทึกเซสชัน กฎง่ายๆ เพียงข้อเดียวที่ใช้ภายในแผนที่ping.
การแปลงเราเตอร์ มีการกำหนดเงื่อนไขการจัดกลุ่มหลายแบบในการประมวลผลครั้งเดียว แถวที่ไม่ตรงกับเงื่อนไขการจัดกลุ่มใดๆ จะถูกจัดอยู่ในกลุ่มเริ่มต้น แถวข้อมูลจะต้องถูกแบ่งออกเป็นหลายส่วน หรือต้องเก็บแถวข้อมูลที่ถูกปฏิเสธไว้
แหล่งที่มารอบคัดเลือก กรอง เงื่อนไขดังกล่าวจะกลายเป็นส่วนหนึ่งของคำสั่ง WHERE ในคำสั่ง SQL ที่อ่านมาจากแหล่งข้อมูลเชิงสัมพันธ์ แหล่งข้อมูลเป็นแบบเชิงสัมพันธ์ และไม่ควรมีแถวข้อมูลที่ไม่ต้องการออกจากฐานข้อมูล

เราเตอร์ตัวเดียวจะอ่านข้อมูลขาเข้าเพียงครั้งเดียว ในขณะที่การแปลงข้อมูลด้วยตัวกรองหลายตัวที่ทดสอบข้อมูลขาเข้าเดียวกัน จะทำให้บริการการรวมระบบประมวลผลข้อมูลนั้นอีกครั้งสำหรับแต่ละตัว ตัวกรอง Source Qualifier จะจำกัดสิ่งที่จะถูกส่งออกไปtracการแปลงข้อมูลเริ่มต้นจากแหล่งที่มา ในขณะที่การแปลงข้อมูลด้วยตัวกรองจะจำกัดสิ่งที่ส่งไปยังปลายทาง

เคล็ดลับในการปรับปรุงประสิทธิภาพการแปลงฟิลเตอร์

เงื่อนไขการกรองจะถูกประเมินสำหรับทุกแถวที่เข้าสู่การแปลง ดังนั้นจึงขึ้นอยู่กับว่าวัตถุนั้นอยู่ที่ใดในแผนที่ping มีผลโดยตรงต่อระยะเวลาการประชุม

  • ควรวางการแปลงข้อมูลแบบ Filter ให้ใกล้กับแหล่งข้อมูลมากที่สุด เพื่อป้องกันไม่ให้แถวที่ไม่ต้องการผ่านการแปลงข้อมูลในขั้นตอนถัดไป
  • เมื่อแหล่งข้อมูลเป็นฐานข้อมูลเชิงสัมพันธ์ ให้ใส่เงื่อนไขลงใน Source Qualifier เนื่องจากฐานข้อมูลกรองแถวได้เร็วกว่า Integration Service
  • รักษาเงื่อนไขให้เรียบง่าย นิพจน์ที่ซับซ้อนสามารถย้ายไปไว้ในการแปลงนิพจน์และลดทอนให้เหลือเพียงพอร์ตแฟล็กเดียวที่ตัวกรองใช้ตรวจสอบได้
  • ใช้เราเตอร์เพียงตัวเดียวแทนการแปลงฟิลเตอร์หลายตัวที่ทดสอบข้อมูลอินพุตเดียวกัน เพื่อให้ข้อมูลที่เข้ามาถูกอ่านเพียงครั้งเดียว
  • โปรดจำไว้ว่าค่าเริ่มต้นคือ TRUE ดังนั้นตัวกรองที่ไม่ได้กำหนดค่าจะส่งผ่านทุกอย่างและซ่อนข้อผิดพลาด

เนื่องจากทุกแถวที่ถูกลบจะถูกบันทึกเป็นข้อความในบันทึกเซสชัน ดังนั้นโดยทั่วไปแล้วผลลัพธ์ที่ไม่พบผลลัพธ์ที่ต้องการอย่างไม่คาดคิด มักจะอธิบายได้ด้วยการอ่านบันทึกนั้นมากกว่าการเรียกใช้แผนที่ซ้ำอีกครั้งping.

คำถามที่พบบ่อย

มีเพียงหนึ่งเดียวเท่านั้น นิพจน์อาจรวมการทดสอบหลายอย่างด้วย AND และ OR แต่การแปลงจะประเมินนิพจน์เดียวที่ส่งคืนค่า TRUE หรือ FALSE สำหรับแต่ละแถวที่เข้ามา

ผลลัพธ์ที่เป็นค่าว่างจะถือว่าเป็นค่าเท็จ ดังนั้นแถวนั้นจะถูกลบออก ห่อหุ้มping การใช้พอร์ตใน ISNULL หรือ IIF จะทำให้เจตนาชัดเจนและป้องกันไม่ให้แถวหายไปโดยไม่มีเหตุผลที่ชัดเจน

ใช่แล้ว การเปรียบเทียบสตริงจะคำนึงถึงตัวพิมพ์ใหญ่เล็ก ดังนั้นค่าเช่น SALES จึงไม่ตรงกับ Sales การใช้ UPPER หรือ LOWER กับพอร์ตจะช่วยให้การทดสอบน่าเชื่อถือเมื่อข้อมูลต้นทางไม่สอดคล้องกัน

ผู้ที่กระตือรือร้น นอร์มัลไลเซอร์ คำสั่ง `Union` จะแปลงเรคอร์ดเดียวที่มีคอลัมน์ซ้ำกันให้เป็นหลายแถว และคำสั่ง `Union` จะรวมไปป์ไลน์เข้าด้วยกัน อ็อบเจ็กต์แบบพาสซีฟจะส่งคืนจำนวนแถวเท่าเดิมเสมอ

ไม่มีสิ่งใดป้อนแถวให้กับมัน เพราะมันไม่มีการเชื่อมโยงใดๆ ในไปป์ไลน์ การแปลงข้อมูลอื่นเรียกใช้มันโดยใช้ชื่อพร้อมอาร์กิวเมนต์ รับค่าส่งคืนหนึ่งค่า และอ็อบเจ็กต์จะทำงานเฉพาะสำหรับการเรียกใช้เหล่านั้นเท่านั้น

ใช่แล้ว วัตถุที่นำกลับมาใช้ใหม่ได้ถูกสร้างขึ้นใน Transformation Developer และจัดเก็บไว้ในที่เก็บข้อมูล ดังนั้นคำจำกัดความเดียวจึงสามารถนำไปใช้กับหลายๆ ตัวได้ แผนที่pings และแก้ไขรวบรวมไว้ในที่เดียว

การเรียนรู้ของเครื่องในเครื่องมือบูรณาการสมัยใหม่จะวิเคราะห์แหล่งข้อมูล เสนอหลักเกณฑ์การทำความสะอาดและการจับคู่ และระบุคอลัมน์ที่มีค่าเปลี่ยนแปลง ทำให้ผู้ออกแบบสามารถเริ่มต้นจากไปป์ไลน์ที่แนะนำไว้แล้ว แทนที่จะเริ่มต้นจากหน้าว่างเปล่า

Copilot สร้างไวยากรณ์นิพจน์ เช่น IIF, ISNULL และ DECODE จากคำอธิบายธรรมดา ซึ่งช่วยให้การเขียนเงื่อนไขเร็วขึ้น นิพจน์ที่สร้างขึ้นแต่ละรายการยังคงต้องได้รับการทดสอบกับแถวจริงภายใน Designer อยู่ดี

สรุปโพสต์นี้ด้วย: