บทช่วยสอนการแปลง INFORMATICA และการแปลงตัวกรอง
⚡ สรุปอย่างชาญฉลาด
การแปลงข้อมูลใน Informatica เปรียบเสมือนแผนที่ping วัตถุที่สร้าง แก้ไข หรือส่งต่อข้อมูลไปยังเป้าหมาย และการแปลงข้อมูลแบบ Filter เป็นวัตถุที่ทำงานอยู่ ซึ่งจะตัดแถวทั้งหมดที่ไม่ตรงตามเงื่อนไขการกรองเพียงเงื่อนไขเดียวออกไป

การเปลี่ยนแปลงคืออะไร?
การแปลงข้อมูลใน Informatica คืออ็อบเจ็กต์ที่สร้าง แก้ไข หรือส่งต่อข้อมูลไปยังโครงสร้างเป้าหมายที่กำหนดไว้ (ตาราง ไฟล์ หรือเป้าหมายอื่นๆ)
จุดประสงค์ของการแปลงข้อมูลใน Informatica คือการปรับเปลี่ยนข้อมูลต้นทางให้ตรงตามข้อกำหนดของระบบปลายทาง นอกจากนี้ยังช่วยให้มั่นใจได้ถึงคุณภาพของข้อมูลที่กำลังโหลดเข้าสู่ระบบปลายทางด้วย
Informatica นำเสนอการเปลี่ยนแปลงที่หลากหลายเพื่อใช้งานฟังก์ชันเฉพาะ
ตัวอย่างเช่น การคำนวณภาษีโดยอิงจากข้อมูลต้นทาง การทำความสะอาดข้อมูล เป็นต้น ในการแปลงข้อมูล เราเชื่อมต่อพอร์ตเพื่อส่งข้อมูลเข้าไป และการแปลงจะส่งผลลัพธ์กลับมาทางพอร์ตเอาต์พุต
การจำแนกประเภทของการเปลี่ยนแปลง
การแปลงข้อมูลแบ่งออกเป็นสองประเภท ประเภทแรกแบ่งตามการเชื่อมต่อ และประเภทที่สองแบ่งตามการเปลี่ยนแปลงจำนวนแถว ก่อนอื่นเราจะมาดูการแปลงข้อมูลตามการเชื่อมต่อกันก่อน
ประเภทของการเปลี่ยนแปลงตามการเชื่อมต่อ
- การเปลี่ยนแปลงที่เชื่อมโยงกัน
- การเปลี่ยนแปลงที่ไม่เชื่อมโยงกัน
ใน Informatica ระหว่างการสร้างแผนที่pingการแปลงที่เชื่อมโยงกับการแปลงอื่นๆ เรียกว่า การแปลงที่เชื่อมโยงกัน
ตัวอย่างเช่น การแปลงคุณสมบัติแหล่งที่มา ตารางต้นทาง EMP เชื่อมต่อกับการแปลงข้อมูลแบบ Filter เพื่อกรองพนักงานของแผนก
การแปลงที่ไม่เกี่ยวข้องกับการแปลงอื่น ๆ เรียกว่าการแปลงที่ไม่เชื่อมโยงกัน
ฟังก์ชันการทำงานของพวกมันถูกใช้งานโดยการเรียกใช้ภายในทรานส์ฟอร์เมชันอื่นๆ เช่น ทรานส์ฟอร์เมชันนิพจน์ ทรานส์ฟอร์เมชันเหล่านี้ไม่ได้เป็นส่วนหนึ่งของไปป์ไลน์
การแปลงข้อมูลที่เชื่อมโยงกันนั้นเหมาะสมกว่า เมื่อมีการเรียกใช้การแปลงข้อมูลในแต่ละแถวข้อมูลขาเข้า หรือคาดว่าการแปลงข้อมูลจะส่งคืนค่า ตัวอย่างเช่น สำหรับรหัสไปรษณีย์ในแต่ละแถว การแปลงข้อมูลจะส่งคืนชื่อเมือง
การแปลงข้อมูลที่ไม่เชื่อมโยงกันนั้นมีประโยชน์เมื่อต้องการใช้งานฟังก์ชันดังกล่าวเป็นระยะๆ หรือขึ้นอยู่กับเงื่อนไขบางประการเท่านั้น ตัวอย่างเช่น การคำนวณรายละเอียดภาษีหากไม่มีข้อมูลมูลค่าภาษี
แผนภาพด้านล่างแสดงหมวดหมู่ทั้งสองคู่ไว้เคียงข้างกัน
ประเภทของการแปลงข้อมูลโดยพิจารณาจากการเปลี่ยนแปลงจำนวนแถว
- การเปลี่ยนแปลงที่ใช้งานอยู่
- การเปลี่ยนแปลงแบบพาสซีฟ
การแปลงข้อมูลแบบแอคทีฟ คือการแปลงข้อมูลที่แก้ไขแถวข้อมูลและจำนวนแถวข้อมูลที่ป้อนเข้าไป ตัวอย่างเช่น หากการแปลงข้อมูลรับข้อมูลเข้ามาสิบแถวและส่งออกข้อมูลออกมาสิบห้าแถว การแปลงนั้นก็ถือเป็นการแปลงข้อมูลแบบแอคทีฟ นอกจากนี้ ข้อมูลในแถวข้อมูลยังถูกแก้ไขในการแปลงข้อมูลแบบแอคทีฟด้วย
การแปลงข้อมูลแบบพาสซีฟ คือการแปลงข้อมูลที่ไม่เปลี่ยนแปลงจำนวนแถวของข้อมูลนำเข้า ในการแปลงข้อมูลแบบพาสซีฟ จำนวนแถวของข้อมูลนำเข้าและข้อมูลส่งออกจะคงที่ และจะมีการแก้ไขเฉพาะข้อมูลในระดับแถวเท่านั้น
ในการแปลงข้อมูลแบบไม่เชิงรุก จะไม่มีการสร้างแถวใหม่ และจะไม่มีการลบแถวที่มีอยู่แล้ว
ต่อไปนี้เป็นรายการการเปลี่ยนแปลงใน Informatica
- การแปลงรอบคัดเลือกแหล่งที่มา
- การแปลงผู้รวบรวม
- การแปลงเราเตอร์
- การแปลงช่างไม้
- การแปลงอันดับ
- ลำดับ Generator การแปลง
- การแปลงการควบคุมธุรกรรม
- การค้นหาและการแปลงที่นำกลับมาใช้ใหม่ได้
- การแปลงนอร์มัลไลเซอร์
- การปรับแต่งประสิทธิภาพเพื่อการเปลี่ยนแปลง
- การเปลี่ยนแปลงภายนอก
- การแปลงนิพจน์
การแปลงตัวกรองคืออะไร?
การแปลงข้อมูลด้วยตัวกรอง (Filter Transformation) เป็นการแปลงข้อมูลแบบแอคทีฟ เนื่องจากเป็นการเปลี่ยนแปลงจำนวนระเบียนข้อมูล
โดยใช้การแปลงข้อมูลแบบ Filter เราสามารถกรองข้อมูลตามเงื่อนไขการกรองได้
ตัวอย่างเช่น สำหรับการโหลดข้อมูลพนักงานที่มีหมายเลขแผนกเท่ากับ 10 เท่านั้น เราสามารถใส่การแปลงข้อมูลแบบ Filter ลงในแผนที่ได้ping โดยใช้เงื่อนไขการกรอง deptno=10 ดังนั้นเฉพาะเรคอร์ดที่มี deptno=10 เท่านั้นที่จะผ่านการแปลงข้อมูลด้วยตัวกรอง ส่วนเรคอร์ดที่เหลือจะถูกตัดทิ้ง
เงื่อนไขการกรองเริ่มต้นคือ TRUE ดังนั้นการแปลงข้อมูลแบบ Filter ที่สร้างขึ้นใหม่จะผ่านทุกแถวจนกว่าจะมีการป้อนเงื่อนไข แต่ละแถวที่ส่งค่า FALSE กลับมาจะถูกละทิ้ง และข้อความจะถูกเขียนลงในบันทึกเซสชัน
วิธีใช้งานการแปลงฟิลเตอร์
ขั้นตอน 1) สร้าง แผนที่ping โดยมีแหล่งที่มาคือ “EMP” และเป้าหมายคือ “EMP_TARGET”
ขั้นตอน 2) จากนั้นในแผนที่ping:
- เลือกเมนูการแปลง
- เลือกตัวเลือก สร้าง
ขั้นตอน 3) จากนั้นในหน้าต่าง สร้างการแปลง (Create Transformation):
- เลือก การแปลงตัวกรอง จากรายการ
- ป้อนชื่อการแปลง “fltr_deptno_10”
- เลือกตัวเลือก สร้าง
ขั้นตอน 4) การแปลงข้อมูลแบบ Filter จะถูกสร้างขึ้น เลือกปุ่ม “เสร็จสิ้น” ในหน้าต่างสร้างการแปลงข้อมูล (Create Transformation)
ขั้นตอน 5) ในแผนที่ping:
- ลากและวางคอลัมน์ Source Qualifier ทั้งหมดไปยังการแปลง Filter
- เชื่อมโยงคอลัมน์จากการแปลงข้อมูลด้วยตัวกรองเข้ากับตารางเป้าหมาย
ขั้นตอน 6) Double-คลิกที่การแปลงตัวกรองเพื่อเปิดคุณสมบัติ จากนั้น:
- เลือกแท็บ คุณสมบัติ
- คลิกที่ตัวแก้ไขเงื่อนไขตัวกรอง
ขั้นตอน 7) จากนั้นในตัวแก้ไขนิพจน์เงื่อนไขตัวกรอง:
- ป้อนเงื่อนไขตัวกรอง – deptno=10
- กดปุ่ม OK
ขั้นตอน 8) ตอนนี้ กลับไปที่หน้าต่างแก้ไขการแปลง (Edit Transformations) อีกครั้ง ในแท็บคุณสมบัติ (Properties) คุณจะเห็นเงื่อนไขตัวกรอง เลือกปุ่มตกลง (OK)
ตอนนี้บันทึกแผนที่ping และเรียกใช้งานหลังจากสร้างเสร็จแล้ว เซสชั่น และ เวิร์กโฟลว์ในตารางเป้าหมาย จะโหลดเฉพาะระเบียนที่มี deptno=10 เท่านั้น
ด้วยวิธีนี้ คุณสามารถกรองข้อมูลต้นทางโดยใช้การแปลงข้อมูลแบบ Filter ได้
ตัวกรอง เทียบกับ เราเตอร์ เทียบกับ ตัวกรองคุณสมบัติแหล่งที่มา
ใน Informatica มีออบเจ็กต์อยู่ 3 ตัวที่สามารถลบแถวที่ไม่ต้องการได้ และการเลือกออบเจ็กต์ผิดจะส่งผลต่อประสิทธิภาพการทำงานหรือการมองเห็นข้อมูลที่ถูกลบ
| วัตถุ | วิธีการลบแถว | ควรเลือกเมื่อใด |
|---|---|---|
| การแปลงตัวกรอง | กำหนดเงื่อนไขหนึ่งข้อต่อการแปลงข้อมูลหนึ่งครั้ง แถวที่ส่งค่า FALSE กลับมาจะถูกลบออกและบันทึกไว้ในบันทึกเซสชัน | กฎง่ายๆ เพียงข้อเดียวที่ใช้ภายในแผนที่ping. |
| การแปลงเราเตอร์ | มีการกำหนดเงื่อนไขการจัดกลุ่มหลายแบบในการประมวลผลครั้งเดียว แถวที่ไม่ตรงกับเงื่อนไขการจัดกลุ่มใดๆ จะถูกจัดอยู่ในกลุ่มเริ่มต้น | แถวข้อมูลจะต้องถูกแบ่งออกเป็นหลายส่วน หรือต้องเก็บแถวข้อมูลที่ถูกปฏิเสธไว้ |
| แหล่งที่มารอบคัดเลือก กรอง | เงื่อนไขดังกล่าวจะกลายเป็นส่วนหนึ่งของคำสั่ง WHERE ในคำสั่ง SQL ที่อ่านมาจากแหล่งข้อมูลเชิงสัมพันธ์ | แหล่งข้อมูลเป็นแบบเชิงสัมพันธ์ และไม่ควรมีแถวข้อมูลที่ไม่ต้องการออกจากฐานข้อมูล |
เราเตอร์ตัวเดียวจะอ่านข้อมูลขาเข้าเพียงครั้งเดียว ในขณะที่การแปลงข้อมูลด้วยตัวกรองหลายตัวที่ทดสอบข้อมูลขาเข้าเดียวกัน จะทำให้บริการการรวมระบบประมวลผลข้อมูลนั้นอีกครั้งสำหรับแต่ละตัว ตัวกรอง Source Qualifier จะจำกัดสิ่งที่จะถูกส่งออกไปtracการแปลงข้อมูลเริ่มต้นจากแหล่งที่มา ในขณะที่การแปลงข้อมูลด้วยตัวกรองจะจำกัดสิ่งที่ส่งไปยังปลายทาง
เคล็ดลับในการปรับปรุงประสิทธิภาพการแปลงฟิลเตอร์
เงื่อนไขการกรองจะถูกประเมินสำหรับทุกแถวที่เข้าสู่การแปลง ดังนั้นจึงขึ้นอยู่กับว่าวัตถุนั้นอยู่ที่ใดในแผนที่ping มีผลโดยตรงต่อระยะเวลาการประชุม
- ควรวางการแปลงข้อมูลแบบ Filter ให้ใกล้กับแหล่งข้อมูลมากที่สุด เพื่อป้องกันไม่ให้แถวที่ไม่ต้องการผ่านการแปลงข้อมูลในขั้นตอนถัดไป
- เมื่อแหล่งข้อมูลเป็นฐานข้อมูลเชิงสัมพันธ์ ให้ใส่เงื่อนไขลงใน Source Qualifier เนื่องจากฐานข้อมูลกรองแถวได้เร็วกว่า Integration Service
- รักษาเงื่อนไขให้เรียบง่าย นิพจน์ที่ซับซ้อนสามารถย้ายไปไว้ในการแปลงนิพจน์และลดทอนให้เหลือเพียงพอร์ตแฟล็กเดียวที่ตัวกรองใช้ตรวจสอบได้
- ใช้เราเตอร์เพียงตัวเดียวแทนการแปลงฟิลเตอร์หลายตัวที่ทดสอบข้อมูลอินพุตเดียวกัน เพื่อให้ข้อมูลที่เข้ามาถูกอ่านเพียงครั้งเดียว
- โปรดจำไว้ว่าค่าเริ่มต้นคือ TRUE ดังนั้นตัวกรองที่ไม่ได้กำหนดค่าจะส่งผ่านทุกอย่างและซ่อนข้อผิดพลาด
เนื่องจากทุกแถวที่ถูกลบจะถูกบันทึกเป็นข้อความในบันทึกเซสชัน ดังนั้นโดยทั่วไปแล้วผลลัพธ์ที่ไม่พบผลลัพธ์ที่ต้องการอย่างไม่คาดคิด มักจะอธิบายได้ด้วยการอ่านบันทึกนั้นมากกว่าการเรียกใช้แผนที่ซ้ำอีกครั้งping.









