บทช่วยสอนการทดสอบ ETL

การทดสอบ ETL คืออะไร?

การทดสอบ ETL ดำเนินการเพื่อให้แน่ใจว่าข้อมูลที่โหลดจากต้นทางไปยังปลายทางหลังจากการเปลี่ยนแปลงทางธุรกิจมีความถูกต้อง นอกจากนี้ยังเกี่ยวข้องกับการตรวจสอบข้อมูลในขั้นตอนกลางต่างๆ ที่ใช้ระหว่างต้นทางและปลายทาง ETL ย่อมาจาก Extract-Transform-Load

การทดสอบคลังข้อมูล

การทดสอบคลังข้อมูล เป็นวิธีการทดสอบซึ่งข้อมูลภายในคลังข้อมูลได้รับการทดสอบความสมบูรณ์ ความน่าเชื่อถือ ความถูกต้อง และความสม่ำเสมอ เพื่อให้สอดคล้องกับกรอบข้อมูลของบริษัท วัตถุประสงค์หลักของการทดสอบคลังข้อมูลคือเพื่อให้แน่ใจว่าข้อมูลที่รวมอยู่ภายในคลังข้อมูลมีความน่าเชื่อถือเพียงพอสำหรับบริษัทในการตัดสินใจ

ETL คืออะไร

ETL ย่อมาจาก Extract-Transform-Load และเป็นกระบวนการโหลดข้อมูลจากระบบต้นทางไปยังคลังข้อมูล ข้อมูลจะถูกดึงมาจากฐานข้อมูล OLTP ซึ่งแปลงให้ตรงกับสคีมาคลังข้อมูล และโหลดลงในฐานข้อมูลคลังข้อมูล คลังข้อมูลหลายแห่งยังรวมข้อมูลจากระบบที่ไม่ใช่ OLTP เช่น ไฟล์ข้อความ ระบบเดิม และสเปรดชีต

มาดูกันว่ามันทำงานอย่างไร

ตัวอย่างเช่น มีร้านค้าปลีกซึ่งมีแผนกต่างๆ เช่น การขาย การตลาด โลจิสติกส์ เป็นต้น โดยแต่ละแผนกจะจัดการข้อมูลลูกค้าอย่างเป็นอิสระ และวิธีที่พวกเขาจัดเก็บข้อมูลนั้นแตกต่างกันมาก ฝ่ายขายจะจัดเก็บไว้ตามชื่อลูกค้า ในขณะที่ฝ่ายการตลาดจะจัดเก็บไว้ตามรหัสลูกค้า

หากตอนนี้พวกเขาต้องการตรวจสอบประวัติของลูกค้าและต้องการทราบว่าลูกค้าซื้อผลิตภัณฑ์ต่างๆ อะไรบ้างจากแคมเปญการตลาดที่แตกต่างกัน นั่นคงจะเป็นเรื่องน่าเบื่อมาก

วิธีแก้ไขคือการใช้ ข้อมูลคลังสินค้า เพื่อจัดเก็บข้อมูลจากแหล่งต่าง ๆ ไว้ในโครงสร้างที่เหมือนกันโดยใช้ ETL ETL สามารถแปลงชุดข้อมูลที่แตกต่างกันให้เป็นโครงสร้างแบบรวมได้Later ใช้เครื่องมือ BI เพื่อรับข้อมูลเชิงลึกและรายงานที่มีความหมายจากข้อมูลนี้

แผนภาพต่อไปนี้ในบทช่วยสอนการทดสอบ ETL นี้จะให้แผนที่เส้นทางของกระบวนการทดสอบ ETL และแนวคิดการทดสอบ ETL ต่างๆ:

1) สารสกัด

• ดึงข้อมูลที่เกี่ยวข้อง

2) การแปลง

• แปลงข้อมูลเป็นรูปแบบ DW (คลังข้อมูล)
• คีย์การสร้าง – คีย์คือแอตทริบิวต์ข้อมูลตั้งแต่หนึ่งรายการขึ้นไปที่ระบุเอนทิตีโดยไม่ซ้ำกัน หลากหลาย ประเภทของกุญแจ ได้แก่คีย์หลัก คีย์สำรอง คีย์นอก คีย์ผสม คีย์ตัวแทน คลังข้อมูลเป็นเจ้าของคีย์เหล่านี้และไม่อนุญาตให้หน่วยงานอื่นมอบหมายคีย์เหล่านี้
• การล้างข้อมูล : หลังจากดึงข้อมูลแล้ว จะเข้าสู่ขั้นตอนถัดไปของการล้างข้อมูลและการจัดรูปแบบข้อมูล การทำความสะอาดจะช่วยละเว้นข้อมูลรวมถึงการระบุและแก้ไขข้อผิดพลาด ความสอดคล้องหมายถึงการแก้ไขข้อขัดแย้งระหว่างข้อมูลที่เข้ากันไม่ได้ เพื่อให้สามารถนำไปใช้ในคลังข้อมูลขององค์กรได้ นอกจากนี้ ระบบนี้ยังสร้างเมตาดาต้าที่ใช้ในการวินิจฉัยปัญหาระบบต้นทางและปรับปรุงคุณภาพข้อมูลอีกด้วย

3) โหลด

• โหลดข้อมูลเข้า DW (คลังข้อมูล)
• สร้างข้อมูลรวม – การสร้างข้อมูลรวมคือการสรุปและจัดเก็บข้อมูลที่มีอยู่ใน ตารางข้อเท็จจริง เพื่อปรับปรุงประสิทธิภาพการสืบค้นของผู้ใช้ปลายทาง

กระบวนการทดสอบ ETL

เช่นเดียวกับกระบวนการทดสอบอื่นๆ ETL ก็ผ่านขั้นตอนต่างๆ เช่นกัน ขั้นตอนต่างๆ ของกระบวนการทดสอบ ETL มีดังนี้

การทดสอบ ETL ดำเนินการในห้าขั้นตอน

1. การระบุแหล่งข้อมูลและข้อกำหนด
2. ข้อมูลที่ได้มา
3. ใช้ตรรกะทางธุรกิจและการสร้างแบบจำลองมิติ
4. สร้างและเติมข้อมูล
5. สร้างรายงาน

ประเภทของการทดสอบ ETL

1. การทดสอบการตรวจสอบการผลิต
   ขั้นตอนการทดสอบ: “การปรับสมดุลตาราง” หรือ “การกระทบยอดการผลิต” การทดสอบ ETL ประเภทนี้ดำเนินการกับข้อมูลในขณะที่ข้อมูลถูกย้ายไปยังระบบการใช้งานจริง เพื่อสนับสนุนการตัดสินใจทางธุรกิจของคุณ ข้อมูลในระบบการผลิตของคุณจะต้องอยู่ในลำดับที่ถูกต้อง สารสนเทศ ตัวเลือกการตรวจสอบความถูกต้องของข้อมูลมอบความสามารถในการทดสอบอัตโนมัติและการจัดการ ETL เพื่อให้แน่ใจว่าระบบการผลิตจะไม่ถูกบุกรุกโดยข้อมูล
2. ที่มาที่ Target การทดสอบ (การทดสอบการตรวจสอบ)
   ขั้นตอนการทดสอบ: การทดสอบประเภทดังกล่าวดำเนินการเพื่อตรวจสอบว่าค่าข้อมูลที่แปลงเป็นค่าข้อมูลที่คาดหวังหรือไม่
3. การใช้งาน Upgrades
   ขั้นตอนการทดสอบ: การทดสอบ ETL ประเภทดังกล่าวสามารถสร้างขึ้นได้โดยอัตโนมัติ ซึ่งช่วยประหยัดเวลาในการพัฒนาการทดสอบได้อย่างมาก การทดสอบประเภทนี้จะตรวจสอบว่าข้อมูลที่ดึงมาจากแอปพลิเคชันหรือพื้นที่เก็บข้อมูลรุ่นเก่านั้นเหมือนกันทุกประการกับข้อมูลในพื้นที่เก็บข้อมูลหรือแอปพลิเคชันใหม่
4. การทดสอบข้อมูลเมตา
   ขั้นตอนการทดสอบ: การทดสอบข้อมูลเมตาประกอบด้วยการทดสอบการตรวจสอบประเภทข้อมูล การตรวจสอบความยาวของข้อมูล และการตรวจสอบดัชนี/ข้อจำกัด
5. การทดสอบความสมบูรณ์ของข้อมูล
   ขั้นตอนการทดสอบ: เพื่อตรวจสอบว่าข้อมูลที่คาดหวังทั้งหมดถูกโหลดไปยังเป้าหมายจากแหล่งที่มา การทดสอบความสมบูรณ์ของข้อมูลจึงเสร็จสิ้น การทดสอบบางอย่างที่สามารถทำได้คือการเปรียบเทียบและตรวจสอบความถูกต้องของการนับ การรวม และข้อมูลจริงระหว่างแหล่งที่มาและเป้าหมายสำหรับคอลัมน์ที่มีการแปลงอย่างง่ายหรือไม่มีการแปลง
6. การทดสอบความถูกต้องของข้อมูล
   ขั้นตอนการทดสอบ: การทดสอบนี้ทำเพื่อให้แน่ใจว่าข้อมูลได้รับการโหลดและแปลงอย่างถูกต้องตามที่คาดไว้
7. การทดสอบการเปลี่ยนแปลงข้อมูล
   ขั้นตอนการทดสอบ: การทดสอบการแปลงข้อมูลเสร็จสิ้นในหลายกรณี ไม่สามารถทำได้โดยการเขียนแหล่งข้อมูลเดียว SQL สอบถามและเปรียบเทียบผลลัพธ์กับเป้าหมาย อาจจำเป็นต้องเรียกใช้แบบสอบถาม SQL หลายรายการสำหรับแต่ละแถวเพื่อตรวจสอบกฎการเปลี่ยนแปลง
8. การทดสอบคุณภาพข้อมูล
   ขั้นตอนการทดสอบ:

   การทดสอบคุณภาพข้อมูลประกอบด้วยการทดสอบไวยากรณ์และการอ้างอิง เพื่อหลีกเลี่ยงข้อผิดพลาดใดๆ อันเนื่องมาจากวันที่หรือหมายเลขคำสั่งซื้อในระหว่างกระบวนการทางธุรกิจ การทดสอบคุณภาพข้อมูลจึงเสร็จสิ้น

   การทดสอบไวยากรณ์: มันจะรายงานข้อมูลที่สกปรก ตามอักขระที่ไม่ถูกต้อง รูปแบบอักขระ ลำดับตัวพิมพ์ใหญ่หรือตัวพิมพ์เล็กที่ไม่ถูกต้อง ฯลฯ

   การทดสอบอ้างอิง: จะตรวจสอบข้อมูลตามแบบจำลองข้อมูล ตัวอย่างเช่น: รหัสลูกค้า

   การทดสอบคุณภาพข้อมูล ได้แก่ การตรวจสอบตัวเลข การตรวจสอบวันที่ การตรวจสอบความแม่นยำ การตรวจสอบข้อมูล การตรวจสอบค่าว่าง ฯลฯ

9. การทดสอบ ETL แบบเพิ่มหน่วย
   ขั้นตอนการทดสอบ: การทดสอบนี้ทำขึ้นเพื่อตรวจสอบความสมบูรณ์ของข้อมูลเก่าและข้อมูลใหม่ด้วยการเพิ่มข้อมูลใหม่ การทดสอบส่วนเพิ่มจะตรวจสอบว่าส่วนแทรกและการอัพเดตกำลังได้รับการประมวลผลตามที่คาดไว้ในระหว่างกระบวนการ ETL ส่วนเพิ่ม
10. การทดสอบ GUI/การนำทาง
    ขั้นตอนการทดสอบ: การทดสอบนี้ทำเพื่อตรวจสอบการนำทางหรือลักษณะ GUI ของรายงานส่วนหน้า

วิธีสร้างกรณีทดสอบ ETL

การทดสอบ ETL เป็นแนวคิดที่สามารถนำไปใช้กับเครื่องมือและฐานข้อมูลต่างๆ ในอุตสาหกรรมการจัดการข้อมูลได้ วัตถุประสงค์ของการทดสอบ ETL คือเพื่อให้แน่ใจว่าข้อมูลที่โหลดจากต้นทางไปยังปลายทางหลังจากการเปลี่ยนแปลงทางธุรกิจมีความแม่นยำ นอกจากนี้ยังเกี่ยวข้องกับการตรวจสอบข้อมูลในขั้นตอนกลางต่างๆ ที่ใช้ระหว่างต้นทางและปลายทาง

ในขณะที่ทำการทดสอบ ETL เอกสารสองฉบับที่ผู้ทดสอบ ETL มักจะใช้คือ

1. แผ่นการแมป ETL:แผ่นการแมป ETL ประกอบด้วยข้อมูลทั้งหมดของตารางต้นทางและปลายทาง รวมถึงแต่ละคอลัมน์และการค้นหาในตารางอ้างอิง ผู้ทดสอบ ETL จำเป็นต้องคุ้นเคยกับการสืบค้น SQL เนื่องจากการทดสอบ ETL อาจเกี่ยวข้องกับการเขียนการสืบค้นขนาดใหญ่ที่มีการรวมหลายรายการเพื่อตรวจสอบความถูกต้องของข้อมูลในทุกขั้นตอนของ ETL เอกสารการแมป ETL ให้ความช่วยเหลือที่สำคัญในขณะที่เขียนแบบสอบถามเพื่อการตรวจสอบข้อมูล
2. DB Schema ของแหล่งที่มา Target: ควรเก็บไว้สะดวกเพื่อตรวจสอบรายละเอียดใดๆ ในแผ่นแผนที่

สถานการณ์การทดสอบ ETL และกรณีทดสอบ

1. การตรวจสอบเอกสารการทำแผนที่
   กรณีทดสอบ: ตรวจสอบเอกสารการแมปว่ามีการระบุข้อมูล ETL ที่เกี่ยวข้องหรือไม่ บันทึกการเปลี่ยนแปลงควรเก็บไว้ในเอกสารการแมปทุกฉบับ
2. การตรวจสอบ
   กรณีทดสอบ:

   1) ตรวจสอบโครงสร้างตารางแหล่งที่มาและเป้าหมายเทียบกับเอกสารการแมปที่สอดคล้องกัน
   2) ชนิดข้อมูลต้นทางและชนิดข้อมูลปลายทางควรเหมือนกัน
   3) ความยาวของชนิดข้อมูลทั้งในแหล่งที่มาและเป้าหมายควรเท่ากัน
   4) ตรวจสอบว่ามีการระบุประเภทและรูปแบบของฟิลด์ข้อมูลแล้ว
   5) ความยาวชนิดข้อมูลต้นทางไม่ควรน้อยกว่าความยาวชนิดข้อมูลเป้าหมาย
   6) ตรวจสอบชื่อของคอลัมน์ในตารางกับเอกสารการแมป

3. การตรวจสอบข้อจำกัด
   กรณีทดสอบ: ตรวจสอบให้แน่ใจว่ามีการกำหนดข้อจำกัดสำหรับตารางเฉพาะตามที่คาดไว้
4. ปัญหาความสอดคล้องของข้อมูล
   กรณีทดสอบ:

   1) ชนิดข้อมูลและความยาวสำหรับแอตทริบิวต์เฉพาะอาจแตกต่างกันไปในไฟล์หรือตารางแม้ว่าคำจำกัดความเชิงความหมายจะเหมือนกันก็ตาม
   2) การใช้ข้อจำกัดความสมบูรณ์ในทางที่ผิด

5. ประเด็นความสมบูรณ์
   กรณีทดสอบ:

   1) ตรวจสอบให้แน่ใจว่าข้อมูลที่คาดหวังทั้งหมดถูกโหลดลงในตารางเป้าหมาย
   2) เปรียบเทียบจำนวนบันทึกระหว่างแหล่งที่มาและเป้าหมาย
   3) ตรวจสอบบันทึกที่ถูกปฏิเสธ
   4) ตรวจสอบว่าข้อมูลไม่ควรถูกตัดทอนในคอลัมน์ของตารางเป้าหมาย
   5) ตรวจสอบการวิเคราะห์ค่าขอบเขต
   6) เปรียบเทียบค่าเฉพาะของฟิลด์คีย์ระหว่างข้อมูลที่โหลดไปยัง WH และข้อมูลต้นทาง

6. ปัญหาความถูกต้อง
   กรณีทดสอบ:

   1) ข้อมูลที่สะกดผิดหรือบันทึกไม่ถูกต้อง
   2) ข้อมูลว่าง ไม่ซ้ำกัน หรืออยู่นอกช่วง

7. การแปลง
   กรณีทดสอบ: การแปลง
8. คุณภาพของข้อมูล
   กรณีทดสอบ:

   1) การตรวจสอบหมายเลข: จำเป็นต้องตรวจสอบหมายเลขและตรวจสอบความถูกต้อง
   2) การตรวจสอบวันที่: จะต้องปฏิบัติตามรูปแบบวันที่และควรเหมือนกันในทุกบันทึก
   3) การตรวจสอบความแม่นยำ
   4) การตรวจสอบข้อมูล
   5) การตรวจสอบค่าว่าง

9. ตรวจสอบความถูกต้องเป็นโมฆะ
   กรณีทดสอบ: ตรวจสอบค่า Null โดยระบุ "Not Null" สำหรับคอลัมน์ใดคอลัมน์หนึ่ง
10. ตรวจสอบซ้ำ
    กรณีทดสอบ:

    1) จำเป็นต้องตรวจสอบคีย์เฉพาะ คีย์หลัก และคอลัมน์อื่น ๆ ว่าไม่ซ้ำกันตามความต้องการทางธุรกิจหรือไม่ หากมีแถวซ้ำกัน
    2) ตรวจสอบว่ามีค่าซ้ำกันในคอลัมน์ใด ๆ ที่กำลังดึงข้อมูลจากหลายคอลัมน์ในแหล่งที่มาและรวมเข้าเป็นคอลัมน์เดียวหรือไม่
    3) ตามความต้องการของลูกค้า จำเป็นต้องแน่ใจว่าไม่มีการซ้ำซ้อนในคอลัมน์หลายคอลัมน์ภายในเป้าหมายเท่านั้น

11. การตรวจสอบวันที่
    กรณีทดสอบ: ค่าวันที่กำลังใช้หลายพื้นที่ในการพัฒนา ETL สำหรับ

    1) เพื่อทราบวันที่สร้างแถว
    2) ระบุบันทึกที่ใช้งานอยู่ตามมุมมองการพัฒนา ETL
    3) ระบุบันทึกที่ใช้งานอยู่ตามมุมมองความต้องการทางธุรกิจ
    4) บางครั้งการอัปเดตและการแทรกจะสร้างขึ้นตามค่าวันที่

12. ตรวจสอบข้อมูลให้เสร็จสมบูรณ์
    กรณีทดสอบ:

    1) เพื่อตรวจสอบชุดข้อมูลทั้งหมดในตารางต้นทางและปลายทางโดยลบแบบสอบถามในโซลูชันที่ดีที่สุด
    2) เราต้องระบุแหล่งที่มาลบเป้าหมายและเป้าหมายลบแหล่งที่มา
    3) หากคำสั่งค้นหาแบบลบส่งคืนค่าใด ๆ ค่าเหล่านั้นควรพิจารณาว่าเป็นแถวที่ไม่ตรงกัน
    4) จำเป็นต้องจับคู่แถวระหว่างแหล่งที่มาและเป้าหมายโดยใช้คำสั่ง intersect
    5) จำนวนนับที่ส่งคืนโดย intersect ควรตรงกับจำนวนนับแต่ละรายการของตารางต้นทางและปลายทาง
    6) หากผลลัพธ์การค้นหาแบบลบของแถวและจำนวนที่ตัดกันมีค่าน้อยกว่าจำนวนแหล่งที่มาหรือตารางเป้าหมาย แสดงว่าอาจมีแถวที่ซ้ำกัน

13. ความสะอาดของข้อมูล
    กรณีทดสอบ: ควรลบคอลัมน์ที่ไม่จำเป็นออกก่อนที่จะโหลดลงในพื้นที่จัดเตรียม

ประเภทของข้อบกพร่อง ETL

ประเภทของแมลง	Descriptไอออน
ข้อบกพร่องของอินเทอร์เฟซผู้ใช้/ข้อบกพร่องด้านความงาม	• เกี่ยวข้องกับ GUI ของแอปพลิเคชัน • รูปแบบตัวอักษร ขนาดตัวอักษร สี การจัดตำแหน่ง การสะกดผิด การนำทาง และอื่นๆ
ข้อผิดพลาดที่เกี่ยวข้องกับการวิเคราะห์มูลค่าขอบเขต (BVA)	• ค่าต่ำสุดและสูงสุด
ข้อผิดพลาดที่เกี่ยวข้องกับการแบ่งพาร์ติชันคลาส Equivalence (ECP)	• ประเภทที่ถูกต้องและไม่ถูกต้อง
ข้อบกพร่องอินพุต/เอาท์พุต	• ไม่ยอมรับค่าที่ถูกต้อง • ยอมรับค่าที่ไม่ถูกต้อง
ข้อผิดพลาดในการคำนวณ	• ข้อผิดพลาดทางคณิตศาสตร์ • ผลลัพธ์สุดท้ายไม่ถูกต้อง
โหลดข้อบกพร่องเงื่อนไข	• ไม่อนุญาตให้ผู้ใช้หลายคน • ไม่อนุญาตให้ลูกค้าโหลดตามที่คาดหวัง
ข้อบกพร่องของสภาพการแข่งขัน	• ระบบขัดข้องและค้าง • ระบบไม่สามารถรันแพลตฟอร์มไคลเอนต์ได้
ข้อบกพร่องในการควบคุมเวอร์ชัน	• ไม่มีโลโก้ที่ตรงกัน • ไม่มีข้อมูลเวอร์ชันให้บริการ • สิ่งนี้มักเกิดขึ้นใน การทดสอบการถดถอย
ข้อบกพร่องของ H/W	• อุปกรณ์ไม่ตอบสนองต่อแอปพลิเคชัน
ช่วยเหลือ แหล่งที่มาของข้อบกพร่อง	• ข้อผิดพลาดในเอกสารช่วยเหลือ

ความแตกต่างระหว่างการทดสอบฐานข้อมูลและการทดสอบ ETL

การทดสอบ ETL	การทดสอบฐานข้อมูล
ตรวจสอบว่าข้อมูลถูกย้ายตามที่คาดไว้หรือไม่	เป้าหมายหลักคือการตรวจสอบว่าข้อมูลเป็นไปตามกฎ/มาตรฐานที่กำหนดไว้ในแบบจำลองข้อมูลหรือไม่
ตรวจสอบว่าการนับในแหล่งที่มาและเป้าหมายตรงกันหรือไม่ ตรวจสอบว่าข้อมูลที่แปลงเป็นไปตามที่คาดไว้หรือไม่	ตรวจสอบว่าไม่มีบันทึกเด็กกำพร้าและรักษาความสัมพันธ์คีย์หลักต่างประเทศไว้
ตรวจสอบว่าความสัมพันธ์คีย์หลักต่างประเทศถูกรักษาไว้ในช่วง ETL	ตรวจสอบว่าไม่มีตารางที่ซ้ำซ้อนและฐานข้อมูลได้รับการปรับให้เป็นมาตรฐานอย่างเหมาะสมที่สุด
ตรวจสอบความซ้ำซ้อนในข้อมูลที่โหลด	ตรวจสอบว่าข้อมูลหายไปในคอลัมน์ตามที่จำเป็นหรือไม่

ความรับผิดชอบของผู้ทดสอบ ETL

ความรับผิดชอบหลักของผู้ทดสอบ ETL แบ่งออกเป็นสามประเภท

• ตารางเวที/SFS หรือ MFS
• ใช้ตรรกะการเปลี่ยนแปลงทางธุรกิจ
• Target กำลังโหลดตารางจากไฟล์สเตจหรือตารางหลังจากใช้การแปลง

ความรับผิดชอบบางประการของผู้ทดสอบ ETL คือ

• ทดสอบซอฟต์แวร์ ETL
• ทดสอบส่วนประกอบของคลังข้อมูล ETL
• ดำเนินการทดสอบที่ขับเคลื่อนด้วยข้อมูลแบ็กเอนด์
• สร้าง ออกแบบ และดำเนินการ กรณีทดสอบแผนการทดสอบ และชุดทดสอบ
• ระบุปัญหาและให้แนวทางแก้ไขปัญหาที่อาจเกิดขึ้น
• อนุมัติข้อกำหนดและข้อกำหนดการออกแบบ
• การถ่ายโอนข้อมูลและทดสอบไฟล์แฟลต
• การเขียน SQL Queries3 สำหรับสถานการณ์ต่างๆ เช่น การทดสอบการนับ

การทดสอบประสิทธิภาพใน ETL

การทดสอบประสิทธิภาพใน ETL เป็นเทคนิคการทดสอบเพื่อให้แน่ใจว่าระบบ ETL สามารถรองรับโหลดของผู้ใช้และธุรกรรมหลายรายการได้ เป้าหมายหลักของ ETL การทดสอบประสิทธิภาพ คือการเพิ่มประสิทธิภาพและปรับปรุงประสิทธิภาพเซสชันโดยการระบุและขจัดปัญหาคอขวดของประสิทธิภาพ ฐานข้อมูลต้นทางและเป้าหมาย การแมป เซสชัน และระบบอาจมีปัญหาคอขวดด้านประสิทธิภาพ

หนึ่งในเครื่องมือที่ดีที่สุดที่ใช้สำหรับการทดสอบ/ปรับแต่งประสิทธิภาพคือ Informatica

ระบบอัตโนมัติของการทดสอบ ETL

วิธีการทั่วไปของการทดสอบ ETL คือการใช้สคริปต์ SQL หรือทำการ "ตรวจดูข้อมูล" ของข้อมูล วิธีการทดสอบ ETL เหล่านี้ใช้เวลานาน เกิดข้อผิดพลาดได้ง่าย และไม่ค่อยให้ข้อมูลที่ครบถ้วนสมบูรณ์ ครอบคลุมการทดสอบ- เพื่อเร่ง ปรับปรุงความครอบคลุม ลดต้นทุน ปรับปรุง ข้อบกพร่อง ปันส่วนการตรวจสอบการทดสอบ ETL ในสภาพแวดล้อมการผลิตและการพัฒนาระบบอัตโนมัติเป็นสิ่งจำเป็นของชั่วโมง เครื่องมือหนึ่งดังกล่าวคือ Informatica

แนวทางปฏิบัติที่ดีที่สุดสำหรับการทดสอบ ETL

1. ตรวจสอบให้แน่ใจว่าข้อมูลได้รับการแปลงอย่างถูกต้อง
2. ข้อมูลที่คาดการณ์ไว้ควรถูกโหลดลงในคลังข้อมูลโดยไม่มีการสูญหายของข้อมูลและการตัดทอนข้อมูล
3. ตรวจสอบให้แน่ใจว่าแอปพลิเคชัน ETL ปฏิเสธอย่างเหมาะสมและแทนที่ด้วยค่าเริ่มต้นและรายงานข้อมูลที่ไม่ถูกต้อง
4. ต้องแน่ใจว่าข้อมูลที่โหลดในคลังข้อมูลภายในกรอบเวลาที่กำหนดและคาดหวังเพื่อยืนยันความสามารถในการขยายขนาดและประสิทธิภาพ
5. วิธีการทั้งหมดควรมีการทดสอบหน่วยที่เหมาะสมโดยไม่คำนึงถึงการมองเห็น
6. เพื่อวัดประสิทธิผล การทดสอบทุกหน่วยควรใช้เทคนิคความครอบคลุมที่เหมาะสม
7. พยายามยืนยันหนึ่งครั้งต่อกรณีทดสอบ
8. สร้างบัญชีตัวแทน การทดสอบหน่วย ข้อยกเว้นที่เป็นเป้าหมาย

เช็คเอาท์ - คำถามและคำตอบสัมภาษณ์การทดสอบ ETL