การทดสอบการปรับปรุงกระบวนการ (TPI) โดยใช้แบบจำลอง PDCA

การปรับปรุงกระบวนการทดสอบคืออะไร?

การปรับปรุงกระบวนการทดสอบ การทดสอบคือการวัดประสิทธิภาพของกระบวนการทดสอบ ระบุจุดอ่อน และทำการเปลี่ยนแปลงอย่างเป็นระบบ เพื่อให้โครงการถัดไปมีคุณภาพสูงขึ้น ต้นทุนต่ำลง และใช้เวลาน้อยลง โดยมองการทดสอบเป็นกระบวนการที่สามารถวัดและปรับแต่งได้ แทนที่จะเป็นกิจกรรมที่ทำซ้ำแบบเดิมในทุกๆ การปล่อยเวอร์ชัน

ลองนึกภาพ Guruโครงการธนาคาร 99 เพิ่งเสร็จสมบูรณ์ คณะกรรมการบริหารชื่นชมผลงานของคุณ และลูกค้าก็พึงพอใจ ถึงกระนั้น เจ้านายของคุณก็ยังมีคำถามบางอย่างที่จะถามคุณ

ผู้จัดการมักจะอธิบายว่า การทดสอบซอฟต์แวร์ เป็นกระบวนการที่ยุ่งยากและควบคุมไม่ได้ เมื่อมองย้อนกลับไป Guruในโครงการ 99 Bank คุณเคยประสบปัญหาใดๆ ต่อไปนี้หรือไม่?

ปัญหาเหล่านี้เป็นปัญหาทั่วไปในโครงการทดสอบเกือบทุกโครงการ หลายองค์กรตระหนักดีว่าการปรับปรุงกระบวนการทดสอบเป็นวิธีเดียวที่จะแก้ไขปัญหาเหล่านี้ได้อย่างยั่งยืน เพราะการเรียนรู้จากความผิดพลาดในอดีตจะช่วยป้องกันไม่ให้เกิดความผิดพลาดซ้ำรอยในรอบการปล่อยเวอร์ชันถัดไป

เหตุใดจึงต้องทดสอบการปรับปรุงกระบวนการ?

สถานการณ์ต่อไปนี้แสดงให้เห็นว่าเหตุใดการปรับปรุงกระบวนการทดสอบจึงมีความสำคัญ Guruโครงการ 99 Bank เสร็จสมบูรณ์แล้ว คุณภาพการทดสอบดีเยี่ยม และคุณได้รับผลตอบรับที่ดีจากลูกค้า

บทเรียนที่ได้จากสถานการณ์นี้คืออะไร? คำตอบนั้นง่ายมาก “พยายามทำให้ดีขึ้นเสมอ”แม้ว่าคุณจะเชื่อว่าคุณทำได้ดีแล้ว แต่ก็ยังมีคนอื่นที่ทำได้ดีกว่าเสมอ เพราะพวกเขามีไอเดียและวิธีแก้ปัญหาที่ดีกว่าของคุณ

ทุกธุรกิจต่างต้องการให้โครงการเสร็จสมบูรณ์ด้วย ที่สูงที่สุด คุณภาพ ที่ ต่ำที่สุด ต้นทุน และใน ที่สั้นที่สุด เวลาในการส่งมอบ การปรับปรุงกระบวนการทดสอบจะช่วยให้ทีมทดสอบก้าวไปสู่เป้าหมายทั้งสามอย่างพร้อมกัน

วิธีการนำกระบวนการปรับปรุงการทดสอบไปใช้?

เพื่อนำการปรับปรุงกระบวนการทดสอบไปใช้ Guruในโครงการ 99 Bank ผู้จัดการทดสอบสามารถปฏิบัติตามได้ PDCA โมเดล PDCA (Plan-Do-Check-Act) เป็นวิธีการจัดการสี่ขั้นตอนที่ใช้ในธุรกิจเพื่อควบคุมและปรับปรุงกระบวนการอย่างต่อเนื่อง แต่ละรอบของวงจรคือวงจรการปรับปรุงหนึ่งรอบ และผลลัพธ์ของขั้นตอน Act จะกลายเป็นข้อมูลป้อนเข้าของขั้นตอน Plan ต่อไป

ขั้นตอนที่ 1) วางแผน

ขั้นตอนการวางแผนคือขั้นตอนที่ออกแบบการปรับปรุง โดยแบ่งออกเป็นสามขั้นตอนย่อย

ขั้นตอนที่ 1.1) ระบุปัญหา

กิจกรรมแรกของกระบวนการปรับปรุงการทดสอบคือ ระบุ ปัญหาที่เกิดขึ้นในโครงการปัจจุบัน ปัญหาในโครงการนี้อาจเกิดขึ้นอีกในโครงการอื่น การแก้ปัญหาและค้นหาแนวทางแก้ไขเพื่อหลีกเลี่ยงปัญหาเหล่านี้ในอนาคตเป็นเป้าหมายหลักของการปรับปรุงการทดสอบ

กลับมาที่โครงการกันต่อ Guruเว็บไซต์ 99 Bank คุณพบปัญหาหรือจุดที่ควรปรับปรุงหรือไม่? เลือกด้านล่าง

ขั้นตอนที่ 1.2) กำหนดเป้าหมาย

ทำความเข้าใจปัญหาและประเด็นต่างๆ ที่เกิดขึ้นในโครงการ นี่คือวิธีที่คุณจะสามารถระบุจุดที่ควรปรับปรุงและขั้นตอนการทดสอบที่ควรให้ความสนใจเป็นอันดับแรกได้

สมมติว่าคุณได้ระบุว่าขั้นตอนการดำเนินการทดสอบใช้เวลาเช่นกัน มาก เวลาและค่าใช้จ่ายในการดำเนินการทดสอบ สามารถทำให้การทดสอบเร็วขึ้นและถูกลงได้หรือไม่? คำถามนี้กลายเป็นเป้าหมายของวงจรการทำงาน เป้าหมายที่มีประโยชน์ควรระบุเป็นตัวเลขและกำหนดเวลา เช่น “ลดความพยายามในการดำเนินการทดสอบการถดถอยลง 30 เปอร์เซ็นต์ก่อนการปล่อยเวอร์ชันถัดไป”

ขั้นตอนที่ 1.3) กำหนดการดำเนินการปรับปรุง

แผนการปรับปรุงจะถูกกำหนดโดยอิงจากเป้าหมายที่ตกลงกันไว้ แผนการปรับปรุงเหล่านี้ควรค่อยเป็นค่อยไปและทยอยนำมาใช้ทีละเล็กทีละน้อย เพราะการเปลี่ยนแปลงทุกอย่างพร้อมกันในคราวเดียวนั้นเป็นไปไม่ได้

ตัวอย่างเช่น เพื่อให้การทดสอบรวดเร็วและประหยัดค่าใช้จ่ายมากขึ้น การดำเนินการต่อไปนี้ถือเป็นทางเลือกที่เหมาะสม

ในตัวอย่างข้างต้น ตัวเลือก A และ B ต่างก็ทำให้การทดสอบเร็วขึ้นและถูกลง ตัวเลือก C จะทำให้การทดสอบเร็วขึ้น แต่มีค่าใช้จ่ายสูงกว่า เพราะผู้ทดสอบที่มีประสบการณ์มากกว่าจะได้รับเงินเดือนสูงกว่า การแลกเปลี่ยนนี้เป็นเหตุผลสำคัญว่าทำไมทุกการกระทำที่เป็นไปได้จึงต้องพิจารณาจากเป้าหมาย ไม่ใช่จากสัญชาตญาณ

ขั้นตอนที่ 2) ทำ

คุณได้กำหนดจุดที่จะปรับปรุงไว้แล้ว ตอนนี้ถึงเวลาสร้างแผนการที่จะนำไปปฏิบัติ แผนนี้ต้องตอบคำถามต่อไปนี้

• จุดปรับปรุงใดบ้างที่ต้องดำเนินการ และควรดำเนินการตามลำดับใด?
• แผนงานนี้ต้องเสร็จเมื่อใด?
• ต้องดำเนินการตามขั้นตอนใดบ้างจึงจะบรรลุแผนได้?
• ใครเป็นผู้รับผิดชอบแต่ละขั้นตอน และจะยืนยันความสำเร็จได้อย่างไร?

ดำเนินการปรับปรุง

เมื่อวางแผนเสร็จแล้ว ก็ต้องนำไปปฏิบัติ การปรับปรุงแก้ไขอาจรบกวนงานทดสอบที่กำลังดำเนินการอยู่ ดังนั้นผู้จัดการทดสอบจึงต้องรับผิดชอบค่าใช้จ่าย ความสนใจ ให้กับพวกเขาเพื่อที่จะ หลีกเลี่ยงสิ่งที่ไม่พึงประสงค์ ผลที่ตามมา

ลองพิจารณาสถานการณ์ต่อไปนี้ ในวันที่ Guruโครงการ 99 Bank เพื่อให้การทดสอบรวดเร็วและประหยัดค่าใช้จ่ายมากขึ้น คุณจึงตัดสินใจใช้ การทดสอบอัตโนมัติ แทนที่การทดสอบการถดถอยด้วยตนเองจำนวนมาก หลังจากดำเนินการดังกล่าวแล้ว ผลผลิตก็เพิ่มขึ้นอย่างมีนัยสำคัญ

ขั้นตอนที่ 3) ตรวจสอบ

ในขั้นตอนการตรวจสอบ คุณจะต้องทำสามสิ่งต่อไปนี้

• ประเมินผล อย่างมีประสิทธิภาพ ของการดำเนินการปรับปรุงการทดสอบ
• วัดกันยังไง. มีประสิทธิภาพ วิธีแก้ไขคือ
• วิเคราะห์ว่ามันเป็นไปได้หรือไม่ การปรับปรุง ต่อไป

เป้าหมายของขั้นตอนนี้คือการยืนยันว่ามาตรการปรับปรุงได้รับการดำเนินการอย่างประสบความสำเร็จ และประเมินว่าเป้าหมายที่กำหนดไว้ในแผนได้บรรลุผลสำเร็จจริงหรือไม่

วิธีที่ดีที่สุดในการประเมินนั้นคือการใช้ ตัวชี้วัดตัวชี้วัดมีความสำคัญอย่างยิ่งต่อการบริหารจัดการองค์กรให้ประสบความสำเร็จ ผู้จัดการฝ่ายทดสอบจะรวบรวมข้อมูลและนำมาใช้วัดตัวชี้วัดต่างๆ เช่น ผลผลิต คุณภาพ และต้นทุน

ตัวอย่างเช่น ก่อนที่จะนำระบบอัตโนมัติมาใช้ในโครงการ การทดสอบประสิทธิภาพการทำงานนั้น... 10 กรณีทดสอบต่อชั่วโมงการทำงานหลังจากนำระบบอัตโนมัติมาใช้แล้ว ผลผลิตที่วัดได้คือ... 20 กรณีทดสอบต่อชั่วโมงการทำงาน.

แต่ปัญหาที่ไม่พึงประสงค์ก็ปรากฏขึ้นควบคู่ไปกับผลประโยชน์นั้น

ในกรณีนี้ การนำระบบอัตโนมัติมาใช้ เพิ่มขึ้น ประสิทธิภาพของการทดสอบ แต่คุณภาพของการทดสอบก็สำคัญเช่นกัน ลดลงดังนั้น การดำเนินการปรับปรุงจึงอาจก่อให้เกิดผลร้ายแรงได้ ผลที่ตามมา ในที่อื่น ในสถานการณ์เช่นนี้ การเลือกเครื่องมือทดสอบจะต้องทำอย่างระมัดระวังยิ่งขึ้น และชุดเครื่องมืออัตโนมัติจะต้องได้รับการตรวจสอบอย่างเข้มงวดเช่นเดียวกับโค้ดที่ใช้งานจริง การประเมินเครื่องมือที่เหมาะสมอย่างเป็นระบบ เช่นเดียวกับที่อธิบายไว้ใน Selenium เกี่ยวกับการสอนป้องกันไม่ให้มีการนำเครื่องมือมาใช้เพียงเพราะมันเป็นที่นิยม

ลองพิจารณาสถานการณ์เดิมอีกครั้ง Guruต้นทุนโครงการ 99 บุกรุก เพราะสมาชิกในทีมทำมากเกินไป เวลามาก เพื่อดำเนินการกรณีทดสอบ คุณบันทึกโดยใช้เครื่องมือทดสอบอัตโนมัติได้ ร้อยละ 30 ของต้นทุนโครงการ นั่นเป็นการปรับปรุงที่ดี แต่เจ้านายของคุณคาดหวังมากกว่านั้น

ดังนั้นคุณจึงต้องมองหาโซลูชันใหม่ ๆ ที่ช่วยปรับปรุงกระบวนการทดสอบให้ดียิ่งขึ้นอยู่เสมอ ในสถานการณ์เช่นนี้ ตัวเลือกอื่น ๆ อาจช่วยประหยัดค่าใช้จ่ายโครงการเพิ่มเติมได้

• บริหารจัดการทรัพยากรบุคคลของคุณอย่างมีประสิทธิภาพ เพื่อให้ผู้ทดสอบที่มีทักษะถูกนำไปใช้ในตำแหน่งที่พวกเขาสร้างคุณค่าสูงสุด
• เจรจาต่อรองเงื่อนไขทางการค้าที่ดีกว่ากับผู้จำหน่ายเครื่องมือและบุคลากรของคุณ
• ยกเลิกกรณีทดสอบที่ซ้ำซ้อนหรือมีมูลค่าต่ำแทนที่จะทำการทดสอบแบบอัตโนมัติ

ขั้นตอนที่ 4) พระราชบัญญัติ

เมื่อดำเนินการปรับปรุงสำเร็จและบรรลุเป้าหมายแล้ว ผู้จัดการทดสอบควรดำเนินการขั้นตอนต่อไปเพื่อปิดท้ายกระบวนการ

• รีวิว ดำเนินกิจกรรมปรับปรุงและนำบทเรียนที่ได้รับไปปฏิบัติใช้
• สร้างมาตรฐาน จุดปรับปรุงภายในกระบวนการจัดการทดสอบ
• บันทึก เอกสารนโยบาย แม่แบบแผนการทดสอบ และเอกสารกระบวนการมาตรฐาน
• กำหนด การเปลี่ยนแปลงเหล่านี้จะถูกนำไปใช้กับโครงการถัดไปเมื่อใดและที่ไหน

หากไม่บรรลุเป้าหมาย วงจรการทำงานจะไม่หยุดลง เป้าหมายที่ไม่บรรลุผลจะถูกนำเข้าสู่ขั้นตอนการวางแผนใหม่ พร้อมกับทุกสิ่งที่ขั้นตอนการตรวจสอบได้เปิดเผยเกี่ยวกับสาเหตุที่การดำเนินการไม่เป็นไปตามเป้าหมาย

เปรียบเทียบ TPI NEXT, TMMi และ CMMI

PDCA คือกลไกสำคัญของการปรับปรุง แต่แบบจำลองอ้างอิงจะบอกคุณว่า "ดีกว่า" นั้นเป็นอย่างไร โดยทั่วไปมีแบบจำลองที่ใช้กันสามแบบ และมักเกิดความสับสนระหว่างแบบจำลองเหล่านี้

ทีพีไอ เน็กซ์ เป็นแบบจำลองอ้างอิงเฉพาะสำหรับการทดสอบที่เผยแพร่โดย Sogeti โดยจะประเมิน 16 ด้านหลัก ซึ่งจัดกลุ่มเป็นสามกลุ่มตามระดับความพร้อมสี่ระดับ ได้แก่ เริ่มต้น ควบคุมได้ มีประสิทธิภาพ และปรับให้เหมาะสมที่สุด เนื่องจากการประเมินเกิดขึ้นทีละด้านหลัก ทีมจึงอาจมีประสิทธิภาพในด้านหนึ่ง ในขณะที่ยังคงควบคุมได้ในอีกด้านหนึ่ง

ทีเอ็มเอ็มไอดูแลรักษาโดย TMMi Foundationเป็นแบบจำลองความสมบูรณ์ของการทดสอบแบบเป็นขั้นตอนที่มีห้าระดับ ได้แก่ ระดับเริ่มต้น ระดับจัดการ ระดับกำหนด ระดับวัดผล และระดับปรับให้เหมาะสม องค์กรจะบรรลุระดับใดระดับหนึ่งได้ก็ต่อเมื่อได้ดำเนินการตามขั้นตอนต่างๆ ในระดับนั้นครบถ้วนแล้ว

ซีเอ็มไอ TMMi ไม่ใช่แบบจำลองสำหรับการทดสอบเลย มันครอบคลุมองค์กรการพัฒนาทั้งหมด และการแสดงผลแบบเป็นขั้นตอนยังประกอบด้วยระดับความสมบูรณ์ห้าระดับ ได้แก่ ระดับเริ่มต้น ระดับจัดการ ระดับกำหนด ระดับจัดการเชิงปริมาณ และระดับปรับให้เหมาะสมที่สุด TMMi ถูกออกแบบมาเพื่อเสริม CMMI มากกว่าที่จะมาแทนที่

ตัวชี้วัดที่พิสูจน์การปรับปรุงกระบวนการทดสอบ

ขั้นตอนการตรวจสอบจะล้มเหลวหากไม่มีตัวเลข ชุดตัวชี้วัดขนาดเล็กที่คงที่ซึ่งรวบรวมก่อนและหลังแต่ละรอบก็เพียงพอแล้ว และต้องใช้คำจำกัดความเดียวกันทั้งสองด้านของการเปรียบเทียบ

• ประสิทธิภาพในการดำเนินการทดสอบ — จำนวนกรณีทดสอบที่ดำเนินการต่อชั่วโมงการทำงานของพนักงาน
• เปอร์เซ็นต์การตรวจจับข้อบกพร่อง (DDP) — ข้อบกพร่องที่พบในระหว่างการทดสอบ คิดเป็นสัดส่วนเท่าใดของข้อบกพร่องทั้งหมดที่พบ รวมถึงข้อบกพร่องที่รายงานหลังจากวางจำหน่ายแล้ว
• ต้นทุนต่อกรณีทดสอบที่ดำเนินการ — ต้นทุนรวมของความพยายามในการทดสอบ หารด้วยจำนวนกรณีทดสอบที่ดำเนินการ
• ความครอบคลุมของข้อกำหนด — ข้อกำหนดที่มีการเชื่อมโยงอย่างน้อยหนึ่งรายการ กรณีทดสอบ
• ระยะเวลาในการแก้ไขข้อบกพร่อง — อายุเฉลี่ยของความผิดปกติในกลุ่มผู้ป่วย วงจรชีวิตข้อบกพร่อง

การใช้ Guruจากข้อมูลของธนาคาร 99 แห่ง ที่พบข้อบกพร่อง 180 รายการในระหว่างการทดสอบ และ 20 รายการที่ลูกค้าแจ้งหลังจากวางจำหน่าย การคำนวณจึงตรงไปตรงมา

# Defect Detection Percentage and improvement deltas
def ddp(found_in_test, found_after_release):
    return found_in_test / (found_in_test + found_after_release) * 100

def delta(before, after):
    return (after - before) / before * 100

print("Defect Detection Percentage: %.1f%%" % ddp(180, 20))
print("Productivity gain: %.1f%%" % delta(10, 20))
print("Test cost change: %.1f%%" % delta(50000, 35000))

Output:

Defect Detection Percentage: 90.0%
Productivity gain: 100.0%
Test cost change: -30.0%

อัตรา DDP 90 เปอร์เซ็นต์หมายความว่าข้อบกพร่อง 1 ใน 10 ยังคงหลุดรอดไปถึงลูกค้า ดังนั้นเป้าหมายด้านคุณภาพจึงไม่บรรลุผลอย่างเต็มที่ แม้ว่าผลผลิตจะเพิ่มขึ้นเป็นสองเท่าและต้นทุนลดลง 30 เปอร์เซ็นต์ก็ตาม มุมมองเดียวนี้เองที่ทำให้ทีมไม่ประกาศชัยชนะเร็วเกินไป

ข้อผิดพลาดทั่วไปในการปรับปรุงกระบวนการทดสอบ

โครงการปรับปรุงส่วนใหญ่ล้มเหลวด้วยเหตุผลด้านองค์กรมากกว่าเหตุผลทางเทคนิค ข้อผิดพลาดต่อไปนี้เป็นสาเหตุหลักที่ทำให้โครงการริเริ่มต่างๆ ถูกยกเลิก

• การพัฒนาโดยไม่มีจุดเริ่มต้น หากไม่มีใครวัดผลกระบวนการก่อนการเปลี่ยนแปลง ก็ไม่มีใครสามารถพิสูจน์ได้ว่าการเปลี่ยนแปลงนั้นช่วยได้ ควรบันทึกข้อมูลพื้นฐานในระหว่างการวางแผน ไม่ใช่หลังจากนั้น
• มุ่งเน้นที่ระดับความเติบโต แทนที่จะมุ่งเน้นที่ปัจจัยขับเคลื่อนธุรกิจ ใบรับรองที่ไม่ได้ช่วยลดต้นทุน ข้อบกพร่อง หรือระยะเวลานำส่ง ถือเป็นค่าใช้จ่าย ไม่ใช่การปรับปรุง
• การเปลี่ยนแปลงมากเกินไปในคราวเดียว เมื่อมีการดำเนินการห้าอย่างในเวอร์ชันเดียวกัน จะไม่สามารถเกิดการถดถอยได้ tracเลือกที่จะอยู่กับคนใดคนหนึ่งในนั้น
• การนำกระบวนการที่ผิดพลาดมาใช้โดยอัตโนมัติ ระบบอัตโนมัติจะเพิ่มจำนวนทวีคูณของกระบวนการใดๆ ก็ตามที่นำไปใช้ รวมถึงการออกแบบการทดสอบที่อ่อนแอและเกณฑ์การป้อนข้อมูลที่ไม่ชัดเจน
• ข้ามไปping ขั้นตอนการลงมือปฏิบัติ การปรับปรุงที่ไม่เคยถูกเขียนไว้ในนโยบายการทดสอบและ วงจรชีวิตการทดสอบซอฟต์แวร์ เอกสารเหล่านั้นจะสูญหายไปพร้อมกับทีมงานโครงการที่คิดค้นมันขึ้นมา
• ไม่รวมผู้ทดสอบ คนที่ไม่ได้รับการปรึกษาหารือเกี่ยวกับการเปลี่ยนแปลง มักจะหาวิธีแก้ไขปัญหาได้เองเสมอ

เพื่อต่อยอดแนวคิดเหล่านี้ โปรดทบทวนขั้นตอนต่างๆ ของ วงจรชีวิตการทดสอบซอฟต์แวร์กระชับ tightenของคุณ กรณีทดสอบ ออกแบบ กำหนดรูปแบบอย่างเป็นทางการ กระบวนการจัดการข้อบกพร่องประเมินว่าอยู่ที่ไหน การทดสอบอัตโนมัติ ให้ผลตอบแทนที่แท้จริง และดูว่าเครื่องมือเช่นนั้นทำงานอย่างไร HP ALM สามารถเก็บค่าตัวชี้วัดที่ขั้นตอนการตรวจสอบของคุณขึ้นอยู่กับได้

คำถามที่พบบ่อย