Tech Tips วันนี้ขอเชิญ Data Analytics จาก SCB TechX คุณกอล์ฟ เมธี ประเสริฐกิจพันธุ์ มาช่วยแนะนำเทคนิคการประเมินประสิทธิภาพของ Machine Learning ด้วย Confusion matrix โดยตารางนี้จะทำงานร่วมกับชุดข้อมูลที่เราทราบผลจริงแล้ว โดยจะเปรียบเทียบค่าจริง กับค่าที่คาดการณ์จากโมเดล ซึ่งก่อนอื่นขอพาทุกท่านไปรู้จักองค์ประกอบของตาราง (แสดงในตารางที่ 1) ดังนี้:
- True Negative (TN): คือจำนวนครั้งที่โมเดลทำนายว่าไม่ใช่ และจริงๆแล้วก็ไม่ใช่ เช่น Model ทำนายว่าผู้ชายไม่ได้ท้อง (Negative) ซึ่งผลจริงคือผู้ชายไม่ได้ท้อง (True)
- False Positive (FP) หรือ Type 1 error: จำนวนครั้งที่โมเดลทำนายว่าเป็น แต่จริงๆแล้วไม่ใช่ เช่น Model ทำนายว่าผู้ชายท้อง (Positive) ซึ่งผลจริงคือผู้ชายไม่ได้ท้อง (False)
- False Negative (FN) หรือ Type 2 error: จำนวนครั้งที่โมเดลทำนายว่าไม่ใช่ แต่จริงๆแล้วเป็น เช่น ทำนายว่าผู้หญิงไม่ได้ท้อง (Negative) ซึ่งผลจริงคือผู้หญิงท้อง (False)
- True Positive (TP): จำนวนครั้งที่โมเดลทำนายว่าเป็น และจริงๆแล้วก็เป็น เช่น Model ทำนายว่าผู้หญิงท้อง (Positive) ซึ่งผลจริงคือ ผู้หญิงท้อง (True)
จากตารางที่ 1 มี 4 วิธีให้เลือกคำนวณประสิทธิภาพของโมเดลและเราควรเลือกใช้วิธีใดคำตอบอยู่ที่นี่แล้วค่ะ
- Accuracy เหมาะกับการวัดประสิทธิภาพทั่วไปของโมเดลโดยไม่คำนึงถึงประเภทของข้อผิดพลาด
- Precision เหมาะกับสถานการณ์ที่ความผิดพลาดในการทำนายผลเป็นเรื่องสำคัญ เช่น การทำนายอีเมลที่สำคัญว่าเป็นสแปม
- Recall เหมาะสำหรับใช้ในกรณีที่ผลการทำนายผิดพลาดอาจนำไปสู่ผลกระทบร้ายแรง นิยมใช้ Metrix วัดกับ Model ที่ทำนายผลลัพธ์ในทางการแพทย์ (Save Life) โดยต้องการให้ค่า Recall สูงๆ เช่น การทำนายว่าบุคคลไม่ติดเชื้อ HIV แต่จริงๆ แล้วติดเชื้อ
- F1-Score ใช้พิจารณาความสมดุลระหว่าง Precision และ Recall ซึ่งเหมาะสมในการวิเคราะห์ที่ต้องการความแม่นยำและความครอบคลุมทั้งสองด้าน เช่น การวิเคราะห์หุ้น เป็นต้น
Confusion matrix เป็นเครื่องมือที่ใช้วัดประสิทธิภาพของโมเดล Machine Learning โดยเปรียบเทียบผลลัพธ์ที่คาดการณ์กับผลลัพธ์จริง ซึ่งจะช่วยให้เราทราบถึงความถูกต้องและประเภทของข้อผิดที่พลาดเพื่อนำไปปรับปรุงโมเดลให้เหมาะสมยิ่งขึ้นต่อไป
ท้ายนี้บริษัท SCB TechX ให้บริการด้านการจัดการข้อมูลแบบครบวงจร TechX Data & AI Solutions ที่คิดค้นและออกแบบโดยผู้เชี่ยวชาญที่มีประสบการณ์ตรงในการพัฒนา และ Deliver Data ให้แก่องค์กรชั้นนำมากมาย
หากท่านใดสนใจสามารถสอบถามข้อมูลเพิ่มเติมได้ที่ contact@scbtechx.io
อ่านรายละเอียดเพิ่มเติมที่ https://bit.ly/3Q2a9vd
