ชุดข้อมูลฝึกฝน ตรวจสอบ และทดสอบ
| ส่วนหนึ่งของเนื้อหา |
| การเรียนรู้ของเครื่อง และ การทำเหมืองข้อมูล |
|---|
 |
งานทั่วไปในการเรียนรู้ของเครื่อง คือการศึกษาและสร้างขั้นตอนวิธี ที่สามารถเรียนรู้และคาดการณ์เกี่ยวกับข้อมูลได้[1] ขั้นตอนวิธีดังกล่าวทำงานโดยการสร้างแบบจำลองทางคณิตศาสตร์จากข้อมูลป้อนเข้าเพื่อคาดการณ์และตัดสินใจโดยใช้ข้อมูล[2] ข้อมูลป้อนเข้าที่ใช้ในการสร้างแบบจำลองโดยทั่วไปจะแบ่งออกเป็นชุดข้อมูลหลายชุด โดยทั่วไปชุดข้อมูล 3 ชุด ได้แก่ ชุดข้อมูลฝึกฝน (training data set), ชุดข้อมูลตรวจสอบ (validation data set) และ ชุดข้อมูลทดสอบ (test data set) จะถูกใช้ในแต่ละขั้นตอนของการสร้างแบบจำลอง
ขั้นแรกแบบจำลองจะทำการฝึกฝนเพื่อปรับค่าพารามิเตอร์ให้เหมาะที่สุดโดยใช้ ชุดข้อมูลการฝึกฝน[3][4] ตัวอย่างเช่น แบบจำลองอย่างการจำแนกแบบเบส์อย่างง่ายได้รับการฝึกฝนโดยใช้เทคนิคการเรียนรู้แบบมีผู้สอน กับชุดข้อมูลการฝึกฝน ในทางปฏิบัติ ชุดข้อมูลฝึกฝนมักประกอบด้วยแถวลำดับของข้อมูลป้อนเข้า และค่าคำตอบที่ถูกต้องสำหรับค่าป้อนเข้านั้น (มักเรียกว่าเป็น "ฉลากกำกับ") ในกรณีนี้ แบบจำลองจะใช้ชุดข้อมูลฝึกฝนเพื่ออนุมานและสร้างผลลัพธ์แล้วนำมาเปรียบเทียบกับคำตอบจริงภาคพื้นดินสำหรับค่าป้อนเข้าแต่ละตัวในชุดข้อมูลการฝึก จากนั้นพารามิเตอร์ของแบบจำลองจะได้รับการปรับค่าโดยขึ้นอยู่กับผลการเปรียบเทียบ โดยวิธีการปรับค่าจะต่างกันไปขึ้นกับประเภทของขั้นตอนวิธีการเรียนรู้
จากนั้นแบบจำลองที่ผ่านการฝึกฝนแล้วจะถูกนำมาทำนายชุดข้อมูลชุดอีกชุด เรียกว่า ชุดข้อมูลตรวจสอบ[5] ในขณะที่ปรับไฮเปอร์พารามิเตอร์[6] จะใช้ชุดข้อมูลการตรวจสอบเพื่อประเมินความเหมาะสมของแบบจำลองกับชุดข้อมูลการฝึกอย่างเป็นกลาง [7] ชุดข้อมูลการตรวจสอบยังมีประโยชน์สำหรับการทำให้เป็นระเบียบโดยการหยุดเร็ว[8]
ในขั้นตอนสุดท้าย ชุดข้อมูลทดสอบ จะถูกนำมาใช้ในการประเมินความเหมาะสมของแบบจำลอง[6] อย่างไรก็ตาม ชุดข้อมูลทดสอบก็อาจถูกเรียกว่าชุดข้อมูลตรวจสอบ โดยเฉพาะเมื่อชุดข้อมูลเดิมถุกแบ่งเป็นแค่ 2 ส่วนคือชุดข้อมูลฝึกฝนกับชุดข้อมูลตรวจสอบ (=ทดสอบ) ไม่ได้แยกชุดข้อมูลตรวจสอบกับชุดข้อมูลทดสอบ[6]
การกำหนดสัดส่วนว่าจะแบ่งข้อมูลเป็นชุดฝึกฝน, ชุดตรวจสอบ และชุดทดสอบเท่าไหร่นั้นขึ้นอยู่กับปัญหาและข้อมูลที่มีอยู่[9]
อ้างอิง
[แก้]- ↑ Ron Kohavi; Foster Provost (1998). "Glossary of terms". Machine Learning. 30: 271–274. doi:10.1023/A:1007411609915.
- ↑ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. New York: Springer. p. vii. ISBN 0-387-31073-8.
Pattern recognition has its origins in engineering, whereas machine learning grew out of computer science. However, these activities can be viewed as two facets of the same field, and together they have undergone substantial development over the past ten years.
- ↑ James, Gareth (2013). An Introduction to Statistical Learning: with Applications in R. Springer. p. 176. ISBN 978-1461471370.
- ↑ Ripley, Brian (1996). Pattern Recognition and Neural Networks. Cambridge University Press. p. 354. ISBN 978-0521717700.
- ↑ James, Gareth (2013). An Introduction to Statistical Learning: with Applications in R. Springer. p. 176. ISBN 978-1461471370.
- ↑ 6.0 6.1 6.2 Brownlee, Jason (2017-07-13). "What is the Difference Between Test and Validation Datasets?". สืบค้นเมื่อ 12 October 2017.
- ↑ Brownlee, Jason (2017-07-13). "What is the Difference Between Test and Validation Datasets?". สืบค้นเมื่อ 12 October 2017.
- ↑ Prechelt, Lutz; Geneviève B. Orr (2012-01-01). "Early Stopping — But When?". ใน Grégoire Montavon; Klaus-Robert Müller (บ.ก.). Neural Networks: Tricks of the Trade. Lecture Notes in Computer Science. Springer Berlin Heidelberg. pp. 53–67. doi:10.1007/978-3-642-35289-8_5. ISBN 978-3-642-35289-8.
- ↑ "Machine learning - Is there a rule-of-thumb for how to divide a dataset into training and validation sets?". Stack Overflow. สืบค้นเมื่อ 2021-08-12.