CHAPTER 3 VALIDATION OF CHEMOMETRIC MODELS AND ANALYSIS OF UNKNOWN SAMPLES

บทที่ 3 
การพิสูจน์แบบจำลองทางเคโมเมทริกและการวิเคราะห์ตัวอย่างที่ไม่รู้ค่า 
VALIDATION OF CHEMOMETRIC MODELS AND ANALYSIS OF UNKNOWN SAMPLES

ในบทที่แล้วได้กล่าวถึงวิธีการสร้างแบบจำลองคาลิเบรชั่นโดยใช้ PLS Reqression ของข้อมูลสเปกตรัมและข้อมูลความเข้มข้นที่สอดคล้องกัน แบบจำลองนี้ให้ค่าเวคเตอร์ของ Score และloading จำนวนจำกัด โดยใช้ข้อมูลสเปกตรัมและข้อมูลความเข้มข้นเปลี่ยนเป็นรหัสข้อมูล ค่าเหล่านี้ถูกนำมาใช้คำนวณค่าคาลิเบรชั่นฟังค์ชั่น b ซึ่งนำมาใช้ในการวิเคราะห์ตัวอย่างที่ไม่รู้ค่า
ในบริบทนี้ สเปกตรัมของตัวอย่างที่ต้องการประเมินจะถูกนำมาวัดค่า จากการรวมกันของข้อมูลสเปกตรัมกับคาลิเบรชั่นฟังค์ชั่น b จะสามารถหาค่าความเข้มข้นขององค์ประกอบทางเคโมเมทริกได้จากสมการ (3-1) :

Y _Analysis = X _Analysis • b                                                           (3-1)

โดย     X _Analysis: ข้อมูลสเปกตรัมของตัวอย่างที่นำมาวิเคราะห์
Y _Analysis: ค่าความเข้มข้นของตัวอย่างที่นำมาวิเคราะห์

การคำนวณคาลิเบรชั่นฟังค์ชั่น b จะทำให้ได้ความเข้มข้นโดยตรงจากสเปกตรัมเหล่านั้น ระดับของความสัมพันธ์ (Correlation) ที่ได้จากข้อมูลเชิงสเปกตรัม กับ ข้อมูลเชิงความเข้มข้น เป็นสิ่งที่มีความสำคัญหลักของคุณภาพของการวิเคราะห์ หากมีค่าความสัมพันธ์ที่ดี การวิเคราะห์จะมีความแม่นยำ ในทางกลับกันหากมีค่าความสัมพันธ์ไม่ดี  ก็จะไม่สามารถนำไปสู่ผลการวิเคราะห์ที่ดีได้  ดังนั้นจึงจำเป็นที่จะหาค่าฟังชั่นของการคาลิเบรชั่น b ที่ให้ค่าความสัมพันธ์ที่ดีที่สุด (และนั่นคือทำให้ผลการวิเคราะห์ดีที่สุด)

สำหรับวัตถุประสงค์นี้ แบบจำลองที่ต้องการต้องถูกพิสูจน์ (Validate) หรืออีกนัยหนึ่งคือต้องถูกประเมิน การประเมินนี้ทำโดยใช้แบบจำลองทำนายตัวอย่างจำนวนหนึ่งที่รู้ค่าความเข้มข้น การเปรียบเทียบค่าที่ทำนายได้กับค่าจริงจะแสดงให้เห็นถึงความแม่นยำของแบบจำลอง ซึ่งจะใช้พารามิเตอร์ต่างๆในการประเมิน ชุดของพารามิเตอร์ซึ่งแสดงถึงการทำนายที่มีข้อผิดพลาดน้อยสุด จะชี้ให้เห็นถึงวิธีการที่ดีที่สุด การพิสูจน์วิธีทางเคโมเมตริกต่างๆทำให้รู้ถึงตัวแปรที่ผิดปกติ (Outlier) และช่วงความถี่ที่เหมาะสมที่สุด และทำให้รู้ถึงจำนวนแฟคเตอร์ที่เหมาะสมได้ การพิสูจน์ มี  2 วิธี ที่เป็นไปได้คือ การพิสูจน์ภายใน (Internal  validation) หรือที่เรียกว่า การพิสูจน์แบบไขว้ (Cross validation) และการพิสูจน์ภายนอก (External validation) หรือที่เรียกว่าการพิสูจน์แบบชุดทดสอบ (Test set validation)

ในกรณีของการพิสูจน์ภายใน ตัวอย่างแต่ละตัวอย่างหรือแต่ละชุดตัวอย่าง (กำหนดโดยผู้พิสูจน์) จะถูกเลือกออกมาจากชุดข้อมูลคาลิเบรชั่น แล้วใช้ตัวอย่างที่เหลือสร้างแบบจำลอง และใช้แบบจำลองวิเคราะห์ค่าของตัวอย่างที่ถูกเลือกออกไป การเปรียบเทียบผลกับค่าที่วัดจริง จะแสดงว่า แบบจำลองทำนายตัวอย่างได้แม่นยำอย่างไร การเลือกตัวอย่างหรือชุดตัวอย่างออกมาก่อน ทำให้รับประกันได้ว่าแบบจำลองไม่รู้จักตัวอย่างนั้น และดังนั้นจึงเป็นอิสระต่อกัน ชุดข้อมูลของตัวอย่างอิสระมีความสำคัญมาก โดยวิธีนี้เท่านั้นความแม่นยำจริงของการทำนายสามารถประเมินได้อย่างเป็นจริง 
เพื่อที่จะประเมินชุดข้อมูลทั้งหมด ตัวอย่างที่ถูกเลือกออกไปจะถูกนำเข้ามาในชุดข้อมูลเดิม แล้วเลือกตัวอย่างชุดที่ 2 ออกไป ขั้นตอนของการนำตัวอย่างออก การวิเคราะห์และการนำกลับเข้ามาใหม่ในชุดคาลิเบรชั่น จะดำเนินไปจนกระทั่งตัวอย่างทั้งหมดถูกวิเคราะห์ การเปรียบเทียบค่าที่ทำนายได้กับค่าจริงจะช่วยให้ คำนวณค่าความผิดพลาดของการทำนายของระบบข้อมูลทั้งหมด ซึ่งคือค่า RMSEC (Root Mean Square Error of Cross Validation) สิ่งนี้ใช้สำหรับการประเมินความถูกต้องเฉลี่ยในการทำนายของแบบจำลองเคโมเมทริกซ์ ซึ่งถ้าค่าความผิดพลาด (error) น้อย แสดงว่าแบบจำลองนั้นมีคุณภาพดี

สำหรับการทำการพิสูจน์แบบไขว้ (Cross Validation) มันมีความสำคัญตรงที่ต้องนำตัวอย่างไม่กี่ตัวอย่างออกจากชุดข้อมูลซึ่งแบบจำลองจะถูกสร้างจากข้อมูลที่เหลืออยู่ ทำให้แบบจำลองจึงมีลักษณะเหมือนกับแบบจำลองที่สร้างจากชุดข้อมูลเริ่มต้น สำหรับชุดข้อมูลซึ่งมีตัวอย่างน้อยกว่า 50 ตัวอย่างมีข้อแนะนำว่าต้องนำออกที่ละ 1 ตัวอย่างเพื่อทำการพิสูจน์แบบไขว้ ซึ่งกระบวนการทั้งหมดได้แสดงดังในรูปที่ 3.1

ลำดับการทำการพิสูจน์แบบไขว้ (Cross Validation หรือ Internal validation)

1. นำตัวอย่างหนึ่งออกจากชุดคาลิเบรชั่น
2. สร้างแบบจำลองด้วยข้อมูลที่ยังคงอยู่
3. ทำการวิเคราะห์ตัวอย่างที่นำออกในขั้นตอนที่ 1 และคำนวณค่าความผิดพลาดสำหรับตัวอย่างนี้ ด้วยสมการ Y₁^meas-Y₁^pred
4. นำตัวอย่างที่นำออกมาในข้อที่ 1 กลับเข้าสู่กลุ่มข้อมูลและนำตัวอย่างใหม่ออกจากกลุ่มข้อมูล จากนั้นสร้างแบบจำลองใหม่และทำนายตัวอย่างใหม่อีกครั้ง Y₂^meas-Y₂^pred
5. ทำซ้ำขั้นตอนที่ 4 จนกระทั่งครบหมดทุกตัวอย่างในกลุ่มข้อมูลชุดคาลิเบรชั่น จากนั้นคำนวณหาค่าความผิดพลาดเฉลี่ย (Mean error of prediction, RMSECV)

               (3-2)         
 
วิธีการที่ 2  การประเมินค่าคุณภาพด้วยวิธีการพิสูจน์ภายนอก ซึ่งตรงกันข้ามกับการพิสูจน์ภายใน ตัวอย่างทั้งหมดของชุดคาลิเบรชั่นถูกใช้ในการทำโมเดล  โมเดลนี้ยังคงคงที่สำหรับการพิสูจน์ต่อไป นั่นคือ สเปกตรัมในการวิเคราะห์จะไม่ถูกเอาออกจากชุดคาลิเบรชั่นอีกต่อไป เพื่อที่จะประมาณค่าความคลาดเคลื่อนของการทำนายต้องวัดตัวอย่างอื่นๆ และจัดให้เป็นชุดทดสอบสำหรับการพิสูจน์  ตัวอย่างเฉพาะของชุดทดสอบจะถูกวิเคราะห์ นั่นคือชุดข้อมูลของการพิสูจน์ภายนอกจะถูกแบ่งเป็นชุดคาลิเบรชั่นและตัวอย่างที่วิเคราะห์ ซึ่งตรงข้ามกับการพิสูจน์แบบไขว้ (cross validation) ที่จะไม่มีการแลกเปลี่ยนระหว่าง 2 ชุดตัวอย่าง  การเปรียบเทียบผลของการวิเคราะห์ด้วยแบบจำลองกับข้อมูลความเข้มข้นเดิมของชุดทดสอบ จะถูกใช้คำนวณ RMSEP (root mean square error of prediction) ค่านี้ยังเป็นตัวแทนการวัดเชิงปริมาณเพื่อทำนายความแม่นยำของแบบจำลอง แบบจำลองที่ดีจะต้องมีค่า RMSEP ต่ำ   การพิสูจน์ภายในและการพิสูจน์ภายนอกควรจะนำไปสู่ผลที่ใกล้เคียงกัน  กรณีนี้จะเป็นไปไม่ได้ ถ้าตัวอย่างมีน้อยเกินไปในการวิเคราะห์เพื่อสร้างสมการที่น่าเชื่อถือ  รูปที่ 3.2 แสดงไดอะแกรมการพิสูจน์ของชุดทดสอบ

ขั้นตอนการพิสูจน์แบบชุดทดสอบ (a test set validation, external validation)

1. สร้างแบบจำลองโดยใช้สเปกตรัมทั้งหมดในชุดคาลิเบรชั่น
2. ประเมินแบบจำลอง โดยใช้ตัวอย่างชุดทดสอบใหม่ โดยรู้ค่าความเข้มข้นโดยคำนวณความผิดพลาดเฉลี่ยของการทำนาย (mean error of prediction, RMSEP) จากค่าความผิดพลาดดังสูตรต่อไปนี้

                    (3-3)

สรุป การพิสูจน์ภายนอกแตกต่างจากการพิสูจน์ภายใน โดยความจริงที่ว่าในการพิสูจน์ภายนอก ไม่มีตัวอย่างที่ถูกนำออกมาจากชุดข้อมูลคาลิเบรชั่น แบบจำลองนั้นคงที่สำหรับทุกๆการวิเคราะห์ ในทางตรงกันข้ามการพิสูจน์แบบไขว้ก็ยอมรับการประเมินแบบจำลองจากชุดข้อมูลคาลิเบรชั่นแต่เพียงอย่างเดียว ในที่นี้แม้แต่การมีจำนวนตัวอย่างจำกัดก็ยังเป็นไปได้ที่จะสร้างชุดข้อมูลที่ใหญ่ (จำนวนมาก) เพียงพอสำหรับการสร้างและการพิสูจน์แบบจำลอง
 

[1] “The copyright is belong to Dr. Jörg-Peter Conzen”