Context Window คืออะไร? ทำไม AI ถึงลืมสิ่งที่เราคุยไปเมื่อสัปดาห์ก่อน อธิบายให้เด็กเข้าใจเหมือนกระดานชนวนที่มีพื้นที่จำกัด
พ่อตาของผมเป็นครูภาษาไทยเกษียณอายุ ปีนี้แปดสิบปีพอดี ท่านตั้งใจเขียนบันทึกความทรงจำวัยเด็กที่สุพรรณบุรีเก็บไว้ให้หลานๆ และเริ่มใช้ AI ช่วยเรียบเรียงตามที่หลานชายสอน วันอาทิตย์ที่ผ่านมา ตอนเราไปเยี่ยมบ้านที่นนทบุรี ท่านเรียกผมเข้าไปในห้องทำงาน หน้าตาหงุดหงิด
“ไอ้เจ้า AI นี่มันขี้ลืม” ท่านบ่น “บทแรกพ่อบอกมันไปแล้วว่าชื่อเพื่อนสนิทพ่อคือไอ้แดง บทที่เจ็ดมันเขียนเป็นไอ้ดำ แล้วยังบอกว่าบ้านพ่ออยู่ติดทะเล ทั้งที่พ่อเล่าไปตั้งแต่สัปดาห์ก่อนว่าบ้านอยู่ริมแม่น้ำท่าจีน”
ผมเลื่อนดูแชตที่ยาวเหยียดหลายร้อยข้อความ แล้วเข้าใจทันทีว่าเกิดอะไรขึ้น AI ไม่ได้ขี้ลืมแบบคน แต่มันมีโต๊ะทำงานที่วางของได้จำกัด และของที่ท่านวางไว้ตั้งแต่สัปดาห์ก่อน ถูกดันตกโต๊ะไปนานแล้ว
สารบัญเรื่องความจำของ AI
- Context Window คืออะไร
- Token: หน่วยวัดความจำของ AI
- จานสีเปียกของนักทาสีโมเดล: พื้นที่ที่มีจำกัด
- ทำไม AI ถึงลืม และลืมแบบไหน
- ข้อมูลตรงกลางมักถูกมองข้าม
- วิธีคุยกับ AI ให้ได้คำตอบแม่นยำ
- อนาคตของความจำระยะยาวใน AI
Context Window คืออะไร
Context Window คือปริมาณข้อความสูงสุดที่โมเดล AI สามารถ “มองเห็น” และใช้ประกอบการตอบได้ในครั้งเดียว ครอบคลุมทั้งคำสั่งของเรา ประวัติการสนทนา ไฟล์ที่แนบ และคำตอบที่ AI กำลังเขียน เมื่อการสนทนายาวเกินขนาดนี้ ข้อมูลส่วนที่เก่าที่สุดจะถูกตัดออกหรือถูกย่อ
ผมอธิบายให้หลานชายที่นั่งอยู่ด้วยฟังแบบที่คุณตาของเขาคงชอบ เหมือนกระดานชนวนสมัยก่อนที่นักเรียนใช้เขียนหนังสือ กระดานมีขนาดจำกัด เขียนเต็มแล้วถ้าอยากเขียนต่อ ก็ต้องลบของเก่าออก คุณตาหัวเราะ บอกว่าสมัยท่านเรียน กระดานชนวนเล็กกว่าสมุดหนึ่งหน้า ต้องลบกันทุกสิบนาที
AI ทุกวันนี้มีกระดานใหญ่กว่านั้นมาก โมเดลบางตัวรับข้อความได้หลายแสนคำ หรือในบางรุ่นมากถึงระดับเทียบเท่าหนังสือหลายเล่ม แต่ไม่ว่าจะใหญ่แค่ไหน มันก็ยังมีขอบ
Token: หน่วยวัดความจำของ AI
AI ไม่ได้นับความยาวเป็นคำหรือตัวอักษร แต่นับเป็นหน่วยที่เรียกว่า Token คือชิ้นส่วนเล็กๆ ของข้อความ อาจเป็นคำทั้งคำ ส่วนหนึ่งของคำ หรือเครื่องหมายวรรคตอน
- ภาษาอังกฤษ หนึ่ง Token โดยเฉลี่ยยาวราวสามถึงสี่ตัวอักษร
- ภาษาไทยมักใช้ Token มากกว่าภาษาอังกฤษเมื่อเทียบกับความยาวของเนื้อหาเดียวกัน เพราะโมเดลหลายตัวถูกฝึกด้วยข้อความภาษาอังกฤษเป็นหลัก
- ทั้งคำถามของเราและคำตอบของ AI กินพื้นที่ Token เดียวกัน
นั่นแปลว่าบันทึกความทรงจำภาษาไทยของคุณตา ซึ่งยาวหลายบท แถมมีการแก้ไขไปมาหลายรอบ กินพื้นที่กระดานเร็วกว่าที่หลายคนคิด
จานสีเปียกของนักทาสีโมเดล: พื้นที่ที่มีจำกัด
เวลาผมทาสีโมเดลจิ๋ว ผมใช้อุปกรณ์ที่เรียกว่า Wet Palette หรือจานสีเปียก เป็นกล่องแบนๆ ที่มีฟองน้ำชุ่มน้ำอยู่ด้านล่าง ทับด้วยกระดาษรองสีที่น้ำซึมผ่านได้ สีที่ผสมไว้บนกระดาษจะไม่แห้งเป็นชั่วโมง ทำให้ผมเก็บเฉดสีที่ผสมไว้ใช้ต่อได้ตลอดการทาสี
ปัญหาคือกระดาษมีขนาดเท่าฝ่ามือ พอผมผสมสีเพิ่มไปเรื่อยๆ สำหรับผิว ชุดเกราะ ผ้าคลุม และฐาน พื้นที่ก็เต็ม สีที่ผสมไว้ตั้งแต่ต้นต้องถูกปาดทิ้งเพื่อให้มีที่ผสมสีใหม่ และถ้าวันหลังผมอยากกลับไปทาผิวด้วยเฉดเดิม ผมจำสูตรไม่ได้แล้ว ต้องผสมใหม่ ซึ่งมักได้สีที่เพี้ยนไปจากเดิมนิดหน่อย
Context Window ของ AI คือจานสีเปียกใบนั้น ข้อมูลที่อยู่บนจานใช้งานได้ดีทันที แต่เมื่อพื้นที่เต็ม ของเก่าต้องถูกปาดออก และเมื่อ AI ต้องใช้ข้อมูลที่หายไปแล้ว มันจะผสมขึ้นใหม่จากการเดา ซึ่งเป็นที่มาของไอ้แดงที่กลายเป็นไอ้ดำ และบ้านริมแม่น้ำที่กลายเป็นบ้านติดทะเล
ทำไม AI ถึงลืม และลืมแบบไหน
- ลืมเพราะเกินพื้นที่ บทสนทนายาวเกิน Context Window ข้อมูลช่วงแรกถูกตัดออก
- ลืมเพราะเริ่มแชตใหม่ แชตบอตหลายตัวเริ่มต้นจากกระดานเปล่าทุกครั้งที่เปิดแชตใหม่ เว้นแต่จะมีฟีเจอร์ความจำแยกต่างหาก
- ลืมเพราะถูกย่อ บางระบบย่อบทสนทนาเก่าให้สั้นลงเพื่อประหยัดพื้นที่ รายละเอียดเล็กๆ อย่างชื่อเพื่อนอาจหายไปในการย่อ
- ไม่ได้ลืม แต่แต่งทับ เมื่อข้อมูลหายไป AI ไม่ได้บอกว่าไม่รู้ แต่มักเติมสิ่งที่ฟังดูสมเหตุสมผลเข้าไปแทน
ข้อสุดท้ายคือสิ่งที่ผมอยากให้เด็กๆ รู้ที่สุด AI ที่ลืมไม่ได้บอกเราว่ามันลืม มันยังพูดด้วยความมั่นใจเหมือนเดิม เราจึงต้องเป็นคนตรวจเอง
ข้อมูลตรงกลางมักถูกมองข้าม
นักวิจัยจากมหาวิทยาลัยสแตนฟอร์ดและสถาบันอื่นเผยแพร่งานวิจัยในปี 2023 ชื่อ Lost in the Middle พบว่าโมเดลภาษามักใช้ข้อมูลที่อยู่ช่วงต้นและช่วงท้ายของข้อความยาวได้ดี แต่ใช้ข้อมูลที่อยู่ตรงกลางได้แย่กว่า แม้ข้อมูลนั้นยังอยู่ในกระดานก็ตาม
เหมือนจานสีเปียกที่สีตรงขอบกับสีที่เพิ่งผสมล่าสุดหยิบใช้ง่าย แต่สีที่อยู่ตรงกลางจานมักถูกลืมว่ามีอยู่ โมเดลรุ่นใหม่ๆ พัฒนาเรื่องนี้ไปมาก แต่หลักการยังใช้ได้ ข้อมูลสำคัญควรอยู่ต้นหรือท้ายข้อความ ไม่ใช่ฝังอยู่กลางเอกสารยาว
วิธีคุยกับ AI ให้ได้คำตอบแม่นยำ
หลังจากนั้น ผมกับหลานช่วยคุณตาปรับวิธีทำงานกับ AI ใหม่ ผลลัพธ์ดีขึ้นทันที
- ทำการ์ดข้อมูลหลัก เขียนข้อมูลที่ไม่เปลี่ยน เช่น ชื่อคน สถานที่ ปี ไว้ในเอกสารสั้นๆ แล้ววางไว้ต้นข้อความทุกครั้งที่เริ่มบทใหม่
- เริ่มแชตใหม่ทุกบท แทนการคุยในแชตเดียวยาวหลายสัปดาห์ แล้วแนบการ์ดข้อมูลหลักไปด้วย
- สรุปก่อนไปต่อ เมื่อจบบท ขอให้ AI สรุปเนื้อหาสำคัญ แล้วตรวจว่าถูกต้อง เก็บสรุปไว้ใช้ต่อ
- ถามซ้ำเพื่อตรวจ ก่อนเริ่มงานใหม่ ถาม AI ว่าเพื่อนสนิทชื่ออะไร บ้านอยู่ที่ไหน ถ้าตอบผิด ให้แก้ทันที
- ส่งเฉพาะส่วนที่เกี่ยวข้อง ไม่ต้องแนบทั้งเล่ม ถ้ากำลังแก้แค่บทเดียว
- ข้อมูลสำคัญวางไว้ต้นหรือท้าย ตามหลัก Lost in the Middle
คุณตาชอบวิธีการ์ดข้อมูลหลักมาก ท่านเขียนด้วยลายมือก่อน แล้วให้หลานพิมพ์ให้ ท่านบอกว่ามันเหมือนแผนการสอนที่ครูต้องเตรียมก่อนเข้าห้องทุกครั้ง
อนาคตของความจำระยะยาวใน AI
ผู้พัฒนา AI กำลังแก้ปัญหานี้จากหลายทาง
- กระดานใหญ่ขึ้น Context Window ของโมเดลรุ่นใหม่ใหญ่ขึ้นเรื่อยๆ
- ฟีเจอร์ความจำ แชตบอตหลายตัวเริ่มมีระบบจดจำข้อมูลสำคัญของผู้ใช้ข้ามแชต เช่น ชื่อหรือความชอบ ซึ่งผู้ใช้ควรตรวจดูและลบได้
- ระบบค้นคืนข้อมูล หรือ RAG ที่ให้ AI ค้นหาข้อมูลจากคลังเอกสารเมื่อจำเป็น แทนการต้องจำทุกอย่างไว้บนกระดาน
แต่ความจำที่ดีขึ้นก็มาพร้อมคำถามเรื่องความเป็นส่วนตัว ยิ่ง AI จำเราได้มาก เราก็ยิ่งต้องรู้ว่ามันจำอะไร เก็บไว้ที่ไหน และลบได้อย่างไร
เทคนิคพกติดตัวสำหรับทุกวัย
- AI มีพื้นที่ความจำจำกัด เรียกว่า Context Window
- แชตยาวเกินไป ข้อมูลเก่าจะหายหรือถูกย่อ
- AI ที่ลืมมักไม่บอกว่าลืม แต่แต่งทับ
- ทำการ์ดข้อมูลหลักไว้แนบทุกครั้ง
- เริ่มแชตใหม่เมื่องานเปลี่ยนเรื่อง
- ข้อมูลสำคัญวางไว้ต้นหรือท้าย
- ถามซ้ำเพื่อตรวจก่อนเชื่อ
คำถามชวนหลานกับคุณตาคิดด้วยกัน
- ความจำของคนกับความจำของ AI ต่างกันอย่างไร
- ถ้า AI จำทุกอย่างที่เราเคยคุยได้ หนูอยากให้มันจำ หรืออยากให้มันลืมบ้าง
- เวลาทำรายงานยาวๆ กับ AI หนูจะใช้การ์ดข้อมูลหลักยังไง
- ทำไม AI ถึงเดาแทนที่จะบอกว่าไม่รู้
ไอ้แดงกลับมาแล้ว
สองเดือนต่อมา พ่อตาของผมเขียนบันทึกความทรงจำเสร็จสิบสองบท ไอ้แดงเป็นไอ้แดงทุกบท บ้านริมแม่น้ำท่าจีนอยู่ที่เดิมทุกหน้า หลานชายจัดหน้าแล้วพิมพ์เป็นเล่มเล็กๆ แจกญาติทุกคนในวันเกิดคุณตา
ท่านพูดในงานว่า AI ช่วยท่านมาก แต่ที่ช่วยมากกว่าคือการ์ดข้อมูลหลักที่เขียนด้วยลายมือตัวเอง เครื่องมือที่ดีที่สุดยังต้องการคนที่รู้ว่าอะไรสำคัญ และคอยวางมันไว้ในที่ที่มองเห็นเสมอ
ถ้าลูกหรือพ่อแม่ของคุณเริ่มใช้ AI ทำงานยาวๆ ลองสอนเรื่องจานสีเปียกกับการ์ดข้อมูลหลักดูครับ มันจะช่วยให้ทั้งคนและเครื่องจำเรื่องสำคัญได้ตรงกัน
