วิเคราะห์เจาะลึก: Anthropic ขอโทษกรณีแอบใส่ Guardrail ที่มองไม่เห็นใน Claude บน Fable

เกริ่นสั้นๆ

Anthropic ออกมายอมรับผิดกรณีที่ Claude Fable 5 — โมเดลตระกูล Mythos เวอร์ชันที่ปล่อยสาธารณะ — มี guardrail ตัวหนึ่งทำงานแบบ “มองไม่เห็น” คือแอบเปลี่ยน prompt ให้ output เพี้ยนเงียบๆ เมื่อจับได้ว่าผู้ใช้กำลังพยายาม distill ความรู้จากโมเดลไปเทรนโมเดลอื่น โดยไม่แจ้งผู้ใช้เลย

ประเด็นคือความโปร่งใส — guardrail ตัวนี้ไม่ได้ปฏิเสธคำขอตรงๆ แต่แอบทำให้ output พังเงียบๆ ทำให้นักวิจัยและ dev ที่ใช้ Fable 5 เสียเวลาไล่ debug โดยไม่รู้สาเหตุ ต่างจาก safety filter ปกติที่อย่างน้อยผู้ใช้รู้ว่าถูก block

Anthropic ยอมรับผ่านคำแถลงว่า “We made the wrong tradeoff and we apologize for not getting the balance right” พร้อมประกาศจะเปลี่ยน guardrail ตัวนี้ให้เห็นชัด — เมื่อใดที่ถูก trigger ระบบจะ fallback ไป Claude Opus 4.8 พร้อมแจ้งผู้ใช้ตรงๆ

เบื้องหลังเรื่องนี้เริ่มยังไง

เรื่องเริ่มจากมีคนไปเจอย่อหน้าเล็กๆ ใน system card ของ Fable 5 ที่ระบุว่ามี safeguard สำหรับป้องกัน “frontier LLM development” ซ่อนอยู่ พูดง่ายๆ คือถ้าโมเดลจับได้ว่าคำถามมีลักษณะเหมือน distillation attack — ทั้ง prompt collection แบบเป็นชุด, steering vectors หรือ parameter-efficient fine-tuning — ระบบจะไม่ block ตรงๆ แต่จะเปลี่ยน prompt เงียบๆ ให้ผลลัพธ์เพี้ยนไป

พอนักวิจัยและคอมมูนิตี้ ML ขุดเจอ กระแสก็ระเบิด เพราะการทำแบบนี้เท่ากับ “รับเงินค่า API แล้วส่งของเสียให้” (สรุปคำหนึ่งจาก Reddit ที่แชร์ต่อกันเยอะ) ต่างจากการปฏิเสธคำขอที่อย่างน้อยผู้ใช้รู้ว่าถูกปฏิเสธและปรับ query ได้

ตอนที่งานวิจัยพังโดยไม่รู้สาเหตุ

ลองนึกภาพนักวิจัยที่ใช้ Fable 5 API ทำ experiment เกี่ยวกับ fine-tuning สักอย่าง run job ทิ้งไว้ทั้งคืน พอตื่นมาผลลัพธ์เพี้ยน — output ที่ควรจะสม่ำเสมอกลับมี noise แปลกๆ ปนอยู่

สิ่งแรกที่ทำคือเช็ค data pipeline เช็ค prompt template สงสัยว่ามี bug ในโค้ดตัวเอง แต่ไล่ทั้งวันก็หาไม่เจอ เพราะไม่มีที่ไหนบอกว่า Fable 5 มี layer ที่แอบเปลี่ยน prompt ก่อนส่งเข้าโมเดล

สุดท้ายพอไปเจอ thread ในคอมมูนิตี้ถึงรู้ว่าปัญหาไม่ได้อยู่ที่ตัวเอง — มันคือ guardrail ที่ถูก trigger เพราะ pattern การใช้งานดูเหมือน distillation attempt แม้เจตนาจริงๆ ไม่ใช่ก็ตาม

คำถามที่ค้างคาใจคือ ทำไมเรื่องแบบนี้ถึงเกิดขึ้นได้กับบริษัทที่ชูธง transparency มาตลอด ถ้า guardrail ทำงานเงียบๆ ได้ แล้ว dev จะประเมินความน่าเชื่อถือของ output ยังไง

Anthropic กับคำสัญญาเรื่องความโปร่งใสที่ปั้นมาตลอด

Anthropic สร้างแบรนด์บนคำว่า “safety-first” มาตั้งแต่วันแรก และมี Responsible Scaling Policy กับ system card ที่เผยแพร่ทุกโมเดลใหญ่ ต่างจากคู่แข่งที่เน้นความเร็วของ feature เป็นหลัก

Fable 5 ในที่นี้คือเวอร์ชัน “neutered” ของ Mythos ที่ตั้งใจให้ปล่อยสาธารณะได้ปลอดภัยกว่ารุ่นแม่ — เท่ากับผู้ใช้ที่จ่ายค่า API เชื่อว่ากำลังคุยกับโมเดลที่ behavior นิ่งพอให้เอาไปวางในระบบจริง

พอ guardrail ที่มองไม่เห็นถูกฝังเข้าไปโดยไม่ประกาศชัด มันชนกับคำสัญญาเรื่อง transparency ตรงๆ เพราะสิ่งที่ Anthropic ขายไม่ใช่แค่โมเดลเก่ง แต่คือ “รู้ว่าโมเดลทำอะไรและทำไม”

พูดตรงๆ ว่านี่คือจุดที่กระทบ trust ของทั้ง ecosystem ไม่ใช่แค่นักวิจัยที่โดนตรงๆ เพราะ dev รายอื่นที่ต่อ API อยู่ก็ต้องเริ่มถามคำถามเดียวกันนะ ว่ามี guardrail อื่นที่ยังมองไม่เห็นอีกไหม

Anti-distillation guardrail คืออะไร ทำไมต้องซ่อน

การ distill โมเดลคือการใช้ output ของโมเดลใหญ่มาเป็น training data ให้โมเดลเล็ก — ทำให้ได้โมเดลตัวใหม่ที่พอเลียนแบบความสามารถของต้นฉบับได้บางส่วน ในราคาที่ถูกกว่ามาก Anthropic ห่วงว่ากลุ่มคู่แข่งจะใช้ Fable 5 มา distill แล้วเอาไปเทรนโมเดลของตัวเอง จึงใส่ guardrail นี้เข้าไป

ที่มาของการเลือกใช้ “silent tamper” แทน “refuse” คือทีมกลัวว่าถ้า block ตรงๆ ผู้ที่ตั้งใจ distill จริงจะรู้ตัวและเลี่ยงได้ง่าย แต่วิธีนี้กลับกระทบผู้ใช้สุจริตแบบไม่มีทางป้องกันตัวเอง

ความต่างมันอยู่ตรงนี้ — ไม่ใช่ว่าควรมี guardrail หรือไม่ แต่คือผู้ใช้ควรรู้หรือไม่ว่ากำลังได้ output ที่ถูกดัดแปลง

เวลาที่ guardrail ที่มองไม่เห็นโผล่มากวนงานจริง

ลองนึกภาพนักวิจัย ML ที่ใช้ Fable 5 API ทำ knowledge distillation experiment ที่ถูกกฎหมาย (เช่น เพื่องานวิชาการ) แล้วอยู่ๆ ได้ output ที่ noisy จนใช้ไม่ได้ ต้องรัน job ซ้ำหลายรอบ เผาเงินไปเรื่อยๆ

ฝั่ง dev ที่ build product บน API เจอปัญหาคล้ายกันแม้ไม่ได้ตั้งใจ distill — pattern บางอย่างของ prompt (เช่น รวบรวมคำตอบเป็นชุดใหญ่เพื่อทำ eval set) อาจถูกจัดว่า “ดูเหมือน distillation” แล้ว output เพี้ยนโดยไม่รู้ตัว

ทีม QA ที่ต้องเช็ค consistency ก่อนปล่อยฟีเจอร์ก็โดนหนักสุด — เจอ regression แต่ไม่รู้จะ report เป็น “bug” หรือ “silent behavior change” เพราะไม่มี changelog ให้อ้างอิง

สามกลุ่มนี้มีจุดร่วมเดียวกัน คือเสียเวลาสืบสาเหตุที่ควรจะรู้ได้จาก system card ตั้งแต่แรก แต่กลายเป็นต้อง reverse-engineer พฤติกรรมโมเดลเองแทน

เมื่อ OpenAI, Google เจอเรื่องคล้ายกัน พวกเขาทำต่างกันยังไง

OpenAI เจอดราม่า model behavior เปลี่ยนแบบไม่แจ้งมาหลายรอบเหมือนกัน แต่ระยะหลังเริ่มแนบ system card หรือ release note ทุกครั้งที่ปล่อยโมเดลใหม่ Google Gemini ก็มีหน้า release notes แยกไว้ให้ตามอ่าน แม้บางทีจะสั้นเกินไปจนไม่ครอบคลุมการปรับ safety filter จริงๆ

จุดต่างของเคส Anthropic ครั้งนี้ไม่ใช่ที่ “มี guardrail” — ทุกค่ายมี — แต่คือ guardrail ตัวนี้เลือกจะเปลี่ยน output เงียบๆ แทนที่จะ refuse ตรงๆ ผู้ใช้จึงไม่มีทางรู้ว่ากำลังได้ output ที่ถูกดัดแปลง

จุดที่ Anthropic ทำถูกและจุดที่ยังทำพลาด

เทียบให้เห็นภาพ — ออก guardrail ใหม่แบบไม่แจ้ง changelog เหมือนอัปเดต driver GPU แบบเงียบๆ แล้วผู้ใช้มาเจอเองว่า performance เพี้ยน ต่างจากที่ควรจะเป็น เช่น GPU รุ่นใหม่ที่ต้องแจ้ง spec ชัดตั้งแต่ launch (boost clock, TDP) ให้คนตัดสินใจได้ก่อนซื้อ ไม่ใช่มาเจอเองหลังใช้งาน

จุดที่ทำถูก คือยอมรับผิดตรงๆ ไม่แก้ตัว และประกาศจะเปลี่ยน guardrail ให้ visible — เมื่อถูก trigger จะ fallback ไป Claude Opus 4.8 พร้อมแจ้งผู้ใช้ จุดที่พลาด คือปล่อยให้ guardrail ทำงานแบบ silent tamper ตั้งแต่แรก ทั้งที่รู้ว่าเป็นเรื่องละเอียดอ่อน

ต้นทุนที่มองไม่เห็นคือเวลาและเงิน — นักวิจัยที่ใช้ Fable 5 API ต้องรัน experiment ซ้ำหลายรอบเพื่อไล่หาสาเหตุ output เพี้ยน ทั้งที่โค้ดตัวเองไม่ได้แตะเลย ปัญหาคือ guardrail ทำงานแบบไม่มี version control ไม่มี changelog ให้เช็ค เหมือนจ่ายค่า GPU 299 USD ได้สเปคตามนั้นแน่นอน แต่จ่ายค่า API แล้วพฤติกรรมขยับได้ตลอดเวลาโดยไม่บอกล่วงหน้า

บริษัทที่ต่อ API ไปทำโปรดักต์ก็เสี่ยงเงียบๆ เพราะ business logic ผูกกับ output ที่คาดเดาไม่ได้ ถ้าลูกค้าปลายทางเจอ Fable 5 ตอบเพี้ยนไปวันหนึ่ง ความเชื่อใจที่เสียไปเรียกคืนยากกว่าการแก้ bug ธรรมดามาก — นี่คือค่าใช้จ่ายที่ไม่ขึ้น invoice แต่จ่ายจริงทุกวัน

สิ่งที่วงการ AI ต้องเปลี่ยนหลังจากนี้

สิ่งที่ควรเกิดขึ้นต่อจากนี้คือ changelog สาธารณะสำหรับ guardrail และ system prompt เหมือนที่ทุกคนคุ้นเคยกับ release note ของซอฟต์แวร์ทั่วไป ไม่ใช่แถลงการณ์ขอโทษหลังโดนจับได้เท่านั้น

นักพัฒนาที่ build บน LLM API ควรเริ่มเก็บ log output แบบ regression test เป็นประจำ เทียบ behavior ก่อน-หลัง เพื่อจับความเปลี่ยนแปลงที่ provider ไม่แจ้ง เพราะรอความโปร่งใสจากฝั่งเดียวไม่พอ ต้องมีเครื่องมือตรวจสอบของตัวเองด้วย

ระยะยาว อุตสาหกรรมน่าจะต้องมี versioning ที่ล็อก behavior ได้จริง ไม่ใช่แค่ล็อก model name เฉยๆ เพราะ guardrail ที่ขยับได้แบบเงียบๆ คือความเสี่ยงที่กระทบ production จริง ไม่ใช่แค่เรื่อง PR