วิเคราะห์และรีวิว: “This is how AI should be used” เบื้องหลังการออกแบบ Jalapeño ASIC ของ OpenAI

Jalapeño คือ ASIC สำหรับงาน inference ของ OpenAI ที่ออกแบบให้เข้ากับ software และ workload จริงตั้งแต่ต้น โดยใช้ AI ช่วยเร่งงานตั้งแต่ RTL ถึง tape-out ภายในเก้าเดือน

จุดเด่นคือการคุมประสิทธิภาพต่อพลังงานและต้นทุนได้ตรงกับงานของตัวเอง แต่ยังไม่ใช่ผลิตภัณฑ์ที่ผู้ใช้ทั่วไปซื้อมาใช้งานได้ครับ

มอง Jalapeño ให้เห็นภาพ

ให้มอง Jalapeño เป็นชิปเฉพาะงาน inference ที่ทำงานคู่กับหน่วยความจำ HBM4 ผ่านการเชื่อมต่อความเร็วสูงในระบบประมวลผลของ OpenAI ส่วน AI ช่วยออกแบบอยู่เบื้องหลัง ตั้งแต่ RTL จนถึง tape-out

ภาพควรแสดงสเกลแบบเข้าใจง่ายว่า Jalapeño เป็นส่วนประมวลผลหลัก ส่วน HBM4 ทำหน้าที่ป้อนข้อมูลให้ชิป และการเชื่อมต่อระหว่างกันคือจุดสำคัญของ performance โดยรวม

วันที่ GPU ไม่พอสำหรับงานของเรา

ทีมต้องรับคำขอจากโมเดลภาษาและเอเจนต์จำนวนมหาศาล จน GPU ที่มีเริ่มติดข้อจำกัดทั้งด้านพลังงาน เวลาแฝง และคิวรอฮาร์ดแวร์ งานบางอย่างไม่ได้ช้าจากซอฟต์แวร์อย่างเดียว แต่ช้าที่ต้องแย่งทรัพยากรเดียวกันด้วย

ตรงนี้เองที่เกิดคำถามสำคัญ: ถ้า GPU ทั่วไปไม่ตอบโจทย์แล้ว เราควรสร้างชิปสำหรับงานของเราเองหรือไม่? การทำ ASIC อาจช่วยให้การออกแบบตรงกับลักษณะงานมากขึ้น แต่ก็แลกกับต้นทุนและความเสี่ยงที่ต้องรับเองทั้งหมด

Jalapeño ไม่ใช่ GPU สารพัดประโยชน์ แล้วมันคืออะไรกันแน่

Jalapeño คือ ASIC สำหรับงาน inference โดยเฉพาะ ไม่ใช่ GPU อเนกประสงค์ และไม่ใช่ชิปสำหรับฝึกโมเดล จุดประสงค์คือเร่งการตอบคำสั่งของโมเดลให้เหมาะกับงานจริงของ OpenAI มากขึ้น

ชิปนี้จึงต้องทำงานร่วมกับโมเดล ซอฟต์แวร์ ระบบเครือข่าย และดาต้าเซ็นเตอร์ ไม่ได้แยกเดี่ยวเป็นฮาร์ดแวร์ชิ้นเดียว โดย Broadcom เข้ามาร่วมพัฒนาและผลิตชิปนี้ ทำให้ OpenAI เดินเกมตั้งแต่การออกแบบชิปไปจนถึงการนำไปใช้งานในระบบจริง

จากการพึ่งพา GPU สู่ชิปที่สร้างมาเพื่องานนี้

การใช้ GPU เหมาะกับงานหลากหลาย แต่ต้องแลกกับการปรับระบบให้เข้ากับรูปแบบการประมวลผลของโมเดล ส่วน Jalapeño ออกแบบโดยมองงานของ OpenAI เป็นหลัก จึงมีโอกาสลดคอขวดระหว่างชิป ซอฟต์แวร์ และดาต้าเซ็นเตอร์ได้ตรงจุดกว่า

AI ช่วยออกแบบชิปได้จริงแค่ไหน

AI มีประโยชน์ในฐานะผู้ช่วยวิศวกร ตั้งแต่ช่วยเขียนและตรวจสอบ RTL ไปจนถึงเสนอทางเลือกของสถาปัตยกรรม ช่วยไล่หาข้อผิดพลาด และชี้จุดที่การออกแบบอาจทำงานไม่ตรงตามเป้าหมาย

เช่น วิศวกรอาจให้ AI ช่วยร่างวงจรส่วนหนึ่ง แล้วใช้ซอฟต์แวร์ของ OpenAI ทดสอบหลายแนวทางพร้อมวิเคราะห์ผล จากนั้นคนยังต้องตรวจความถูกต้อง เลือกทางออกที่เหมาะกับข้อจำกัดของชิป และตัดสินใจขั้นสุดท้ายเอง

จุดสำคัญจึงไม่ใช่ให้ AI ออกแบบแทนทั้งหมด แต่ใช้มันลดงานซ้ำและเร่งการทดลอง ทำให้วิศวกรมีเวลาโฟกัสกับภาพรวมของระบบมากขึ้น

สี่จุดที่ทำให้ Jalapeño แตกต่างเมื่อใช้งานจริง

• วาง KV cache ไว้ใกล้หน่วยประมวลผล ช่วยให้แชตยาวและงานเอเจนต์ต่อเนื่องได้ลื่นขึ้น เพราะไม่ต้องย้ายข้อมูลไกลบ่อยๆ

• ใช้หน่วยความจำ HBM4 แบนด์วิดท์สูง เหมาะกับช่วงที่มีผู้ใช้ส่งคำขอพร้อมกันจำนวนมาก ลดคอขวดตอนประมวลผล

• ออกแบบมาเพื่อ inference โดยเฉพาะ จึงเน้นลดเวลาแฝงตอนสร้างคำตอบทีละโทเคน เหมาะกับงานที่ต้องโต้ตอบทันที

• มีการเชื่อมต่อระดับระบบ รองรับการรวมชิปในแร็กและพ็อดขนาดใหญ่ ทำให้ขยายบริการได้เป็นระบบเมื่อปริมาณงานเพิ่มขึ้น

Jalapeño เทียบกับชิปตัวเลือกอื่นอย่างไร

จากตัวเลขที่ OpenAI เปิดเผยเอง Jalapeño แต่ละชิปใช้พลังงานราว 700 วัตต์ เทียบกับชิป Nvidia รุ่นเรือธงที่ใช้ราว 1,400 วัตต์ แต่ทำ throughput ต่อกิโลวัตต์ได้สูงกว่าเดิมถึง 1.9 เท่า และมี latency ต่ำกว่าได้ถึง 3.6 เท่า เมื่อเทียบกับระบบแร็ก GB300 ของ Nvidia ในบางเวิร์กโหลด เนื่องจากตัวเลขเหล่านี้มาจากการทดสอบของ OpenAI เอง จึงควรรอการตรวจสอบจากบุคคลที่สามเพิ่มเติมก่อนสรุปเป็นมาตรฐานทั่วไป

จุดขายของ Jalapeño คือการทำ inference ให้ตรงงานมากขึ้นและประหยัดพลังงานต่อชิ้นงานกว่าเดิมตามตัวเลขที่ OpenAI รายงาน แต่ข้อแลกเปลี่ยนคือความยืดหยุ่นและระบบนิเวศซอฟต์แวร์อาจยังตามหลังคู่แข่งที่คุมตลาดมานาน กลยุทธ์นี้น่าสนใจเมื่อ OpenAI คุมทั้งโมเดล ซอฟต์แวร์ และฮาร์ดแวร์ได้เองครับ

ข้อดีที่จับต้องได้ กับคำถามที่ยังตอบไม่ได้ของ Jalapeño

Jalapeño มีจุดแข็งตรงการออกแบบให้เข้ากับเวิร์กโหลดของ OpenAI โดยตรง จึงมีโอกาสควบคุมต้นทุนระยะยาว ลดรอบพัฒนา และจัดการพลังงานได้ดีขึ้นเมื่อใช้งานจริง

ต้นทุนแฝงเบื้องหลังตัวเลขบนสเปกชีตของ Jalapeño

ต้นทุนของ ASIC ไม่ได้จบที่ตัวชิป แต่รวมค่าพัฒนา ค่าเทปเอาต์ การผลิต HBM4 ระบบระบายความร้อน พลังงาน เครือข่าย และการติดตั้งแร็กด้วย ยิ่งเป็นระบบเฉพาะทาง ค่าออกแบบและการบำรุงรักษายิ่งต้องวางแผนระยะยาว

อีกก้อนคือการผูกกับ software stack เฉพาะทาง ถ้าโมเดลหรือเครื่องมือเปลี่ยน อาจต้องแก้ทั้งซอฟต์แวร์และฮาร์ดแวร์ ทำให้ต้นทุนรวมสูงกว่าราคาชิปบนสเปกชีตมาก

สิ่งที่ Jalapeño บอกอนาคตการออกแบบฮาร์ดแวร์

Jalapeño ชี้ว่าอนาคตอาจไม่ได้วัดกันที่ชิปเร็วกว่า GPU อย่างเดียว แต่ต้องออกแบบโมเดล ซอฟต์แวร์ ชิป หน่วยความจำ และดาต้าเซ็นเตอร์ให้ทำงานเป็นระบบเดียวกัน ตั้งแต่ RTL ถึง tape-out โดยใช้ AI ช่วยเร่งงานวิศวกรรม

จุดสำคัญจึงอยู่ที่ประสิทธิภาพต่อพลังงานและการควบคุมต้นทุน พร้อมรักษาความน่าเชื่อถือระดับชิป ไม่ใช่แค่ทำต้นแบบให้เสร็จเร็วขึ้นเท่านั้น ต้องติดตามกันต่อว่าแนวทางนี้จะลดเวลาพัฒนาได้จริงแค่ไหน โดยไม่เพิ่มความเสี่ยงในขั้นตอนผลิตและใช้งานจริง