Whisper Large-v3 Turbo ของ OpenAI ลดดีโค้ดเดอร์จาก 32 เลเยอร์เหลือ 4 ลดพารามิเตอร์จาก 1.55B เหลือ 809M ในการทดสอบของเราบน Apple Silicon โมเดลนี้ถอดเสียงไฟล์เดียวกันได้เร็วขึ้นประมาณ 5 เท่า ด้วยความแม่นยำเกือบเท่าเดิม Whisper Notes มาพร้อมโมเดลนี้ทั้งบน Mac และ iPhone
V3 Turbo เทียบกับ V3: อะไรเปลี่ยนแปลง
Turbo ไม่ใช่สถาปัตยกรรมใหม่ เป็นโมเดล Whisper Large-v3 ตัวเดียวกันทุกประการ โดยดีโค้ดเดอร์ถูกตัดจาก 32 เลเยอร์เหลือ 4 แล้วปรับแต่งละเอียดเพื่อกู้คืนความแม่นยำ เอ็นโค้ดเดอร์ไม่ถูกแตะต้อง
| Large-v3 Turbo | Large-v3 | |
|---|---|---|
| พารามิเตอร์ | 809M | 1,550M |
| เลเยอร์ดีโค้ดเดอร์ | 4 | 32 |
| ภาษา | 100+ | 100+ |
| งานแปลภาษา | ไม่รองรับ | รองรับ |
| สัญญาอนุญาต | MIT | Apache 2.0 |
วิธีการทดสอบ: ไฟล์เสียงความยาว 10 นาทีไฟล์เดียวกันถูกถอดเสียงด้วย Whisper Notes บิลด์เดียวกันบนอุปกรณ์แต่ละรุ่นที่ระบุ เวลาคือวินาทีตามนาฬิกาจริงตั้งแต่เริ่มถอดเสียงจนได้ข้อความสุดท้าย มีเพียงโมเดลเท่านั้นที่เปลี่ยนระหว่าง V3 กับ Turbo
งานแปลภาษาถูกตัดออกจากข้อมูลฝึกของ Turbo อย่างชัดเจน โมเดล Large-v3 แบบเต็มรองรับ แต่ Whisper Notes ส่งมอบ Turbo เท่านั้น — การแปลจัดการแยกต่างหากผ่าน Apple Intelligence
โมเดลพื้นฐาน: Whisper Large-v3 คืออะไร?
Whisper Large-v3 คือโมเดลรู้จำเสียงพูดโอเพนซอร์สเรือธงของ OpenAI เปิดตัวในเดือนพฤศจิกายน 2023 มีพารามิเตอร์ 1.55B ใช้อินพุตสเปกโตรแกรมแบบ 128 mel-bin ฝึกด้วยเสียง 5 ล้านชั่วโมง (1 ล้านชั่วโมงแบบ weakly labeled + 4 ล้านชั่วโมงแบบ pseudo-labeled) และรองรับมากกว่า 100 ภาษา รวมถึงภาษากวางตุ้ง บน Hugging Face Open ASR Leaderboard โมเดลนี้มีอัตราข้อผิดพลาดของคำเฉลี่ยราว ~7.4% ซึ่งเป็นเพดานความแม่นยำที่ใช้วัด Turbo ตลอดบทความนี้ หากต้องการดูว่า Large-v3 เทียบกับโมเดลบนอุปกรณ์ตัวอื่น ๆ ทุกตัวเป็นอย่างไร ดูได้ที่หน้าเปรียบเทียบโมเดล Whisper ของเรา
เบนช์มาร์กความเร็ว: Whisper Notes บน Apple Silicon
ใน Whisper Notes สำหรับ Mac Turbo ทำงานผ่าน CoreML บน Neural Engine การประมวลผลเสียง 10 นาที:
| อุปกรณ์ | Whisper V3 | V3 Turbo | ความเร็วที่เพิ่มขึ้น |
|---|---|---|---|
| iPhone 15 Pro | 425 s | 82 s | 5.2× |
| iPad Pro M2 | 380 s | 71 s | 5.4× |
| MacBook Pro M2 | 316 s | 63 s | 5.0× |
ความเร็วที่เพิ่มขึ้น 5 เท่าเฉพาะสำหรับ Whisper Notes บน Apple Silicon ซึ่งดีโค้ดเดอร์ขนาดเล็กได้ประโยชน์จากการเพิ่มประสิทธิภาพของ Neural Engine บน GPU ด้วยเฟรมเวิร์กอย่าง faster-whisper ช่องว่างจะลดลงเหลือ ~2.7 เท่า (ดูเบนช์มาร์กของชุมชนด้านล่าง)
ความแม่นยำ: การเปรียบเทียบ WER
Hugging Face Open ASR Leaderboard ทดสอบทั้งสองโมเดลบนชุดข้อมูลภาษาอังกฤษเดียวกัน อัตราข้อผิดพลาดของคำ (WER) ของ Turbo อยู่ภายในครึ่งจุดเปอร์เซ็นต์ของ V3 ในทุกเบนช์มาร์ก:
| ชุดข้อมูล | V3 Turbo WER | V3 WER |
|---|---|---|
| LibriSpeech Clean | 2.10% | 2.01% |
| LibriSpeech Other | 4.24% | 3.91% |
| GigaSpeech | 10.14% | 10.02% |
| Earnings22 | 11.63% | 11.29% |
| AMI | 16.13% | 15.95% |
| WER เฉลี่ย | 7.83% | 7.44% |
V3 แม่นยำกว่าเล็กน้อยในทุกชุดข้อมูล แต่ช่องว่างน้อยมาก — เฉลี่ย 0.39 จุดเปอร์เซ็นต์ สำหรับการถอดเสียงในโลกจริงส่วนใหญ่ คุณจะไม่ได้ยินความแตกต่าง
ในการประเมิน YouTube-commons สำหรับเสียงยาว (หนึ่งในเบนช์มาร์ก ASR โอเพนซอร์สที่ใหญ่ที่สุด) Turbo ได้คะแนน 13.40% WER เทียบกับ 13.20% ของ V3 — ด้วยอัตราส่วนเรียลไทม์ 129.5 เท่า เทียบกับ 55.3 เท่า นั่นคือเร็วกว่า 2.3 เท่าด้วยความแม่นยำเกือบเท่ากันบนเสียงจริง
Turbo แม่นยำแค่ไหนในภาษาเกาหลี รัสเซีย และภาษาอื่น ๆ?
เบนช์มาร์กด้านบนเป็นภาษาอังกฤษ ตาม model card ของ OpenAI ดีโค้ดเดอร์ 4 เลเยอร์ที่ถูกตัดทอนของ Turbo ทำให้เสียความแม่นยำในภาษาที่ไม่ใช่ภาษาอังกฤษมากกว่าในภาษาอังกฤษเล็กน้อย โดยความแม่นยำลดลงมากที่สุดในภาษาที่มีทรัพยากรน้อย สำหรับภาษารัสเซียและภาษายุโรปส่วนใหญ่ Turbo ยังคงใกล้เคียงกับ Large-v3 แบบเต็ม — และหากคุณใช้ Whisper Notes Parakeet V3 ครอบคลุมภาษารัสเซียและภาษายุโรปอีก 24 ภาษา ด้วยความเร็ว 10 เท่าของ Whisper
สำหรับภาษาเกาหลี ญี่ปุ่น จีน และกวางตุ้ง โมเดลที่สร้างมาเฉพาะทางทั้งเร็วกว่าและใส่เครื่องหมายวรรคตอนได้ดีกว่า: SenseVoice ถอดเสียง CJK ที่ความเร็ว 52 เท่าของเรียลไทม์ Whisper Notes มาพร้อม SenseVoice ควบคู่กับ Turbo ทั้งบน Mac และ iOS คุณจึงเลือกโมเดลที่เหมาะกับแต่ละภาษาได้ แทนที่จะบังคับทุกอย่างผ่านโมเดลเดียว
เบนช์มาร์กชุมชน: GPU และ CPU
เบนช์มาร์กอิสระจากชุมชน faster-whisper และ whisper.cpp แสดงผลลัพธ์ที่สอดคล้องกันข้ามฮาร์ดแวร์ การถอดเสียง 13 นาทีด้วย faster-whisper บน GPU:
| โมเดล | ความละเอียด | เวลา | หน่วยความจำ GPU | WER |
|---|---|---|---|---|
| Large-v3 Turbo | fp16 | 19.2 s | 2,537 MB | 1.92% |
| Large-v3 | fp16 | 52.0 s | 4,521 MB | 2.88% |
| Large-v3 Turbo | int8 | 19.6 s | 1,545 MB | 1.92% |
| Distil-Large-v3 | fp16 | 26.1 s | 2,409 MB | 2.39% |
แหล่งที่มา: เบนช์มาร์ก faster-whisper บน NVIDIA GPU, LibriSpeech clean validation split Turbo int8 ใช้เพียง 1.5 GB VRAM — พอดีกับ GPU 2 GB
การอนุมานแบบแบตช์บน RTX 3060 Laptop (6 GB VRAM, ความละเอียด int8) ผลักดันข้อได้เปรียบต่อไปอีก:
| โมเดล | ลำดับ | แบตช์ (10) | WER แบตช์ |
|---|---|---|---|
| Large-v3 Turbo | 46.1 s | 18.7 s | 7.7% |
| Large-v3 | 230.8 s | 43.0 s | 7.9% |
| Large-v2 | 178.3 s | 43.2 s | 8.8% |
| Medium | 113.3 s | 26.3 s | 8.9% |
แหล่งที่มา: เบนช์มาร์ก NilaierMusic, Intel i7-12650H + RTX 3060 Laptop 6 GB, เสียงภาษาฝรั่งเศส, ความละเอียด int8
ด้วยการประมวลผลแบบแบตช์ Turbo ทำได้ WER ดีที่สุดจากทุกโมเดลที่ทดสอบ (7.7%) ขณะเดียวกันก็เร็วที่สุด เป็นจุดที่เหมาะสมที่สุดอย่างชัดเจนสำหรับการใช้งานจริง
Turbo เทียบกับ Medium และ Whisper ทุกขนาดโมเดล
ก่อนจะมี Turbo, Medium คือทางประนีประนอมที่ใช้กันทั่วไป: ความแม่นยำพอรับได้ที่ความเร็วพอทนไหว Turbo ทำให้การแลกเปลี่ยนนั้นหมดความจำเป็น — ที่ 809M พารามิเตอร์ มันใหญ่กว่า Medium (769M) เพียงเล็กน้อย แต่ให้ความแม่นยำระดับ large ที่ความเร็วสูงกว่าหลายเท่า นี่คือตระกูลโมเดลทั้งหมดเทียบกันแบบเคียงข้าง:
| โมเดล | พารามิเตอร์ | ขนาดดิสก์ | ความเร็วสัมพัทธ์ | ระดับความแม่นยำ |
|---|---|---|---|---|
| tiny | 39M | ~75 MB | ~10× | ต่ำที่สุด |
| base | 74M | ~142 MB | ~7× | ต่ำ |
| small | 244M | ~466 MB | ~4× | ปานกลาง |
| medium | 769M | ~1.5 GB | ~2× | สูง |
| large-v3 | 1,550M | ~2.9 GB | 1× (ฐานอ้างอิง) | สูงที่สุด |
| large-v3-turbo | 809M | ~1.6 GB | ~5× บน Apple Silicon | เกือบสูงที่สุด |
เปิดตัวเมื่อ 30 กันยายน 2024 Turbo มีพารามิเตอร์ 809M หากก่อนหน้านี้คุณเลือก Medium เพื่อประหยัดพื้นที่ดิสก์หรือเพื่อความเร็ว ตอนนี้ Turbo เหนือกว่าทั้งด้านความแม่นยำและความเร็ว ด้วยขนาดที่ใกล้เคียงกัน
ข้อจำกัดที่ทราบ (และ Whisper Notes จัดการอย่างไร)
ไม่มีการแปลในตัว
Turbo ถูกฝึกโดยไม่มีข้อมูลการแปล จะถอดเสียงเป็นภาษาต้นทางเท่านั้น — ต่างจาก Large-v3 ที่รองรับการแปลเสียงเป็นภาษาอังกฤษ
Whisper Notes — Apple Intelligence แปลบทถอดเสียงเป็นภาษาที่คุณเลือกโดยอัตโนมัติ ให้ผลลัพธ์สองภาษาไม่ว่าจะใช้โมเดลใด
ภาพหลอนมากขึ้นในเสียงที่มีสัญญาณรบกวน
รายงานจากชุมชนระบุว่า Turbo เกิดภาพหลอนมากกว่าในคลิปสั้นมากหรือการบันทึกที่มีเสียงรบกวนเมื่อเทียบกับ V3 ซึ่งเป็นไปตามคาดเนื่องจากดีโค้ดเดอร์ที่ลดลง (4 เลเยอร์ เทียบกับ 32)
Whisper Notes — เรียกใช้ Pyannote VAD ก่อนการถอดเสียง ตรวจจับส่วนที่มีเสียงพูดและตัดความเงียบ/เสียงรบกวนออก เพื่อให้โมเดลประมวลผลเฉพาะเสียงพูดจริง
คุณควรใช้โมเดลไหน?
| อังกฤษ / ยุโรป | Parakeet V3 — เร็วกว่า Whisper 10 เท่า ความแม่นยำดีกว่า |
| จีน / ญี่ปุ่น / เกาหลี | SenseVoice — สร้างมาเฉพาะสำหรับ CJK ความเร็ว 52 เท่า |
| ภาษาอื่นๆ | Whisper Large V3 Turbo — 100+ ภาษา ความแม่นยำสูง ช้ากว่า |
คำถามที่พบบ่อยเกี่ยวกับ Whisper Large-v3 Turbo
Whisper Large-v3 กับ Large-v3 Turbo ต่างกันอย่างไร?
Large-v3 Turbo คงเอ็นโค้ดเดอร์ของ Large-v3 ไว้ แต่ลดดีโค้ดเดอร์จาก 32 เลเยอร์เหลือ 4 นั่นคือเหตุผลที่มันเร็วกว่ามาก ขณะที่ยังคงความแม่นยำในการถอดเสียงใกล้เคียงกับ Large-v3 ข้อแลกเปลี่ยนคือ Turbo ไม่รองรับงานแปลภาษาในตัวของ Whisper
faster-whisper รองรับ Large-v3 Turbo หรือไม่?
รองรับ faster-whisper รองรับ Large-v3 Turbo ผ่านการแปลงด้วย CTranslate2 และเบนช์มาร์กจากชุมชนแสดงว่า Turbo เป็นตัวเลือกที่แข็งแกร่งเมื่อ VRAM มีจำกัด ในเบนช์มาร์กด้านบน Turbo int8 ใช้ VRAM ประมาณ 1.5 GB
whisper.cpp รองรับ Large-v3 Turbo หรือไม่?
รองรับ whisper.cpp สามารถรันเวอร์ชัน GGML/GGUF ที่แปลงแล้วของ Whisper Large-v3 Turbo ได้ หากคุณกำลังสร้างไปป์ไลน์ถอดเสียงในเครื่องของตัวเอง Turbo มักจะติดตั้งบนฮาร์ดแวร์ระดับผู้บริโภคได้ง่ายกว่า Large-v3 แบบเต็ม
ดาวน์โหลด openai/whisper-large-v3-turbo ได้ที่ไหน?
น้ำหนักโมเดลอย่างเป็นทางการดาวน์โหลดได้จาก OpenAI บน Hugging Face ผู้ใช้ Whisper Notes ไม่จำเป็นต้องดาวน์โหลดเอง: แอป Mac จัดการติดตั้งโมเดลในเครื่องให้ผ่านหน้าจอของแอป
กำลังเปรียบเทียบตัวเลือกในเครื่องทั้งหมดอยู่ใช่ไหม? โมเดลแปลงเสียงเป็นข้อความบนอุปกรณ์ทุกตัว — Whisper ทุกรุ่น, Parakeet V3, SenseVoice และ Voxtral — ถูกนำมาเปรียบเทียบแบบเคียงข้างกันบนหน้าเปรียบเทียบโมเดล Whisper ของเรา เพิ่งรู้จัก Whisper ใช่ไหม? เริ่มต้นด้วยคู่มือการถอดเสียงด้วย Whisper — โมเดลคืออะไร มีวิธีรันแบบไหนบ้าง และมีค่าใช้จ่ายเท่าไร
ดาวน์โหลดสำหรับ iOS