เวลาถอดเสียงบทสัมภาษณ์หรือการประชุมที่มีหลายคน การรู้ว่าใครพูดประโยคไหนเป็นเรื่องสำคัญมาก Whisper Notes ทำทั้งการรู้จำเสียงพูดและการแยกผู้พูดแบบออฟไลน์บน iPhone หรือ Mac ของคุณ ทุกโมเดลที่เราใส่ในแอปจึงต้องชั่งระหว่างความแม่นยำกับความเร็ว และเราให้ความแม่นยำมาก่อนเสมอ ล่าสุดเราเปลี่ยนโมเดลแยกผู้พูดในตัวจาก pyannote community-1 เป็น Nemotron 3 Diarization ของ NVIDIA แล้วเปรียบเทียบทั้งสองกับบันทึกเสียงสาธารณะ 122 ชิ้นที่มีผู้พูดตั้งแต่หนึ่งถึงสิบสองคน ผลคืออัตราความผิดพลาดในการแยกผู้พูด (DER) ลดลงจาก 16.0% เหลือ 9.9%
Nemotron 3 ลดอัตราความผิดพลาดในการแยกผู้พูดจาก 16.0% เหลือ 9.9%
อัตราความผิดพลาดในการแยกผู้พูด (DER) รวมความผิดพลาดสามแบบเข้าด้วยกันโดยวัดเป็นเวลาพูด ได้แก่ เสียงพูดที่ระบุผู้พูดผิดคน เสียงพูดที่โมเดลตกหล่น และเสียงรบกวนที่ถูกนับเป็นเสียงพูด นี่คือตัวชี้วัดมาตรฐานของการแยกผู้พูด ตารางด้านล่างวางตัวเลขนี้ไว้คู่กับปัญหาที่ผู้ใช้สังเกตเห็นบ่อยที่สุด รวมถึงความเร็วและหน่วยความจำของทั้งสองโมเดลบน Mac และ iPhone
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| อัตราความผิดพลาดในการแยกผู้พูด (บันทึกเสียง 122 ชิ้น) | 16.0% | 9.9% |
| นับจำนวนผู้พูดถูก | 52% ของบันทึกเสียง | 80% ของบันทึกเสียง |
| เสียงพูดที่ระบุผู้พูดผิดคน | 4.5% | 1.0% |
| เสียง 1 ชั่วโมงบน Mac (M5) | ประมาณ 22 วินาที | ประมาณ 8.5 วินาที |
| หน่วยความจำบน Mac | 0.88 GB | 0.12 GB |
| บันทึกเสียง 55 นาทีบน iPhone 15 | ประมาณ 27 วินาที | ประมาณ 12 วินาที |
| หน่วยความจำที่ใช้เพิ่มบน iPhone 15 | ประมาณ 830 MB | ประมาณ 30 MB |
| จำนวนผู้พูดสูงสุด | ไม่จำกัดตายตัว (ในแอปสูงสุด 10 คน) | 8 |
สีเขียวในตารางนี้และในทุกตารางและกราฟด้านล่าง หมายถึงค่าที่ดีกว่าเมื่อส่วนต่างเกินขอบเขตความคลาดเคลื่อน สำหรับความแม่นยำ คือช่วงความเชื่อมั่น 95% ไม่คร่อมศูนย์ ส่วนความเร็วและหน่วยความจำ คือส่วนต่างที่มากกว่าความแปรปรวนระหว่างการรันแต่ละครั้งอย่างชัดเจน อัตราความผิดพลาดยิ่งต่ำยิ่งดี แถวความแม่นยำมาจากบันทึกเสียงสาธารณะ 122 ชิ้น (25 ชั่วโมง ภาษาอังกฤษและจีน) ความเร็วและหน่วยความจำวัดจากทั้งสองโมเดลที่รันผ่าน Core ML โดย Nemotron 3 รันบน Neural Engine เวลาบน Mac นับเฉพาะการประมวลผล ส่วนเวลาบน iPhone นับตั้งแต่เริ่มระบุผู้พูดจนได้ผลลัพธ์
การลดลงนี้ไม่ได้มาจากบันทึกเสียงเพียงไม่กี่ชิ้น กราฟด้านล่างแสดงการเปลี่ยนแปลงของบันทึกเสียงทั้ง 122 ชิ้น เรียงจากที่ลดลงมากที่สุดไปจนถึงที่เพิ่มขึ้นมากที่สุด
แต่ละแท่งคือบันทึกเสียงหนึ่งชิ้น แสดงว่าอัตราความผิดพลาดเปลี่ยนไปกี่จุดเมื่อใช้ Nemotron 3 ต่ำกว่าศูนย์คือลดลง สูงกว่าศูนย์คือเพิ่มขึ้น
Nemotron 3 ทำได้แย่กว่าในสามกรณี คือบันทึกเสียงที่มีผู้พูดมากกว่าแปดคน บันทึกเสียงที่มีผู้พูดคนเดียว และการขึ้นย่อหน้าใหม่กลางประโยค
การระบุผู้พูดผิดคนแทบหายไป: 4.5% → 1.0%
ในความผิดพลาดสามแบบนี้ เสียงพูดที่ระบุผู้พูดผิดคนคือสิ่งที่ผู้อ่านสังเกตเห็นก่อน เพราะคำถูกหมดแต่ชื่อผิด เมื่อใช้ Nemotron 3 ความผิดพลาดแบบนี้แทบหายไป และเสียงพูดที่ตกหล่นก็ลดลงด้วย
ค่าเฉลี่ยจากบันทึกเสียง 122 ชิ้น คิดเป็นเปอร์เซ็นต์ของเวลาพูด ทั้งสองแท่งในแต่ละแถวเริ่มที่ศูนย์ การลดลงของการระบุผิดคนและเสียงพูดตกหล่นเกินขอบเขตความคลาดเคลื่อน ส่วนต่างของเสียงรบกวนที่นับเป็นเสียงพูดอยู่ในขอบเขตนั้น แท่งนั้นจึงเป็นสีเทาอ่อน ตัวเลขถูกปัดเศษ ผลบวกจึงอาจไม่เท่ากับค่ารวมพอดี
นับจำนวนผู้พูดถูกใน 80% ของบันทึกเสียง เพิ่มจาก 52%
การนับผู้พูดได้น้อยเกินไปหมายความว่าเสียงสองเสียงถูกรวมเป็นเสียงเดียว คำพูดของสองคนจึงไปอยู่ใต้ป้ายเดียวกัน นี่คือความผิดพลาดที่พบบ่อยที่สุดของ pyannote community-1 และ Nemotron 3 ทำแบบนี้น้อยลงมาก
จำนวนผู้พูดที่แต่ละโมเดลนับได้ เทียบกับจำนวนจริง ในบันทึกเสียง 122 ชิ้น pyannote community-1 ส่วนใหญ่นับได้น้อยไป Nemotron 3 นับถูกบ่อยกว่า และเมื่อนับผิด ก็มีทั้งมากไปและน้อยไปพอ ๆ กัน
ดีกว่าในการประชุม รายการออกอากาศ และบันทึกเสียงที่มีผู้พูดสองถึงแปดคน
บันทึกเสียงแต่ละแบบยากง่ายต่างกันมาก การประชุมที่อัดจากอีกฟากของห้องยากที่สุด รายการออกอากาศง่ายที่สุด เมื่อแยกตามประเภทบันทึกเสียง ภาษา และจำนวนผู้พูด ทุกกลุ่มที่มีบันทึกเสียงอย่างน้อยสิบชิ้นมีอัตราความผิดพลาดต่ำลง ส่วนกลุ่มผู้พูดคนเดียว ส่วนต่างอยู่ในขอบเขตความคลาดเคลื่อน บันทึกเสียงสามชิ้นที่มีผู้พูดเก้าถึงสิบสองคนแย่ลง แต่มีจำนวนน้อยเกินกว่าจะทดสอบได้
ทั้งสองแท่งในแต่ละกลุ่มเริ่มที่ศูนย์ สีเทาคือ pyannote community-1 สีเขียวคือ Nemotron 3 ตัวเลขท้ายแท่งคืออัตราความผิดพลาดเฉลี่ย สีเขียวหมายถึงลดลงเกินขอบเขตความคลาดเคลื่อน สีเทาอ่อนหมายถึงส่วนต่างอยู่ในขอบเขตนั้น สีเหลืองอำพันหมายถึงเพิ่มขึ้น การประชุมแถลงผลประกอบการ 6 ชิ้นนับรวมอยู่ในค่ารวม แต่มีน้อยเกินกว่าจะตั้งเป็นกลุ่มของตัวเอง
เกลาข้อความถอดเสียง: การแก้ด้วยมือต่อ 10 นาทีลดจาก 28.9 เหลือ 18.9 ครั้ง
สุดท้ายแล้ว อัตราความผิดพลาดก็กลายเป็นงานที่ต้องทำ คือจำนวนครั้งที่ต้องรวม แยก และเปลี่ยนผู้พูด เพื่อให้มุมมองผู้พูดถูกต้อง เรานับจำนวนการแก้ที่น้อยที่สุดที่จำเป็นในบันทึกเสียงสองคน 4 ชิ้นที่มีข้อความอ้างอิงแบบคำต่อคำ (ดัตช์ 2 ชิ้น จีน 1 ชิ้น ฟินแลนด์ 1 ชิ้น) ความผิดพลาดอีกแบบที่ผู้อ่านสังเกตเห็นคือประโยคของคนคนเดียวถูกแบ่งไปอยู่กับผู้พูดสองคน ในการประชุมภาษาอังกฤษ 12 ครั้งที่อัดจากอีกฟากของห้อง ทั้งสองโมเดลเกิดปัญหานี้น้อยมาก และส่วนต่างอยู่ในขอบเขตความคลาดเคลื่อน
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| การแก้ด้วยมือต่อ 10 นาที (บันทึกเสียงสองคน 4 ชิ้น) | 28.9 | 18.9 |
| ประโยคถูกแบ่งให้ผู้พูดสองคน (การประชุมภาษาอังกฤษ 12 ครั้ง) | 0.58% ของประโยค | 0.88% ของประโยค |
จำนวนการแก้ด้วยมือมาจากบันทึกเสียงเพียง 4 ชิ้น น้อยเกินกว่าจะทดสอบทางสถิติหรือสรุปเป็นการทั่วไป ประโยคที่ถูกแบ่งคือประโยคที่คนคนเดียวพูด แต่ข้อความไปอยู่ในย่อหน้าของผู้พูดสองคน
Nemotron 3 เร็วกว่าและใช้หน่วยความจำไม่ถึงหนึ่งในเจ็ด
บนอุปกรณ์ ความเร็วและหน่วยความจำสำคัญไม่แพ้ความแม่นยำ ตารางนี้แสดงเวลาประมวลผลและหน่วยความจำของทั้งสองโมเดลที่รันผ่าน Core ML โดย Nemotron 3 รันบน Neural Engine ในทุกอุปกรณ์ที่เราทดสอบ Nemotron 3 เร็วกว่าและใช้หน่วยความจำน้อยกว่ามาก ซึ่งสำคัญที่สุดกับ iPhone รุ่นเก่าที่มีหน่วยความจำ 4 GB
| pyannote community‑1 | Nemotron 3 | |
|---|---|---|
| Mac (M5) | ||
| เสียง 1 ชั่วโมง | ประมาณ 22 วินาที | ประมาณ 8.5 วินาที |
| หน่วยความจำ | 0.88 GB | 0.12 GB |
| iPhone 15 | ||
| บันทึกเสียง 55 นาที | 26.6 วินาที | 11.8 วินาที |
| หน่วยความจำที่ใช้เพิ่มระหว่างระบุผู้พูด | 833 MB | 30 MB |
| iPhone 12 mini | ||
| บันทึกเสียง 55 นาที | 30.1 วินาที | 17.2 วินาที |
| หน่วยความจำสูงสุดของแอประหว่างระบุผู้พูด | 638 MB | 71 MB |
ค่ามัธยฐานจากการรันหลายครั้ง (pyannote community-1 รันครั้งเดียวบน iPhone 15) ทั้งหมดใช้บันทึกเสียงการประชุมแถลงผลประกอบการชิ้นเดียวกัน ยาว 55 นาที มีผู้พูด 10 คน ทั้งสองโมเดลรันผ่าน Core ML โดย Nemotron 3 รันบน Neural Engine เวลาบน Mac นับเฉพาะการประมวลผล ไม่รวมการถอดรหัสเสียงหรือการโหลดโมเดล เวลาบน iPhone นับตั้งแต่เริ่มระบุผู้พูดจนได้ผลลัพธ์ รวมการโหลดโมเดล และสำหรับ pyannote community-1 รวมขั้นตอนประมวลผลภายหลังที่มากับตัวโมเดลด้วย โทรศัพท์เสียบสาย USB ไว้ และทุกครั้งเริ่มรันตอนที่เครื่องยังเย็นอยู่
ครั้งแรกที่ Core ML รันโมเดลบน Neural Engine จะคอมไพล์โมเดลสำหรับอุปกรณ์นั้นก่อน ใช้เวลาประมาณ 7 วินาทีบน Mac และประมาณหนึ่งนาทีบน iPhone 15 หลังจากนั้น การโหลดโมเดลใช้เวลาไม่ถึงวินาที
จุดที่ pyannote community-1 ยังดีกว่า
- ผู้พูดมากกว่าแปดคน Nemotron 3 ติดป้ายได้สูงสุดแปดคน ในบันทึกเสียง 3 ชิ้นของเราที่มีผู้พูดเก้าถึงสิบสองคน มี 2 ชิ้นที่ทำได้แย่กว่า pyannote community-1
- ผู้พูดคนเดียว ในบันทึกเสียงผู้พูดคนเดียว 14 ชิ้น Nemotron 3 นับผู้พูดเกินมาใน 5 ชิ้น ส่วน pyannote community-1 เกินใน 1 ชิ้น
- ขึ้นย่อหน้าใหม่กลางประโยค ในการประชุมภาษาอังกฤษ 12 ครั้ง การขึ้นย่อหน้าใหม่ 25.8% ตกอยู่กลางประโยค เทียบกับ 14.6% เมื่อใช้ pyannote community-1
เคล็ดลับใช้ Nemotron 3 ใน Whisper Notes ให้ได้ผลดีที่สุด
- ถ้ารู้จำนวนผู้พูด ให้กำหนดไว้เลย ในบันทึกเสียง 108 ชิ้นที่มีผู้พูดตั้งแต่สองคนขึ้นไป การบอกจำนวนให้ Nemotron 3 ทำให้นับจำนวนผู้พูดถูกขึ้นใน 15 ชิ้น และไม่ทำให้ชิ้นไหนนับผิด โดยอัตราความผิดพลาดไม่เปลี่ยนอย่างชัดเจน (+0.16 จุด อยู่ในขอบเขตความคลาดเคลื่อน)
- ถ้ามีคนพูดคนเดียว ให้ข้ามการระบุผู้พูด จะได้ไม่มี "ผู้พูด" คนที่สองโผล่มาเป็นครั้งคราว
- ถ้ามีผู้พูดมากกว่าแปดคน ให้ถือว่าป้ายเป็นแค่ร่างแรก รวมและเปลี่ยนชื่อผู้พูดในมุมมองผู้พูดตามต้องการ
กำหนดจำนวนผู้พูดจาก Not right? ในมุมมองผู้พูดบน Mac
การระบุผู้พูดทำงานเหมือนกันบน iPhone และ Mac และประมวลผลบนอุปกรณ์ของคุณทั้งหมด วิธีใช้ในแอปดูได้ที่ Whisper Notes เพิ่มการแยกผู้พูดบนเครื่อง
ทำงานอย่างไร: pyannote ตัดแล้วจัดกลุ่ม ส่วน Nemotron 3 ให้เลขผู้พูดตามลำดับที่เริ่มพูด
pyannote community-1 เป็นไปป์ไลน์สามขั้น ขั้นแรกตัดเสียงเป็นหน้าต่างละ 10 วินาที แล้วหาว่าใครพูดในแต่ละหน้าต่าง (สูงสุด 3 คนต่อหน้าต่าง และพูดพร้อมกันได้สูงสุด 2 คน) จากนั้นสกัดลายเสียง หรือ embedding ของแต่ละช่วงเสียงพูด สุดท้ายใช้การจัดกลุ่ม VBx รวมลายเสียงที่คล้ายกันเป็นผู้พูดคนเดียวกัน เลขผู้พูดในหน้าต่างใช้ได้เฉพาะในหน้าต่างนั้น จำนวนผู้พูดทั้งหมดจึงถูกกำหนดในขั้นสุดท้ายเท่านั้น
Nemotron 3 Diarization เป็นโมเดลเดียว คือ Transformer encoder 31 ชั้นที่ให้คะแนนแทร็กผู้พูดแปดแทร็กในทุกช่วงเวลา แต่ละแทร็กให้คะแนนแยกกัน เมื่อหลายคนพูดพร้อมกันจึงมีหลายแทร็กทำงานพร้อมกัน โมเดลนี้ใช้แนวทาง Sortformer ของ NVIDIA และเรียงเลขแทร็กตามเวลาที่แต่ละคนเริ่มพูดครั้งแรก คนแรกที่พูดจะอยู่แทร็ก 1 เสมอ โมเดลจึงไม่ต้องเดาว่าเสียงไหนควรอยู่ช่องไหน ในการตั้งค่าแบบสตรีมมิงที่อธิบายไว้ในการ์ดโมเดล แคชผู้พูดที่เรียงตามลำดับการเข้ามาจะจำผู้พูดก่อนหน้าไว้ ช่วงเสียงที่มาทีหลังจึงจับคู่กับเลขเดิมได้
แต่ละแบบมีข้อจำกัดของตัวเอง pyannote community-1 ไม่จำกัดจำนวนผู้พูดตายตัว แต่แยกคนที่พูดพร้อมกันได้สูงสุดสองคน Nemotron 3 ติดป้ายคนที่พูดพร้อมกันหลายคนได้ แต่มีแปดแทร็ก จึงหาผู้พูดได้สูงสุดแปดคน
แผนภาพเหล่านี้เป็นแบบย่อ pyannote community-1: ประมาณ 21 MB ใน Whisper Notes, CC BY 4.0 (การ์ดโมเดล) โมเดลแบ่งช่วงเสียงโดย Plaquet และ Bredin (Interspeech 2023) embedding จาก WeSpeaker จัดกลุ่มด้วย VBx (Landini et al., 2022) ส่วน Nemotron 3 Diarization: 97 MB (แปลงเป็น Core ML แบบ 8-bit โดย Fluid Inference) ประมาณ 100 ล้านพารามิเตอร์, OpenMDW 1.1 (การ์ดโมเดล) วิธีการอยู่ในงานวิจัย Sortformer และ Streaming Sortformer
เราทดสอบอย่างไร
- บันทึกเสียง บันทึกเสียงสาธารณะ 122 ชิ้น รวม 25 ชั่วโมง เป็นภาษาอังกฤษและจีน แต่ละชิ้นมีผู้พูด 1 ถึง 12 คน ได้แก่ การประชุมที่อัดจากอีกฟากของห้อง รายการออกอากาศ การประชุมแถลงผลประกอบการ และบันทึกเสียงผู้พูดคนเดียวที่นำคลิปแยกมาต่อกัน นอกจากนี้ยังมีบันทึกเสียงสองคนอีก 5 ชิ้นในภาษาอังกฤษ ดัตช์ จีน และฟินแลนด์ ในจำนวนนี้ 4 ชิ้นมีข้อความอ้างอิงแบบคำต่อคำ
- ชุดข้อมูล AMI, AISHELL-4, AliMeeting, VoxConverse, Earnings-21, LibriSpeech, IFADV และ SKN รวมถึงบันทึกเสียงของเราเอง ใช้เฉพาะชุดข้อมูลที่สัญญาอนุญาตให้เผยแพร่ผลได้ และไม่มีบันทึกเสียงของผู้ใช้เรา
- ตัวชี้วัด อัตราความผิดพลาดในการแยกผู้พูด คิดคะแนนเป็นเฟรมละ 10 ms โดยไม่ใช้ collar รวมช่วงที่พูดซ้อนกัน และเฉลี่ยรายบันทึกเสียง
- สถิติ ช่วงความเชื่อมั่น 95% จากการสุ่มซ้ำแบบ bootstrap 10,000 ครั้งโดยสุ่มทั้งชิ้น ไม่คำนวณช่วงความเชื่อมั่นสำหรับกลุ่มที่มีบันทึกเสียงไม่ถึงสิบชิ้น
- อุปกรณ์ Mac ชิป M5, iPhone 15 และ iPhone 12 mini ความแม่นยำคำนวณบน Mac
- ลงทะเบียนแผนล่วงหน้า แผนการทดสอบถูกล็อกไว้ตั้งแต่วันที่ 2 พฤศจิกายน 2026 และการแบ่งชุดบันทึกเสียงสองคนล็อกเมื่อวันที่ 4 พฤศจิกายน ก่อนจะรันโมเดลใด ๆ กับคลิปเหล่านั้น
รายละเอียดการทดสอบทั้งหมด
การคัดเลือก คำถามและกฎถูกกำหนดไว้สำหรับเบนช์มาร์กที่ใหญ่กว่าก่อนการรันใด ๆ เราเลือกชุดย่อยนี้ตามสัญญาอนุญาต ไม่ใช่ตามผลลัพธ์ และคำนวณตัวเลขใหม่จากผลลัพธ์ชุดเดิมด้วยวิธีให้คะแนนเดิม บันทึกเสียงผู้พูดคนเดียวที่ต่อจากคลิปของ LibriSpeech และ AISHELL-4 นับรวมอยู่ใต้แหล่งที่มาของตัวเอง เราเผยแพร่เฉพาะผลรวม ไม่เผยแพร่เสียงหรือข้อความอ้างอิง
| ชุดข้อมูล | สัญญาอนุญาต | บันทึกเสียงที่ใช้ |
|---|---|---|
| AMI Meeting Corpus | CC BY 4.0 | การประชุม 16 ครั้ง และช่วงตัดตอนยาวหนึ่งนาที 16 ช่วง |
| AISHELL-4 | CC BY-SA 4.0 | การประชุม 5 ครั้ง ช่วงตัดตอน 5 ช่วง บันทึกเสียงผู้พูดคนเดียวแบบต่อคลิป 5 ชิ้น |
| AliMeeting | CC BY-SA 4.0 | การประชุม 8 ครั้ง ช่วงตัดตอน 8 ช่วง บันทึกเสียงสองคน 1 ชิ้น |
| VoxConverse | CC BY 4.0 (ลิขสิทธิ์วิดีโอยังเป็นของเจ้าของ) | รายการออกอากาศ 30 รายการ และช่วงตัดตอน 18 ช่วง |
| Earnings-21 | CC BY-SA 4.0 | การประชุมแถลงผลประกอบการ 6 ครั้ง บันทึกเสียงสองคน 1 ชิ้น |
| LibriSpeech | CC BY 4.0 | บันทึกเสียงผู้พูดคนเดียวแบบต่อคลิป 5 ชิ้น |
| IFADV | GNU GPL v2 หรือใหม่กว่า | บันทึกเสียงสองคน 2 ชิ้น |
| ตัวอย่างภาษาถิ่นฟินแลนด์ SKN | CC BY (Institute for the Languages of Finland) | บันทึกเสียงสองคน 1 ชิ้น |
สัญญาอนุญาตตามที่ระบุในหน้าของแต่ละชุดข้อมูล ตรวจสอบเมื่อพฤศจิกายน 2026
ช่วงความเชื่อมั่น อัตราความผิดพลาดโดยรวมลดลง 6.0 จุด (4.5 ถึง 7.6) เสียงพูดตกหล่นลดลง 2.3 จุด (1.3 ถึง 3.4) และเสียงพูดที่ระบุผิดคนลดลง 3.4 จุด (2.4 ถึง 4.6) เสียงรบกวนที่นับเป็นเสียงพูดลดลง 0.30 จุด ซึ่งอยู่ในขอบเขตความคลาดเคลื่อน (−0.02 ถึง 0.62) สัดส่วนบันทึกเสียงที่นับจำนวนผู้พูดถูกเพิ่มขึ้น 27.9 จุด (17.2 ถึง 38.5) ในระดับกลุ่ม ทุกช่วงไม่คร่อมศูนย์ ยกเว้นกลุ่มผู้พูดคนเดียว ในการประชุมภาษาอังกฤษ 12 ครั้ง ช่วงของประโยคที่ถูกแบ่งคร่อมศูนย์ ส่วนช่วงของการขึ้นย่อหน้ากลางประโยคไม่คร่อม
การให้คะแนน ตัวให้คะแนนของเราได้ผลตรงกับ pyannote.metrics โดยต่างกันไม่เกิน 0.003 จุด
ผู้พูดมากกว่าแปดคน ผลของบันทึกเสียงกลุ่มนี้ไวต่อความต่างเล็กน้อยของชิปและการถอดรหัสเสียง ในการประชุมแถลงผลประกอบการยาว 55 นาทีที่มีผู้พูด 10 คน ผลของ Nemotron 3 อยู่ระหว่าง 30.6% ถึง 42.8% แล้วแต่ชิป การตั้งค่า และตัวถอดรหัสเสียง ส่วน pyannote community-1 ได้ 21.6%
การตั้งค่าการประมวลผลภายหลัง การตั้งค่าการประมวลผลภายหลังบางส่วนเลือกหลังการลงทะเบียนแผนล่วงหน้า โดยใช้เฉพาะบันทึกเสียงสำหรับปรับแต่งที่แยกไว้ต่างหาก บันทึกเสียงทดสอบใช้เพื่อรายงานผลเท่านั้น
ข้อจำกัด วัดความแม่นยำเฉพาะภาษาอังกฤษและจีน จำนวนการแก้ด้วยมือมาจากบันทึกเสียง 4 ชิ้น เวลาบน Mac มาจาก Mac M5 ที่รันงานอื่นอยู่ด้วยและใช้ macOS รุ่นเบต้า โทรศัพท์เสียบสาย USB ไว้ จึงไม่ได้วัดการใช้แบตเตอรี่
ลองใช้
ตอนนี้ Whisper Notes บน iPhone และ Mac ใช้ Nemotron 3 ในการระบุผู้พูดแล้ว หากมีคำถาม ส่งอีเมลมาที่ support@whispernotes.app
ดาวน์โหลดสำหรับ iOS