Alphabet Inc Class CGoogle's Gemini TTS dropped from 89.1% to 61.6% on newly approved drug names in the DOSE benchmark.
Synthio Labs ได้เผยแพร่ DOSE ซึ่งเป็นเกณฑ์มาตรฐานสาธารณะฉบับแรกที่วัดความแม่นยำของระบบแปลงข้อความเป็นเสียงในการออกเสียงชื่อยา โดยทดสอบโมเดลเชิงพาณิชย์เก้าแบบกับยาจำนวน 274 รายการที่อ่านภายในประโยคทางคลินิกจริง ในจำนวนชื่อยา 274 รายการนั้น มี 146 รายการที่เพิ่งได้รับอนุมัติใหม่ และทุกโมเดลทำได้แย่ลงกับชื่อเหล่านี้ โดย eleven_v3 ของ ElevenLabs ลดลงจาก 93.0% สำหรับชื่อยาที่มีอยู่เดิมเหลือ 67.1% ขณะที่ Gemini TTS ของ Google ลดลงจาก 89.1% เหลือ 61.6% โมเดลเอนกประสงค์ผ่านชื่อยาระหว่าง 63.1% ถึง 80.3% โดยรวม ขณะที่ Microsoft Azure ผ่านชื่อสามัญ INN ไม่ถึงครึ่ง และระบบหนึ่งสะกด Xofluza ทีละตัวอักษร DOSE ให้คะแนนการออกเสียงตั้งแต่ 0 ถึง 5 เทียบกับเสียงอ้างอิงที่ตรวจสอบแล้ว โดยคะแนน 4 ขึ้นไปถือว่าผ่าน และโมเดล RxPronounce ของ Synthio Labs เองผ่านชื่อยารวม 91.2% และผ่านชื่อยาที่เพิ่งอนุมัติใหม่ 87.0% ซึ่งนำหน้าระบบถัดไปอยู่ 10.9 จุด Rajashekar Vasantha ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่ฝ่ายเทคโนโลยี กล่าวว่าโมเดลอาจฟังดูเหมือนมนุษย์แต่ยังออกเสียงชื่อยาผิด ซึ่งเป็นความล้มเหลวที่สำคัญในอุตสาหกรรมยา ขณะที่ Supreet Deshpande ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่บริหาร กล่าวว่ารูปแบบนี้สอดคล้องกับจุดที่ข้อมูลฝึกอบรมหมดลง ชุดข้อมูลเต็มพร้อมเสียงเผยแพร่บน Hugging Face
Alphabet Inc Class CGoogle's Gemini TTS dropped from 89.1% to 61.6% on newly approved drug names in the DOSE benchmark.
Microsoft CorporationMicrosoft Azure passed fewer than half of generic INN drug names in the DOSE pronunciation benchmark.
CTO Realty Growth IncSynthio Labs' own RxPronounce model topped the DOSE benchmark at 91.2% overall and 87.0% on newly approved names.