Alphabet Inc Class CGoogle's Gemini TTS dropped from 89.1% to 61.6% on newly approved drug names in the DOSE benchmark.
Synthio Labsは、テキスト読み上げシステムが薬剤名をどれだけ正確に発音するかを測る初の公開ベンチマーク「DOSE」を公開した。実際の臨床文の中で読まれる274の薬剤名について9つの商用モデルをテストしたものである。274の薬剤名のうち146は新規承認薬であり、すべてのモデルがこれらで性能を落とした。ElevenLabsのeleven_v3は既存薬名での93.0%から67.1%へ低下し、GoogleのGemini TTSは89.1%から61.6%へ落ち込んだ。汎用モデルは薬剤名全体で63.1%から80.3%を通過し、Microsoft Azureは一般名のINN名の半数未満しか通過せず、あるシステムはXofluzaを一文字ずつ綴った。DOSEは検証済みの参照発音に対して発音を0から5で採点し、4以上を合格とする。Synthio Labs自身のRxPronounceモデルは薬剤名全体で91.2%、新規承認薬で87.0%を通過し、次に優れたシステムを10.9ポイント上回った。共同創業者兼CTOのRajashekar Vasantha氏は、モデルは人間らしく聞こえても薬剤名を誤って発音することがあり、これが製薬分野で問題となる失敗だと述べた。共同創業者兼CEOのSupreet Deshpande氏は、このパターンは訓練データが尽きる場所を反映していると述べた。音声付きの完全なデータセットはHugging Faceで公開されている。
Alphabet Inc Class CGoogle's Gemini TTS dropped from 89.1% to 61.6% on newly approved drug names in the DOSE benchmark.
Microsoft CorporationMicrosoft Azure passed fewer than half of generic INN drug names in the DOSE pronunciation benchmark.
Synthio Labs' own RxPronounce model topped the DOSE benchmark at 91.2% overall and 87.0% on newly approved names.