皮肉は、何を言うかだけで決まるものではありません。どのように言うかも重要です。

文字どおりには褒め言葉であっても、話すタイミング、ピッチ、声の強さ、声質によって皮肉として伝わることがあります。人間はこうした手がかりを言葉そのものや会話の文脈と組み合わせ、話者の意図を推測します。

現在のマルチモーダル大規模言語モデル（MLLM）は、音声とテキストを同時に処理できるようになっています。しかし、こうしたモデルが人間と同じように柔軟に韻律を理解しているのか、それとも、より単純な音響的ショートカットに依存しているのかは、まだ十分に分かっていません。

私たちの新しい論文では、英語と中国語（標準中国語）の音声による皮肉検出を通じて、この問題を検証しました。

単に全体的なAccuracyを評価するのではなく、テキスト、音声内容、韻律構造がそれぞれどの程度予測に寄与しているかを分解し、どの音響特徴がモデルの誤りと関連しているかを特定しました。さらに、それらの特徴を直接操作することで、実際に誤判定の原因となっているかを検証しています。

その結果、両言語に共通する一貫したパターンが見つかりました。

現在のMLLMは、「高いピッチ」と「不規則なポーズ」という、表現力の強い話し方に対する言語横断的なステレオタイプに反応する傾向があります。しかも、その特徴が英語や中国語の実際の皮肉音声に見られる特徴と一致しない場合でも、その傾向は現れます。

‍

なぜ皮肉は有効なストレステストなのか

音声モデルは文字起こしでは高い性能を発揮していても、語用論的な意味の理解では苦戦することがあります。

皮肉はその違いが特に表れやすい現象です。なぜなら、本来の意味が、言葉の内容と声の伝え方との間に生じる「ずれ」から生まれることが多いからです。

韻律的な手がかりは、文脈や言語にも大きく依存します。

例えば、発話時間が長くなることは比較的多くの言語で皮肉の特徴として見られますが、ピッチの方向には一貫性がありません。英語に関する先行研究でも、基本周波数が高くなるケースと低くなるケースの両方が報告されています。また、中国語のような声調言語では、ピッチは語彙的な意味そのものにも関係するため、さらに複雑な相互作用が生じます。

したがって、本当に語用論的な韻律を学習しているモデルであれば、言語的文脈の中で複数の手がかりを組み合わせて判断するはずです。

一方、表面的なヒューリスティクスに依存するモデルであれば、「目立って感情的・表現的な声」を単純に皮肉と結びつけてしまう可能性があります。

そこで本研究では、

「モデルは皮肉を分類できるか？」

という問いだけではなく、さらに踏み込んで、

「ある発話を皮肉だと判断するとき、モデルは実際に何を聞いているのか？」

という問いを検証しました。

‍

言葉、音声、韻律を切り分ける

評価には、音声を処理できる2つのオープンモデルをZero-shotで使用しました。

• Qwen2.5-Omni-7B（以下、Omni 2.5）
• Qwen3-Omni-30B-A3B-Thinking（以下、Omni 3.0）

データセットには、バランスの取れた2つのマルチモーダル皮肉コーパスを使用しました。

英語では、シットコムから収集された1,202件の音声・文字起こしペアを含む MUStARD++ を使用しています。

中国語では、テレビ放送されたスタンドアップコメディから収集された2,705件のサンプルを含む MSCD を使用しました。

モデルが利用できる情報を切り分けるため、5つのモダリティ条件を設定しました。

• Text-only: 音声を含まず、文字起こしのみ
• Speech-only: 文字起こしを与えず、完全な音声信号のみ
• Prosody-only: ピッチ、リズム、強度パターンを残しながら、語彙情報の大部分を除去したローパスフィルタ音声
• Bimodal: 完全な音声と文字起こしの両方
• Biprosody: 文字起こしとProsody-only音声

BimodalとBiprosodyでは同じ文字起こしを使用しているため、この2条件を比較することで、音声中の語彙的意味がどの程度影響しているかを切り分けられます。

また、それぞれをText-onlyと比較することで、音声チャネルが何を追加しているのかを確認できます。

さらに、Speech-onlyと文字起こしを含む条件を比較することで、文字どおりの言葉と声の伝え方を組み合わせたときに何が起きるかを分析できます。

加えて、基本周波数、強度・エネルギー、リズム・タイミング、声質などをカバーする66種類の音響特徴を抽出しました。

これにより、実際の皮肉発話に関連する韻律と、モデルの誤判定に関連する韻律を比較できます。

‍

音声を加えると何が変わるのか

Bimodal条件では、Text-onlyと比較して全体のF1が1.0〜6.8ポイント改善しました。

しかし、全体スコアだけを見ると、重要なエラーパターンの変化が隠れてしまいます。

Omni 3.0では、文字起こしに完全な音声を追加すると、データ分割間の平均でFalse Positiveが英語では9.8%、中国語では**8.6%**増加しました。

Biprosodyでもほぼ同じ現象が見られ、英語では**+12.0%、中国語では+7.6%**でした。

つまり、聞き取れる言葉を取り除いたフィルタ済み音声だけでも、音声による影響の大部分が残っています。

モデルは、見逃していた皮肉を検出できるようになる代わりに、False Alarmを増やしています。

文字起こしに目立つ韻律パターンが加わると、本来皮肉ではない発話まで皮肉として分類されるケースが増えるのです。

一方、韻律だけでは皮肉を判別できません。

Omni 3.0のProsody-onlyにおけるF1は、英語で22.2%、中国語で**14.3%**まで低下し、50%のChance Baselineを下回りました。

Omni 2.5でも、Prosody-onlyから安定して皮肉を判別する能力は確認できませんでした。

つまり、モデルは韻律構造だけから直接皮肉を解読しているわけではないようです。

むしろ、文字起こしと音声を組み合わせたときに、文字どおりの言葉と表現的な話し方の間に「ずれ」があると解釈し、それを皮肉として判断していると考えられます。

‍

実際の皮肉は、英語と中国語でどう聞こえるのか

実際の音響的な特徴は、英語と中国語で大きく異なります。

中国語コーパスでは、皮肉を最もよく特徴づけるのは時間的・ピッチ構造的な特徴でした。

具体的には、

• 総ポーズ時間が長い
• 発話全体が長い
• ピッチ輪郭が複雑
• リズムが不規則

といった特徴です。

一方、平均ピッチそのものは主要な判別特徴ではありませんでした。

英語コーパスでは、最も強い特徴はIntensityに関連するもので、その次に低いピッチと長い発話時間が続きました。

特に重要なのがピッチの方向です。

このデータセットにおける実際の英語の皮肉は、基本周波数が低くなる傾向を示しました。

つまり、2つの言語に共通する単純な「皮肉っぽい声」は存在しません。

中国語の皮肉は主にピッチの動きやタイミングによって特徴づけられる一方、英語の皮肉はエネルギーパターンや抑えられたピッチと関連しています。

両言語で比較的一貫して見られる特徴は、発話時間の長さです。

‍

False Positiveに共通する特徴

ところが、モデルの誤りは、どちらの言語のGround Truthにも対応していませんでした。

音声を追加したことでFalse Positiveになった非皮肉発話を音響的に分析すると、実際の皮肉発話よりも、正しく非皮肉と分類されたControl発話に近いことが分かりました。

しかし、モデルのAudio Encoder上では、これらの発話は皮肉と非皮肉の中間にある曖昧な領域へ配置されています。

両言語のFalse Positiveには、2つの表面的な特徴が共通していました。

• 高いピッチ
• 不規則、または目立つポーズ

中国語では、モデルは関連する音響領域の「違う側面」を見ています。

本来重要なのはピッチ輪郭の複雑さであるにもかかわらず、モデルはピッチの高さ自体に反応しています。

また、本来は総ポーズ時間が重要である一方、モデルはポーズの不規則さに注目しています。

英語では、このずれはさらに明確です。

モデルは高いピッチに反応していますが、実際の英語コーパスにおける皮肉は低いピッチによって特徴づけられています。

これが、本研究で明らかになった中心的なヒューリスティクスです。

モデルは、言語に根ざした皮肉の意図表現を学習しているというよりも、「表現力の強い話し方＝皮肉」という一般的な関連性を学習している可能性があります。

‍

因果検証：ピッチとポーズだけを変える

相関だけでは、これらの特徴が実際に誤判定を引き起こしているとは断定できません。

そこで、そのメカニズムを直接検証しました。

まず、別の非皮肉Control発話のうち、モデルが正しく分類できていたサンプルを用意します。

そして、False Positiveの特徴と関連していた2つの要素だけを変更しました。

PSOLAベースの音声操作を使い、

• ピッチを8.8%上昇
• 既存のポーズ時間を、自然に発生したFalse Positiveの範囲内で変更

しました。

文字起こし、話者が伝える内容、録音コンテキストは変更していません。

新しいポーズも追加しておらず、音声の明瞭度と知覚品質もほぼ維持されています。

その結果、両言語・両モデルでFalse Positiveが大幅に増加しました。

中国語では、モデルとモダリティ条件に応じてFalse Positive Rateが**19.35〜40.65%**まで上昇しました。

英語では、**33.55〜60.53%**に達しました。

つまり、ピッチの高さとポーズ構造だけを変更することで、本来正しく非皮肉と分類されていた多くの発話を、モデルに皮肉だと誤認させることができました。

逆方向の実験でも同じ結論が支持されました。

自然に発生したFalse Positiveについて、ピッチとポーズをControl発話に近づけると、**29.5〜56.3%**のケースで正しい分類へ戻りました。

‍

この傾向は別のモデルファミリーにも転移する

このヒューリスティクスがQwenのOmniアーキテクチャ特有のものかを確認するため、同じ診断方法を Gemini 3 Flash Preview にも適用しました。

全体的なパターンは同様でした。

両言語で、Text-onlyと比較して音声を加えることでFalse Positiveが増加しました。

英語のBimodalとBiprosodyでは、それぞれ13.2ポイント、13.6ポイントの増加が見られました。

さらに、Omniモデルから導出した音声操作テンプレートを一切変更せずGeminiへ適用したところ、条件と言語に応じて、以前は正しく分類されていた予測の**4.7〜17.1%**が誤分類へ変化しました。

転移率がOmniより低いのは、モデルアーキテクチャや音声エンコーディングの違いによるものと考えられます。

しかし、変化の方向は一貫しています。

高いピッチと不規則なポーズは、特定のモデルファミリーだけに存在する問題ではなく、より一般的な脆弱性である可能性があります。

‍

なぜこの問題が重要なのか

ベンチマークの総合スコアだけでは、モデルがどのようなメカニズムで予測を導き出しているかが隠れてしまうことがあります。

今回の研究では、音声を加えることでF1が改善する場合がありました。

しかしその一方で、False Alarmも系統的に増加しています。

エラー方向の分析、音響プロファイリング、そして因果的な介入を行わなければ、このトレードオフは見落とされやすいでしょう。

この結果は、皮肉検出以外にも重要な意味を持ちます。

音声ベースのAIアシスタントは、感情、意図、緊急性、自信といったパラ言語的な情報を推測する場面が増えています。

もしモデルが、単に「表現力の強い話し方」を特定の心理状態や語用論的状態の根拠として扱うのであれば、話者、文化、言語が変わった際に予測不能な挙動を示す可能性があります。

今後の学習では、広い表面的な相関を強化するのではなく、言語ごとの語用論的な手がかりに韻律表現を整合させる必要があります。

例えば、同じ文字起こしに対して異なる話し方をしたContrastive Exampleを用いれば、ピッチやポーズには常に固定された意味があるわけではないことをモデルに学習させられる可能性があります。

Prosody-aware Reinforcement Learningも、よりGroundedな音響推論を実現するための一つの方向性です。

‍

今後に向けて

本研究は、マルチモーダル皮肉検出の評価を、単なる性能測定からメカニズム診断へと進めるものです。

中心となるメッセージは明確です。

音声を「聞ける」ことと、韻律を「理解できる」ことは同じではありません。

追加のモダリティによってモデル性能が改善しているように見えても、その裏では「皮肉とはこう聞こえるはずだ」という表面的な期待に依存している可能性があります。

信頼できるマルチモーダル推論を実現するためには、本物の文脈依存的な語用論的手がかりと、モデルにとって都合のよい音響的ステレオタイプを区別できる評価方法、そして学習方法が必要です。