Jevへの指示は日本語で書いてもいいのか、メール100通で試してみた話
久しぶりの投稿になりました。新卒1年目として、仕事に忙殺されてしまい、なかなか記事を書く時間が取れませんでした。
久しぶりの記事は、「Jev」というAIモデルの話です。個人で契約して、触ってみました。文章を書くのではなく、「判断」を速く返すモデルだと聞いて、興味を持ったからです。
触る前から、気になっていたことが1つありました。日本語の仕事で使うとき、AIへの指示は英語で書いたほうがいいのか、日本語で書いても大丈夫なのか、という点です。公式のドキュメントには、英語が最も精度が高く、日本語を含むほかの言語は対応しているものの、精度は下がる、という趣旨の記載があります。
そこで、ダミーのメール100通を使って、確かめてみました。先に結論を書くと、今回の範囲では、日本語で指示を書いても大きな問題はなさそうでした。そして、触ってみて、Jevの得意領域は「大量のものを高速に仕分けること」だということも、よく分かりました。
Jevは、何をするモデルか
ChatGPTやClaudeのように文章を書くのではなく、あらかじめ決めた選択肢に対して「判断」を返すモデルです。公式は「System One Model」と呼んでいます。たとえば、メールを渡して「このメールの緊急度は？」と聞くと、「至急」という答えが、確率つきで返ってきます。
質問の型は3つあります。選択肢から選ぶ「Choice」、段階で評価する「Score」、Yes/Noを0〜1の数値で返す「Noul」です。1回の呼び出しで、複数の質問を同時に聞けます。答えと一緒に、その答えにどれくらい自信があるか（確信度）も返ってきます。
料金は、入力した分だけにかかる仕組みです。公式サイトの記載では、10億トークンあたり42ドルで、出力は無料です。
どうやって試したか
検証したのは、次の内容です。
- ダミーのメール100通: Claudeに作ってもらいました。緊急度（対応不要・今週中・今日中・至急）ごとに25通ずつです。本文は、96通が日本語で、4通が英語です。そのうち33通は、件名が緊急風なのに本文は違う、自動通知なのに対応が必要、英語のメール、など、見かけの手がかりに頼れない「紛らわしい」メールです
- 正解のラベル: これも、メールを作ったClaudeが付けました。「緊急度は3」「返信は要らない」など、メールを作るときに決めた答えです。Jevの判定を、このラベルと比べます
- 3つの質問: ①緊急度、②種別（依頼・障害・日程調整など）、③返信が必要かどうか。各メールに、この3つを同時に聞きます
- 同じ質問を、英語版と日本語版で用意: 質問文はClaudeが英語で書き、日本語版も、Claudeが翻訳しました。メールは、どちらの条件でも、同じ100通です
- 各条件を2回ずつ実行: 100通 × 英語と日本語 × 2回で、400回の判定です。下の表は、各条件の1回目の結果です。2回目は、結果のぶれを見るために使いました
質問と結果を見る画面（ブラウザ）や、判定を回すスクリプトも、Claudeに作ってもらいました。私がやったのは、何を確かめたいかを決めることと、結果を見て判断することです。
結果：差は検出できなかった
100通に、英語の質問と日本語の質問をそれぞれ当てて、正解（Claudeが付けたラベル）との一致率を比べました。
| 英語の質問 | 日本語の質問 | |
|---|---|---|
| 緊急度（4段階が一致） | 94% | 96% |
| 緊急度（±1段階以内） | 100% | 100% |
| 種別 | 87% | 84% |
| 返信の要否 | 79% | 82% |
緊急度は、どちらも、ほぼ当たっていました。±1段階以内に絞ると、英語も日本語も100通すべてです。英語のほうが高い項目も、日本語のほうが高い項目もあり、同じメールの結果を対にして比べる統計的な検定をしても、どの項目でも、差があるとは言えませんでした。
「同じ」とまでは言い切れない
ここで、注意が2つあります。
1つ目は、同じ条件で2回回しても、結果は完全には同じにならないことです。100通のうち、2〜3通は判定が変わりました。英語と日本語の差も、1〜3通ほどなので、このぶれと同じ大きさです。
2つ目は、100通という数の限界です。一致率は、100通から求めた値なので、不確かさがあります。その目安が、95%信頼区間です。たとえば、返信の要否の79%（英語）では70〜86%、種別の87%（英語）では79〜92%です。これは「本当の値が必ずこの範囲にある」という意味ではなく、100通だと、これくらいの幅をもった推定になる、という目安です。
一方、「英語と日本語で差があるか」は、この幅とは別に、前の節の、同じメールの結果を対にして比べる検定で見ています。その結果が、どの項目でも「差があるとは言えない」でした。ですので、「日本語のほうが良い」でも「同じ」でもなく、**「差を検出できなかった」**というのが、正確な言い方です。
返信の要否は、質問の定義を直すと、精度が上がった
一番低かったのは、返信の要否（79%・82%）でした。誤りをClaudeに分析してもらうと、全件が「返信が必要と言い過ぎる」向きで、逆は1件もありませんでした。
原因は、Jevの判断ではなく、質問の定義にありました。質問は「返信または何らかの対応を期待している」と書いてありました。そのため、「パスワードを変更してください」「研修を受講してください」のような、返信は要らないが対応は必要なメールを、Jevは質問どおりに「返信が必要」と判定していたのです。正解ラベルは「返信が要るか」で付けていたので、定義が食い違っていました。
そこで質問を、「メッセージで返信すること。フォームの入力や研修の受講など、別の場所で行う作業は含めない」に絞ると、正解率は、英語で79%から94%、日本語で82%から95%に上がりました。
ただし、これは誤りを見てから直した後付けの確認で、新しいメールでの確認は、まだしていません。また、返信の要否という1つの質問での観察です。言語を変えたときの差（3ポイント）より、定義を直したときの変化（13〜15ポイント）のほうが大きく出ましたが、ほかの質問でも同じとは限りません。
確信度は、緊急度では当てになった
Jevは、答えと一緒に確信度を返します。今回のダミーメールの緊急度では、確信度が0.9以上のメールだと、正解率が100%でした（英語86通、日本語84通）。0.9未満だと、57%（英語）、75%（日本語）まで下がります。
「確信度が高いものは任せて、低いものだけ人が見る」という使い方は、この結果から考えられる可能性です。ただし、確かめたのは、今回のダミーメールの緊急度だけです。ほかの質問や、実際の受信箱でも同じとは限りません。
Jevの得意領域は、大量のものを高速に仕分けること
今回、一番実感したのが、速さと安さです。
- 100通 × 英語と日本語 × 2回、合わせて400回の判定が、13秒で終わりました
- 費用は、定義を直した追加の測定も含めて、2つの実験の合計で約3円でした
メールを1通ずつ読んで仕分ける作業は、人がやれば何分もかかります。それを、待ち時間を感じない速さで、ほぼ無料で回せます。文章を書くモデルではなく、大量のものを、同じ基準で、速く仕分けることに向いたモデルだと、よく分かりました。
今回は、ダミーのメールで試しただけで、実際の受信箱では試していません。ですが、緊急度や種別の仕分け、返信が要るかどうかの判定のように、「基準を言葉にできて、数が多いもの」であれば、使えそうです。
実験の進め方で、役に立ったこと
もう1つ、今回の収穫があります。実験するときは、Claudeに、挙動が目で見える画面を作ってもらうほうがいいということです。
入力したメールと、Jevに実際に送った内容、返ってきた確率を、ブラウザで見ながら試せると、理解が進みました。質問を書き換えて、すぐに結果を比べられるので、「言語を変えたらどうなるか」「定義を絞ったらどうなるか」も、その場で確かめられました。
この検証の限界
最後に、限界をまとめておきます。
- 正解ラベルは、作ったClaudeだけが付けています。「障害の報告」と「依頼・相談」のように、重なる分類には曖昧さがあります。本物のメールとは、分布が違うかもしれません
- 100通のうち、営業メールとその他のメールは少なめです
- 日本語版の質問は、英語版の翻訳です。文章の質が、完全に同じとは限りません
- 検証したのは、ほぼ日本語のメール（英語4通を含む）の判定だけです。ほかのタスクや、長い文章での結果は、分かりません
まとめ
- 日本語のメールを判定させるなら、指示は日本語で書いても大きな問題はなさそうです（今回の検証の範囲では。「日本語のほうが良い」ではなく、「差を検出できなかった」）
- 返信の要否では、質問の定義を直すと、精度が上がりました（後付けの確認で、この1つの質問での観察です）
- Jevの得意領域は、大量のものを、高速に、安く仕分けることです
- 確信度が高いものだけ任せる、という使い方は、今回の緊急度の結果からは、考えられそうです