精度の測り方と、他の判定ツールとの比較

判定モデルが何を学習し、どの文章で測って、どれだけ当たったかを載せています。数字は測った日のものです。

学習した文章

人の文: 2021 年までに公開された日本語のウェブの文章(小説投稿サイト・個人ブログ・大学のページ)、政府の白書、読書感想文とレポートの入賞作品集。AI の文が混じらない時期の文章を選んでいます。

AI の文: 同じ題材で Claude(Sonnet・Haiku)に書かせた文章(Gemini の文は評価にだけ使っています)、ニュース記事を AI に書き直させた文章、AI の文を人の文に見せかけるよう直した文章。

判定モデルは多言語の XLM-RoBERTa を土台に、上の文章で学習し直したものです。

評価の結果

学習に使っていない文章で測りました(2026 年 11 月 18 日・1 周目の模型)。「AI 判定」は 50% 以上を AI と判定した本数です。

文章本数AI 判定
人の文(感想文・レポート・小論文の入賞作品・個人ブログ)2236(2.7%)
人の文(ウェブの小説・ブログ・大学のページ)97220(2.1%)
人の文(白書)1090
ChatGPT の読書感想文1212
Claude の文(レポート・感想文・ブログ調)4040
Gemini の文(学習に使っていない模型の文)362332(91.7%)
AI の文を人の文に見せかけるよう直した文139

人の文 1,304 本のうち AI と誤って判定したのは 26 本(2.0%)でした。学習し直すたびに、この表を更新します。

判定の線を 33% に下げても、人の文の誤判定は同じ 26 本でした(33〜50% に人の文がありません)。その線では、AI の文を人の文に見せかけるよう直した文 33 本のうち 29 本、Gemini の文 362 本のうち 334 本を AI 側に分けます(2026 年 11 月 20 日)。この画面の「混ざっています」の表示は、この 33% の線を使っています。

他の判定ツールとの比較

同じ 15 本(ChatGPT の文 5・人の文 5・AI の文を直した文 5。330〜620 字)を、2026 年 11 月 17 日に各ツールの無料画面で測りました。

判定ツールAI の文を AI と判定人の文を人と判定備考
JAIchecker(このサイト)5 / 55 / 5直した文 5 本のうち 4 本も AI と判定
ZeroGPT5 / 50 / 5人の文(青空文庫・Wikipedia)も全部 AI か混在と判定
ユーザーローカル 生成AIチェッカー1 / 55 / 5日本語専用。AI の文の 4 本を人と判定
Sapling5 / 55 / 5英語圏の有料 API。日本語対応と明記
Pangram1 / 12 / 2英語圏の有料 API。無料枠で 4 本だけ測定
GPTZero・Winston・Copyleaks・Originality.ai——登録や契約が要るか、日本語非対応のため未測定

本数が少ないので、差は目安です。直した文を AI と判定できたのは、このサイトと ZeroGPT だけでした(ZeroGPT は人の文も AI と判定しています)。