精度の測り方と、他の判定ツールとの比較
判定モデルが何を学習し、どの文章で測って、どれだけ当たったかを載せています。数字は測った日のものです。
学習した文章
人の文: 2021 年までに公開された日本語のウェブの文章(小説投稿サイト・個人ブログ・大学のページ)、政府の白書、読書感想文とレポートの入賞作品集。AI の文が混じらない時期の文章を選んでいます。
AI の文: 同じ題材で Claude(Sonnet・Haiku)に書かせた文章(Gemini の文は評価にだけ使っています)、ニュース記事を AI に書き直させた文章、AI の文を人の文に見せかけるよう直した文章。
判定モデルは多言語の XLM-RoBERTa を土台に、上の文章で学習し直したものです。
評価の結果
学習に使っていない文章で測りました(2026 年 11 月 18 日・1 周目の模型)。「AI 判定」は 50% 以上を AI と判定した本数です。
| 文章 | 本数 | AI 判定 |
|---|---|---|
| 人の文(感想文・レポート・小論文の入賞作品・個人ブログ) | 223 | 6(2.7%) |
| 人の文(ウェブの小説・ブログ・大学のページ) | 972 | 20(2.1%) |
| 人の文(白書) | 109 | 0 |
| ChatGPT の読書感想文 | 12 | 12 |
| Claude の文(レポート・感想文・ブログ調) | 40 | 40 |
| Gemini の文(学習に使っていない模型の文) | 362 | 332(91.7%) |
| AI の文を人の文に見せかけるよう直した文 | 13 | 9 |
人の文 1,304 本のうち AI と誤って判定したのは 26 本(2.0%)でした。学習し直すたびに、この表を更新します。
判定の線を 33% に下げても、人の文の誤判定は同じ 26 本でした(33〜50% に人の文がありません)。その線では、AI の文を人の文に見せかけるよう直した文 33 本のうち 29 本、Gemini の文 362 本のうち 334 本を AI 側に分けます(2026 年 11 月 20 日)。この画面の「混ざっています」の表示は、この 33% の線を使っています。
他の判定ツールとの比較
同じ 15 本(ChatGPT の文 5・人の文 5・AI の文を直した文 5。330〜620 字)を、2026 年 11 月 17 日に各ツールの無料画面で測りました。
| 判定ツール | AI の文を AI と判定 | 人の文を人と判定 | 備考 |
|---|---|---|---|
| JAIchecker(このサイト) | 5 / 5 | 5 / 5 | 直した文 5 本のうち 4 本も AI と判定 |
| ZeroGPT | 5 / 5 | 0 / 5 | 人の文(青空文庫・Wikipedia)も全部 AI か混在と判定 |
| ユーザーローカル 生成AIチェッカー | 1 / 5 | 5 / 5 | 日本語専用。AI の文の 4 本を人と判定 |
| Sapling | 5 / 5 | 5 / 5 | 英語圏の有料 API。日本語対応と明記 |
| Pangram | 1 / 1 | 2 / 2 | 英語圏の有料 API。無料枠で 4 本だけ測定 |
| GPTZero・Winston・Copyleaks・Originality.ai | — | — | 登録や契約が要るか、日本語非対応のため未測定 |
本数が少ないので、差は目安です。直した文を AI と判定できたのは、このサイトと ZeroGPT だけでした(ZeroGPT は人の文も AI と判定しています)。