無料の文章チェックツールを作り、京都大学のデータで精度を測った

文章の誤字脱字や敬語の誤りをチェックするツールは、有料のものが多くあります。有料のツールはよくできていますが、SNSの投稿や商品説明を少し確認したいだけなら、もっと気軽に使えるものがあってもいいはずです。

そこで、無料で使える日本語の文章チェックツールを作り、精度を測ってみました。

比べ方

公正に比較できるように、比較のための文章データは第三者が作ったデータを使いました。

京都大学が公開している「日本語Wikipedia入力誤りデータセット」は、Wikipediaの編集履歴から集めた、実際の誤字とその修正のペアです。ここから、誤りのある文章200件と、修正後の正しい文章200件を選び、混ぜてチェックしました。

• 誤りのある文章で指摘が出れば「検出」
• 正しい文章で指摘が出れば「誤検出」

比べたのは、Yuneの文章チェックと、登録なしで使える無料の校正ツール「Enno」です。

結果

誤りのある文章200件のうち、Yuneは163件で誤りを見つけました。正しい文章200件のうち、誤って指摘を出したのは6件です。指摘が多すぎると、本当に直すべき箇所が埋もれてしまうので、誤検出の少なさも大事にしました。

広告の文章で大事なこと

もうひとつ、自分で作った文章（SNS投稿、メール、広告、プレスリリースなど）でも比べました。ここでは、誤字脱字のチェックだけでは見つからない項目がありました。

• 「業界初」「No.1」「100%保証」など、根拠なく使うと景品表示法に触れるおそれのある表現
• 化粧品や健康食品の「治る」「痩せる」など、薬機法に関わる表現

小さなお店の広告やSNS投稿では、こうした言葉をつい使ってしまいがちです。Yuneの文章チェックは、こうした表現を本文の中に表示します（6件中6件を表示。Ennoは誤字脱字のためのツールなので、こうした表現は対象外です）。ただし、これらの文章は私が作って分類したものなので、上のグラフほど公平な比較ではありません。

作り方

• 誤字脱字の検出には、株式会社リクルートが公開しているモデル「japanese-typo-detector-roberta-base」（CC BY-SA 4.0）を使っています。上のデータセットの別の部分で学習されたモデルなので、この比較では少し有利です。そこで、自分で書いた広告の文章でも確認し、絵文字や新しいカタカナ語で誤検出しないように調整しました。
• 二重敬語、ら抜き言葉、重言、表記ゆれ、日付と曜日のずれなどは、辞書とルールでチェックしています。
• 敬語の取り違えや不自然な言い回しなど、ルールでは見つけにくいものはAIが判断します。

できないこと

• チームで表記ルールを共有する辞書の機能はまだありません。
• 「この文章はAIが書いたか」の判定は出していません。人が書いたプレスリリースとAIが書いたものを比べたところ、確実に見分けられる特徴が見つからなかったためです。

使い方

無料の文章チェックは、登録なしで1日10,000文字まで使えます。ログインすると1日50,000文字までチェックでき、指摘をもとに文章を直すこともできます。