
使ったツール
- Claude設計・実装・試験の分担(書き手は Sonnet、判定は Opus)
- Python意味の照合と、崩れた文を戻すスクリプト
- GitHub公開と、Issue・PR の受け付け
課題設定
AIの出力を後から直すスキルは、すでにあります。しかし、書く時点で直せれば普段のAIとの会話にも効果があり、読む時のストレスが減ると考えました。
観察
- スキルを使わないAIは、作り話が起きやすい11題で、頼まれていない理由や約束を33件足していました。
- 社内のチャットでも、「結論:」のようなラベルや、「させていただきます」のような重い敬語を使っていました。
- 推敲させると、予定を言い切りに変える、「大幅に」のような強調を消す、説明の文を削るといった直しで、意味が崩れていました。
- 字数の指定があると、材料に無い気持ちや出来事を足し、字数を埋めていました。
- 不要な読点を1つずつ見ると、ほとんどが「今は、」のような短い文の頭の後でした。
- ルールの文だけを足したバージョンは前のものに負け、例文を付けたバージョンで初めて勝ちました。
スキルを使わないAIは、障害報告のメールに、依頼に無い「再発防止に努めてまいります」を足していました。
- 13公開から約38時間で出したバージョン
- 92検証に使っている課題
- 56スクリプトのテスト
動線
毎回読み込む短い Lite と、人に出す文を書く時だけ読む Full の2本立てにしました。分からない値は空欄にして聞き、推敲で意味が変わった文はスクリプトで元に戻します。
いつも効く Lite と、書く時だけ読む Full
普段は軽く動作し、人に出す文を書く時だけ詳しい資料を読む作りです。
直したのち、原文と照らして戻す
言葉の決まりでは止まらなかった意味の崩れを、プログラムで止めています。
- 原文
- AIが推敲
- 直した文
- check_meaning.py数字・否定・確かさ・強さ・担当や時刻の入れ替わりを比べる
- revert_broken.py崩れた文だけを原文に戻す
- 整える戻した文だけを周りに合わせる
- 完成
依頼で頼まれた直し(番号を伏せる、時刻を変えるなど)は戻しません。
使用例
同じ依頼で比べる
依頼AIが書いた次の Slack の投稿を、Nihongo で直す。
@channel お疲れさまです! 本日のデプロイについて共有させていただきます🚀 結論:本日18時のリリースは予定どおり実施します。 背景:昨日発見された決済画面の不具合は、すでに修正済みであり、ステージング環境での検証も完了しております。 お願い:18時〜18時30分の間は、本番環境への変更を控えていただけますと幸いです。 ご不明点等ございましたら、お気軽にスレッドにてお知らせください!引き続きよろしくお願いいたします🙏
@channel お疲れさまです! 本日18時のリリースは予定どおり実施します🚀 昨日見つかった決済画面の不具合は修正済みで、ステージング環境での検証も完了しています。 18時〜18時30分は、本番環境への変更を控えてください。 不明点があればスレッドでお知らせください。よろしくお願いします🙏
README に載せている使用例です。「結論:」「背景:」のラベルを外し、社内チャットには重い「させていただきます」を普通の言い方にしました。日時とお願いの中身は変えていません。
依頼社外の取引先に、障害報告をメールで書いて。11月17日の10時から10時45分まで、受注管理システムに接続しにくい状態が続いた。原因はネットワーク機器の故障。機器を交換して復旧した。
今後は、機器の点検を強化するなど、再発防止に努めてまいります。
件名:【お詫び】受注管理システムの接続障害について(11月17日) 【取引先の会社名】 【ご担当者名】様 お世話になっております。【自社名】の【氏名】です。 11月17日に、受注管理システムへ接続しにくい状態が続きました。ご迷惑をおかけし、申し訳ございませんでした。現在は復旧しており、通常どおりご利用いただけます。 日時:11月17日 10:00〜10:45 原因はネットワーク機器の故障でした。機器を交換し、10時45分に復旧しています。 あらためてお詫び申し上げます。 【自社名】【部署名】 【氏名】
スキルなしは抜粋です。依頼に無い再発防止策を足しています。Nihongo は宛名と署名を空欄にしています。
依頼就活のESで、自己PRを400字以内で書いて。強みは粘り強さ。
私の強みは、困難な場面でも諦めずに粘り強く取り組める点です。 大学でテニスサークルの運営に携わった際、新入生の定着率が低く、一年目は入会者の半数が活動に来なくなるという課題がありました。私は原因を探るため、辞めた人や参加が減った人一人ひとりに話を聞きました。すると、初心者が上級者の中で気後れしていることが分かりました。 そこで、初心者向けの練習日を設けることを提案しました。当初は「手間がかかる」と反対されましたが、具体的な運営案を作り、週ごとに参加者の声を集めて改善を重ねながら、何度も説明を続けました。その結果、三か月後に開始が認められ、翌年度の定着率は約半数から約八割に向上しました。 この経験から、すぐに結果が出なくても、原因を見極めて工夫を続けることの大切さを学びました。入社後も、粘り強く課題に向き合い、成果につなげていきます。 (※サークルの話は仮の例です。実際の経験と数字に差し替えてください。経験を教えてもらえれば、それに合わせて書き直します。)
粘り強さを裏づける経験がまだ分からないので、書く前に教えてください。メモ書きで大丈夫です。 ・何に取り組んだか(部活、バイト、ゼミなど) ・どんな壁があって、そこでどう続けたか ・その結果どうなったか(数字があれば) もらった内容で、400字以内の自己PRを書きます。
スキルなしは、サークルの経験と「約半数から約八割」の数字を丸ごと作りました。Nihongo は作らずに、書くための経験を聞き返します。
依頼この文を直して。バイトのグループLINEに送る。「明日のシフトなんだけど、田中さんが急に来れなくなったので、代わりに入れる人いないかな?時間は17時〜22時です。今日の21時までに絶対に返事がほしいです。入れない人も、返信しなくていいわけではないので、スタンプだけでも押してください。」
明日のシフトについて相談です。 田中さんが急に来られなくなったので、代わりに入れる人はいませんか? 時間は17時~22時です。 入れる方も入れない方も、今日の21時までに返信をお願いします。 入れない場合は、スタンプだけでも大丈夫です! 急なお願いで申し訳ないですが、よろしくお願いします。
明日のシフトなんだけど、田中さんが急に来れなくなったので、代わりに入れる人いないかな?急なお願いでごめんなさい。 時間:17時〜22時 今日の21時までに絶対に返事がほしいです。入れない人も返事はほしいので、スタンプだけでも押してください。
スキルなしは本文のみを載せています(このあとに直した所の説明が2行付きます)。スキルなしは「絶対に」を消し、グループLINEを敬語に変えました。Nihongo は求める強さと口調を残し、二重否定だけを直しています。
依頼友達の誕生日にLINEでメッセージ送りたい。名前はみさき。今年から社会人になった。
みさき、お誕生日おめでとう!🎂 社会人1年目、毎日いっぱいいっぱいだと思うけど、本当によくがんばってるね。 今日は自分をいっぱい甘やかしてね。 また近いうちにごはん行こう!素敵な1年になりますように✨
みさき、誕生日おめでとう! 社会人になって初めての誕生日だね 慣れないことも多いと思うけど、無理しすぎないでね
スキルなしは3つの案と説明を付けており、これは1つ目です。ごはんの約束も足しています。
どれも試験で1回ずつ書かせた結果を、そのまま載せています。同じ依頼でも、毎回同じ文になるとは限りません。
検証
変えるたびに、目隠しで比べる
感覚ではなく、比べて勝った変更だけを入れています。
- 01
ルールを1つ変えるたびに、前のバージョンと同じ題を書かせます。書くAIは、自分のバージョンのスキルしか読めません。
- 02
2つの文を X と Y に並べ替え、どちらのバージョンかを伏せて判定します。順番を入れ替え、2回判定します。
- 03
判定役には「変わってはいけない点」の一覧を渡し、1つでも崩れた案は、読みやすくても負けにします。
- 04
前のバージョンより評価が下がった場合や作り話が出た場合は公開しない基準を作り、毎回照らしてから公開します。
数行の指示では足りない所
「作り話をしないで」と書くだけでは止まらない所を、仕組みで止めています。
設定に3行の指示を置いたAIと Nihongo を、同じ12題で比べました。
| 見た所 | 3行の指示 | Nihongo |
|---|---|---|
| メールの作り話 | 5件(6本中5本) | 0件 |
| 中身の無いES | 空欄だらけのひな形 | 3回とも経験を聞き返す |
| 直す所が無い文 | 大きく書き換え、タメ口に「です」が混ざる | 3回ともそのまま返す |
| 自然さ(5点満点の平均) | 3.89 | 4.22 |
スキルなしのAIでは、メールの作り話が12件(6本すべて)でした。題は各3題、判定は2回のみです。3行の指示は「日本語は、相手と場面に合う自然な言い方で書いてください。説明は簡潔にし、前置きやまとめは付けないでください。依頼や資料に無い事実・理由・約束は書かず、分からない値は【 】にしてください。」です。
バージョンごとに良くなった所
試験で見つけた弱点を、次のバージョンで数字とともに直しています。
- 1.4.0意味が崩れた数を減らした4 → 1(技術文書10題×2、1.3.0 と比較)
- 2.0.0普段の返事にも毎回効く Lite を追加15題で、ほかの公開スキルに13勝2敗
- 2.3.0300字の作文での作り話をなくしたFull で 6/18 → 0/18(2.2.0 と比較)
- 2.3.0自分の書き方に近づける Personal を追加新しい場面で「本人らしい」が 10/24(文を貼るだけでは 2/24)
- 2.3.1書き言葉の文書で、話し言葉の動詞(出る・止める など)を減らした1本あたり 19・28 → 3・2、自然さは21勝5敗(7題)
判定はどれもAIで、数字は目安です。
2.3.1 の前と後(ポートフォリオの作品説明)
依頼ポートフォリオに載せる作品説明を書いて。作品は、本の感想を書くと似た本を3冊すすめるWebアプリ「よみつぎ」。感想を書くと、似た本が画面に出る。すすめる理由を1行で出す。長い説明は読まれないので、理由は1行と書名だけにした。読み込みが遅い時は、先に書名だけ出して、理由はあとから出すようにした。
本の感想を書くと、似た本を3冊すすめるWebアプリです。 感想を書くと、似た本が画面に出ます。すすめる理由は1行で、書名と一緒に表示します。長い説明は読まれないので、理由は1行と書名だけにしました。 読み込みが遅い時は、先に書名だけを出し、理由はあとから出すようにしています。
本の感想を書くと、似た本を3冊すすめるWebアプリです。感想を入力すると、似た本が画面に表示されます。 長い説明は読まれにくいため、すすめる理由は1行とし、書名とあわせて表示します。読み込みに時間がかかる場合は、先に書名のみを表示し、理由は後から表示するようにしました。
判断
- 後から直すより、書く時から効かせる出力を直す既存のスキルとは、違う物にしたかったためです。技術文書も書けますが、日本語を話す人が負担なく自然に読めることを一番にしています。
- Lite と Full の2本立てにした普段の返事にも毎回効かせたい一方で、重い手順をいつも読ませたくはなかったためです。Full は、人に出す文を書く時だけ読みます。
- 作り話をしないことを一番上に置いた分からない値は【 】の空欄にして聞きます。比べたほかのスキルや素のAIが、障害のメールで再発防止策を作ってしまったためです。
- 意味の崩れはスクリプトで戻す決まりを足しても、推敲での意味の崩れは減らなかったためです。スクリプトのテストは56件あります。
- 自然な文は直さず、誇張は残す表記の違いや言い換えだけの直しは行いません。「劇的に」「全力で」は書き手が選んだ言葉のため、残します。
- Personal は場面の判断の下で使う書き方メモが場面の判断に勝ち、店長への文に「っす」が出たためです。
結果と学び
公開から約38時間で、13個のバージョンを出しました。GitHub のスターは200を超え、外部からのPRも3件いただいています。
公開する物には責任があり、アンチがつくこともあります。どんな意見にも真摯に耳を傾け、取り入れ続けることが大事です。ただ、周りの意見が入ってくると路線を変えたくなります。最初に決めたことや届けたい人のことを考え、安易に逃げないことも大事だと思いました。分かってはいましたが、設計よりも検証のテストのほうが大変で、大切な部分だと感じました。
ほかの作品