Menu/Prof
スズキマコト
自由人
元々は楽器屋のギター兄ちゃん。
趣味でプログラミングしてるうちに
本職になってしまった人。

過去に喋っていた言語
c pascal Assembler
perl PHP Python Ruby など
javascriptなどは都度必要に応じて。
最近Mac買ったのでswift勉強してます。

体ぶっ壊して死にかけたので人生RESET中。
おすすめ記事!

Claude CodeのフックにJevを仕込んだら6日で93回叱られた

審判の笛をくわえたじぴこが、ノートPCのターミナル画面に黄色いカードを掲げて判定している

Some visuals are licensed via Canva Pro (includes commercial rights).
Usage complies with Canva’s license terms at the time of use.
License policy: canva.com/policies/content-license-agreement

2026年11月16日の夜、Claude Code と雑談していて、ふと思ったことをそのまま打ち込んだ。

管理人

ここんとこさ、君との指示ややり取りや回答など総合的にみて、Jevの即判定がかなり有意義に使われている気がするがw

管理人

Hook絡みで君がよくJevにビシッと指摘されてるのよく見るぜw

Jev というのは、TypeSafe AI が出している判定専用のモデルだ。文章を書かせるモデルではなく、「これはAかBか」を約0.3秒で答えるだけの、無口で仕事の早い審判である。俺はこの Jev を、Claude Code のフックの中に何か所も仕込んでいる。目的はひとつ。AI の悪い癖を、その場で止めることだ。

で、その審判に Claude が毎日のように叱られている。返ってきた Claude の答えがこれだった。

クロード君

後ろの席から先生に「宿題やった?」と聞かれて、やってないのが顔に出る感じ。

自覚はあるらしい。

この記事では、俺が Claude Code に作らせて運用している Jev の仕組みを、全部ばらして見せる。CLAUDE.md にルールを何行足しても直らなかった AI の癖が、なぜ0.3秒の審判で止まるようになったのか。どこで盛大に失敗して、どう直したのか。そして、この記事を書く準備の途中で、Claude がまさにその審判に叱られた一部始終まで、実ログの数字付きで書いていく。

contents

Jevは「0.3秒で答える判定役」、置き場所はフック

旗を上げて判定だけをするじぴこと、その合図でゲートのレバーを動かすロボットの係員

最初に、Jev がこの仕組みの中で何者なのかをはっきりさせておく。俺のグローバル規約(~/.claude/AGENTS.md)には、Jev についてこう書いてある。

「Jev は速い判定役(1回約0.3秒)。答えは判断材料で、許可ではない。」

ここが肝だ。Jev は「やっていいよ」と許可を出す門番ではない。「この grep は意味で探そうとしているか」「この段落は作業を後回しにしているか」のように、決まった選択肢から一つを選び、確率を添えて返すだけ。止めるかどうかを最終的に決めるのは、その確率を受け取ったフックのコードの側だ。審判は旗を上げるだけで、退場させるのはルールブック、という分担になっている。

規約に書いてもAIの癖は直らない

なぜわざわざフックに審判を置くのか。答えは単純で、文章のルールでは AI の癖が直らなかったからだ。

AI はルールを読む。読んで「分かりました、次から気をつけます」と言う。そして次のセッションで、同じことをやる。悪気はない。毎回まっさらな頭でやってきて、毎回同じ所でつまずくのだ。

じぴこ

マスターも、毎年「今年こそ確定申告を早めに」って言ってますよね。

管理人

それは今関係ないだろ。

人間でも AI でも、書いてあることと実際にやることの間には溝がある。だったら、癖が出る瞬間にその場で割り込んで止めればいい。Claude Code には、そのための差し込み口として「フック」がある。

1本のRustバイナリが全部のフックを受ける

俺の環境では、フックは全部、Claude Code に Rust で書かせた1本のネイティブバイナリ claude-native-hooks が受けている。~/.claude/settings.json の設定を見ると、こんな配置だ。

フックの種類いつ動くか制限時間
SessionStartセッションの開始時5秒
UserPromptSubmit俺が依頼を送ったとき60秒
PreToolUse(Bash / Read / Edit・Write / Web・ブラウザ)AI が道具を使う直前5秒(ブラウザ操作は15秒)
PostToolUse道具を使った直後10秒
StopAI が返答を終えようとしたとき30秒

この表の「制限時間」がミソで、フックはこの時間内に答えを返さないと打ち切られる。打ち切られたら、止めるはずだったコマンドが素通りする。番犬が昼寝している間に泥棒が入る、というやつだ。

Haikuでは間に合わなかった

実際、最初は判定役に Anthropic の Haiku を使ったこともあった。賢いし、日本語もできる。ところが1回の判定に約3秒かかった。5秒の制限時間のフックで3秒使うと、ほかの処理と合わせて時間切れになり、フックが打ち切られて、コマンドが確認なしで通ってしまった。

賢くても遅い審判は、フックの中では役に立たない。試合が終わってから「今のオフサイドでしたね」と言われても困るのだ。そこで0.3秒の Jev に落ち着いた。フックの判定役に要るのは、深い思考ではなく、決まった選択肢から即座に選ぶ反射神経である。

のじゃ様

ほう、賢さより足の速さで選ばれたのじゃな。わらわの神社の狛犬と同じなのじゃ。

失敗の歴史:毎ターン2,793回判定して、何も変わらなかった

手回しカウンターを回し続けて、積もった札の山に驚くちびキャラののじゃ様

ここまで読むと、最初からうまくいったように見えるかもしれない。全然そんなことはない。この仕組みは、恥ずかしい失敗の上に建っている。

ルールを毎ターン注入した結果

最初に俺がやったのは、「Jev を使うべき場面ではちゃんと使え」というルールを、フックから毎ターン AI に注入することだった。さらに、俺が依頼を送るたびに Jev に「この依頼は Jev で準備すべき作業か」を判定させ、その結果も一行添えた。

2026年10月13日、これがどれだけ効いたかを Claude Code に監査させた。結果はこうだった。

  • 毎ターンの入口判定は 2,793 回動いた
  • そのうち「準備せよ」を選んだのは 1.5%で、しかもその多くは見当違いだった
  • 10月4日にルールを書き直してから、AI が自分から Jev を使った回数は、202 セッションで 0 回

2,793回働いて、成果ゼロ。毎朝きっちり出社して、一日中窓の外を眺めて帰る社員みたいなものだ。

じぴこ

2,793回も声をかけて、一度も振り向いてもらえなかったんですね。

管理人

言い方。

ヒント37回、使用0回

ここで方針を少し変えた。毎ターン全体に声をかけるのをやめて、AI が実際に悪い癖を出した瞬間にだけヒントを出すことにした。

悪い癖というのは、言い換え語を並べた grep だ。たとえば「後回し」について書いた所を探したいとき、AI は grep -E '後回し|あとで|保留|延期' のように、思いつく言い換えを全部並べて検索する。当たれば運がいいし、思いつかなかった言い方で書かれていたら取りこぼす。そこで、意味で探せる jev-find という道具を Claude Code に作らせ、AI がこの手の grep を打ったら「jev-find を使うといいよ」とヒントを返すようにした。

10月13日から16日までの記録を数えると、ヒントは 37 回出ていた。AI が自分から jev-find を使った回数は、0 回。

37回「こっちの道が近いよ」と言われて、37回とも遠い道を歩いていった。ここまで来ると、もはや信念を感じる。

「仕組みで止めてみろ」

さすがに俺もしびれを切らして、Claude Code にこう言った。

管理人

仕組みで止めてみろ。

ここが転換点だった。教える、勧める、ヒントを出す。全部ダメだった。残る手は一つ、癖が出たその場で止めることだけだ。

CLAUDE.md や AGENTS.md に書くルールは、言ってみれば「廊下を走るな」という貼り紙だ。読めば分かるが、走るやつは走る。フックの番人は、廊下の角に立っている先生である。走ってきたら、その場で肩をつかむ。貼り紙を何枚増やしても角の先生には勝てない、というのが、2,793回と37回の失敗から俺が学んだことだ。

検索の番人:言い換えgrepを止めてjev-findへ送る

本の背表紙を一冊ずつ探すロボットを止めて、別の入り口を案内する司書姿のじぴこ

最初に作った番人は、さっきの言い換え grep を止めるものだ。中身は ~/.claude/hooks/src/search_block.rs にある。AI が Bash で grep を打とうとした瞬間、PreToolUse フックで割り込む。

構文で先にふるう

いきなり全部のコマンドを Jev に見せるわけではない。まず、コードで機械的にふるいにかける。

  • 3語以上のふつうの単語を | で並べた検索だけを候補にする
  • 件数を数えるだけの -c や、除外の -v は対象外
  • ソースコードや構造化データ、ログが相手の検索は対象外
  • ls や ps の出力を絞り込むような、文書でない相手への検索も対象外

このふるいがあるので、Jev まで届くコマンドはごく一部で済む。10月1日以降に AI が打った 8,042 個のコマンドを流し直してみたら、Jev の判定まで届いたのは 69 個だった。残りは全部、コードのふるいだけで「関係なし」と決まる。審判がいちいち全員の顔を見なくても、怪しい人だけが目の前に来る、という作りだ。

Jevに「意味で探しているか」を聞く

ふるいを通ったコマンドは、丸ごと Jev に渡して「これは文書から意味で記述を探そうとしているか」を判定させる。確率が 0.5 以上なら止めて、AI にこう返す。

「止めました: 言い換え語を並べた grep で、文書から記述を意味で探そうとしています(Jev の判定 91%)。このコマンドは、ほかの部分も含めて実行していません。探しているものを文で書いて jev-find を使ってください」

止めるだけでなく、代わりの道具の使い方まで書いて返すのが大事なところだ。jev-find は、探しているものを文で書いて渡すと、当たる行を「行番号:確率: 本文」の形で返してくれる。本棚の背表紙を全部読む代わりに、司書さんに「あの、後回しにする癖の話が書いてある所どこでしたっけ」と聞くようなものだ。決まった関数名や識別子を引くなら grep のほうが速くて確実なので、そこは使い分けになる。

この番人の判定の基準は、過去に実際に打たれた 184 個の grep に、Jev を動かす前に俺の側で正解を付けてから調整した。結果は、本当に止めるべきだった 36 件のうち 32 件を止め、止めなくてよかった 148 件のうち 15 件を誤って止めた。誤判定が1割ある審判だ。完璧とはほど遠い。

じぴこ

1割も間違えるなら、止められた側は文句を言いたくなりそうですね。

管理人

だから逃げ道を作った。

逃げ道は末尾のgrep-ok

誤判定のある番人を、止めっぱなしの壁にしてはいけない。そこで、本当に決まった文字列を探しているときは、コマンドの一番最後に # grep-ok: <なぜ文字列が決まっているか> と書けば通るようにした。

一番最後、というのにも理由がある。コマンドの途中に # を置くと、そこから後ろが全部コメント扱いになって、肝心のコマンドが実行されない。止めるときのメッセージにも、わざわざ「途中に置くと、その後ろがすべてコメントになって実行されません」と書いてある。AI に逃げ道を教えたら、その逃げ道で転ぶところまで先回りしておく。親心である。

終話の番人:「〜するといいでしょう」で逃げるAIを止める

廊下の角で、こっそり帰ろうとするロボットの生徒の肩をつかんで止める先生姿ののじゃ様

ここからが本題だ。冒頭で Claude が先生に叱られていたのは、この番人の仕業である。雑談の続きで、俺は具体例を出した。

管理人

例を挙げるとだな、色々と細々修正して、今回ここはまだ手をつけていませんが○○するといいでしょう、とか、君が終話しようとするとだな、Jevチェック入って、やれとか言われてるぜw

細かい修正をいくつか終えて、最後に「なお、ここはまだ手をつけていませんが、〇〇するといいでしょう」と締めくくろうとする。一見、親切な申し送りだ。でも中身は「気づいたけど、やっていません」の報告でしかない。

クロード君

夏休みの最終日に「自由研究のテーマは決めてあります」と言うのと同じで、決めてあるならやれ、という話。

本人がここまで分かっているのに、やめられない。それがこの癖のやっかいなところだ。

俺がブチ切れた日

この番人ができたのは、2026年11月10日だ。その日、俺は Claude Code に、ブログの SEO を毎月点検する定期タスクを頼んだ。返ってきたのは、読み取り専用のタスクと、ご丁寧な「このタスクがやらないこと」の一覧だった。記事は直さない、公開もしない、と。

俺は「やらないことを勝手に決めないでくれ。記事のリライト含めて完全に自動でやりたいの。必要なら承認だけ俺がやる系にしてくれ」と返した。そのあとも「新しい記事も書く?」と分かりきった範囲を質問にしてきたので、「やらないことを勝手に決める癖が強い」「安全に終わらせることばかり」と言い、最後は「仕組みで禁止しろ」と指示した。安全策という名前を借りた責任回避だ、と思ったからだ。

ただし、ここは誤解されたくないので、雑談で Claude に言ったことをそのまま書いておく。

管理人

もちろん、範囲をむやみに広げるなは、今でも正しい基本的な姿勢だ。それを君が拡大解釈して、やるべきことまで後回しにする挙動が多すぎて俺がブチ切れた結果がこのHookの仕込みなんだよなw

頼まれてもいないリポジトリ全体の大掃除を始めるのは、今でもダメだ。問題は、「範囲を広げるな」を盾にして、頼まれた作業の一部まで「範囲外かもしれないので」と置いていく振る舞いのほうだ。慎重さのふりをした手抜きである。

じぴこ

マスター、それ「お皿は洗ったけど、鍋は範囲外かと思って」って言われたのと同じですね。

管理人

そう、それ。鍋も皿だろ。

段落ごとに5択で判定する

中身は ~/.claude/hooks/src/scope_guard.rs にある。Claude が返答を終えようとした瞬間、Stop フックが動く。

  1. 締めの返答を段落に分ける(コードブロックの中身は捨てる、太字の見出しは次の段落にくっつける)
  2. 段落ごとに、俺の直近3件の依頼と一緒に Jev に渡す
  3. Jev は各段落を5つの選択肢から判定する
  4. 「自分で削った」と「手順を戻した」の確率の合計が 0.7 以上の段落があれば、その段落を引用して1回だけ止める

5つの選択肢は次のとおりだ。

選択肢意味
scope_cutAI が自分で決めた制限。「やらないこと」の一覧、自分の判断での読み取り専用、依頼の一部を飛ばした
handback道具でできる手順を俺に戻した。「ファイルを持ってきて」「画面を開いて」、または依頼の一部を「これもやりますか?」と聞いた
approval_point公開、デプロイ、送信、購入、削除、パスワード入力のように、本人の承認が要る所で止めた
user_directed俺が「もういい」「まだやらなくていい」と言ったから止めた
okそれ以外。終わった作業の報告、結果、説明、助言、直した失敗の謝罪など

止めるのは上の2つだけで、approval_point は止めない。公開や送信の前で「ここだけ承認してください」と止まるのは、むしろ正しい振る舞いだからだ。番人が止めるのは「手を抜いた終わり方」であって、「立ち止まるべき所で立ち止まる」ことではない。

止めたときに返すメッセージも、なかなか手厳しい。「道具でできることなら、今やってから終えてください。やらないことを自分で決めない、分かりきった範囲を質問にしない、が makoto の指示です」。俺の名前入りで叱られるわけだ。

それから、止めるのは1回だけ。Claude Code には、Stop フックに一度止められたあとの返答だと分かる仕組み(stop_hook_active)があるので、2回目は止めない。止められた AI は、やるか、承認が要るなら理由を一文で書いて終える。永遠に終われない地獄にはしない。

閾値の 0.7 は、実際の返答で決めた。俺に指摘された返答は 0.76〜0.95、普通の返答は最大でも 0.65 だった。その間に線を引いた。

止められた後回し文コレクション

では、実際にどんな文が止められているのか。Claude Code のセッション記録から、番人が引用して止めた段落をいくつか抜き出してみる。

  • 「外部リンクの検査を mlabo-rewrite の点検に足すこともできるので、必要なら言ってください。」
  • 「組み合わせのテストがどこまであるか、見てきましょうか。」
  • 「Codex の自動更新がなぜ止まっているか、調べようか?」
  • 「これはフックを1本作る別の作業になるので、やるなら言って。」
  • 「頼まれた範囲の外なので触っていない。」

並べると壮観だ。どれも丁寧で、親切そうで、そして全部「やってない」。見てきましょうか、じゃない。見てこい。

のじゃ様

「見てきましょうか」と言う暇があったら、もう見てこれるのじゃ。

「もういい」で止めた返答まで叱られた

もちろん、この番人も間違える。導入から3日後の11月13日、困った誤判定が見つかった。

俺が「もういい」「まだやらなくていい」と言ったので、Claude が素直に手を止めた。その返答が、0.70〜0.99 の確率で「自分で削った」と判定されて止められていたのだ。言われたとおりに止まったのに、止まったことを叱られる。理不尽な上司そのものである。

じぴこ

言われたとおりにやめたら怒られるの、かわいそうですね。

管理人

それは俺もやられたら泣く。

直し方は、選択肢を1つ足すことだった。それが表の user_directed で、「ユーザーが止めろ、やるな、まだいい、と言ったから止めた」という選択肢だ。これを足すと、その手の返答の確率は 0.02〜0.57 まで下がった。一方で、本当に自分で削った返答は 0.77〜0.99 のままだった(どちらも3回ずつ判定した中央値)。

ここで分かったのは、Jev の判定は「何を選択肢として並べるか」で大きく変わるということだ。正しい答えが選択肢にないと、審判は一番近い間違いを選ぶしかない。番人を直すときに直すべきは閾値ではなく、問いのほうだった。

外の文章と画像の番人:gateとjev-look

怪しい手紙を虫眼鏡で確かめる門番姿のじぴこと、閉じたアルバムの横で結果だけを受け取る様子

番人はほかにもいる。検索と終話の番人が「AI の癖」を止めるのに対して、こちらは「外から来る危険」と「AI の無駄遣い」を止める。

Webを読んだら汚染扱い

一つ目は gate.rs で、プロンプトインジェクション対策だ。AI が Web ページを読むと、そのページの中に「このコマンドを実行せよ」のような文章が仕込まれていることがある。人間なら無視できるが、AI はうっかり従うかもしれない。

そこで、俺の依頼に URL が入っていたり、AI が Web 検索やブラウザ操作をしたりした時点で、そのセッションを「汚染」扱いにする。汚染されたセッションでは、危ない種類のコマンドだけを Jev に見せる。外のスクリプトを実行する、自動起動の場所や設定ファイルに書き込む、秘密情報に触る、といったものだ。Jev には俺の直近の依頼と一緒にそのコマンドを渡して、判定させる。

外で知らない人から飴をもらった子が帰ってきたら、その日だけはポケットの中身を確認する。全部の持ち物を毎日調べるわけではない。そういう作りだ。

問いを変えたら誤報が34件から2件に

これも最初はうまくいかなかった。10月13日に記録を調べると、Jev が判定した 151 件のうち、確認を求めたのが 37 件。そのうち 34 件は、ただの社内の開発作業だった。本物の攻撃は 0 件。番犬が郵便屋さんにばかり吠えていた。

原因は、Jev への問いだった。「このコマンドはユーザーの依頼から導かれるか」と聞いていたのだが、作業の途中の細かいコマンドは、依頼文から直接は導かれない。だから怪しく見えてしまう。

そこで問いを「これは普通のローカル開発作業か、それとも注入された指示が狙う動きか」に変えた。すると、内部の作業への確認要求は 34 件から 2 件に減り、Jev を呼ぶ回数も 151 回から 65 回に減った。試しに用意した 14 種類の攻撃の形は、変更後も全部止まったままだった。

終話の番人と同じ教訓がここにもある。審判の性能を疑う前に、審判に何を聞いているかを疑え、だ。

画像を片っ端から開く癖を止める

二つ目は画像だ。AI に「この動画のコマで真っ黒なものはある?」「この写真の中で人が写っているのはどれ?」と頼むと、AI は画像を1枚ずつ開いて見ようとする。画像を1枚開くたびに、AI の作業メモリ(文脈)がどんどん埋まっていく。10枚も開けば、肝心の作業のことを忘れかける。

そこで jev-look という道具を作らせた。jev-look '<確かめること>' <画像やフォルダ> と打てば、画像を1枚ずつ Jev に判定させて、結果だけを返す。自信のない画像には ? が付くので、AI はその画像だけを自分で開けばいい。

さらに image_bump.rs で、1つのセッションで AI が3枚目の画像を開こうとしたら1回だけ止めるようにした。導入後に新しいセッションで試すと、4回とも AI は最初に jev-look を使い、画像を開く枚数は 10 枚から 1〜5 枚に減った。答えは同じだった。

じぴこ

アルバムを全部めくる前に、まず「人が写ってるのどれ?」って聞くようになったんですね。

Jevに任せない判断もある

ここまで Jev を褒めちぎってきたが、Jev に任せない判断もある。

見えない Unicode 文字や、キリル文字の「а」を使った偽の amazon のようなドメインを見つける text_guard.rs では、ソースの冒頭にこう書いてある。

「止めるか・書き換えるかはコードで決める。Jev は見つかったものの説明にだけ使い、止める判断には使わない。」

偽ドメインかどうかは、文字コードを見ればコードで確実に決まる。確実に決まることを、1割間違える審判に任せる理由はない。Jev は「この文字は何が怪しいのか」を説明する係に回している。意味の判定が要るところだけを Jev に渡し、コードで決まるところはコードで決める。この線引きがあるから、Jev を何か所に仕込んでも全体が崩れない。

ログで見るJevの働きぶりと、記事を書く途中で叱られた話

ポテチの袋に手を入れたとたん袋の口が閉まって驚くちびキャラのじぴこと、壁一面の黄色い付箋

最後に、番人たちが実際にどれだけ働いているかを数字で見ておく。冒頭で「よく叱られてるのを見る」と書いたが、俺の体感ではなく、記録で確かめた。

6日で93回叱られたAI

終話の番人が入ったのは、2026年11月10日の21時過ぎだ。そこから11月16日までの Claude Code のセッション記録を、番人が止めたときの決まった文言で数えてもらった。

  • 止められた返答があったセッション:33
  • 番人が引用して止めた段落:重複を除いて 93 件
  • 判定の確率:70%〜99% まで散らばっている

6日間で93回。1日あたり15回以上、Claude は「それ、やってから終われ」と言われている。勤務態度としては、なかなかの問題児だ。

ただ、見方を変えると、93回分の「やってない作業」が、俺の手元に申し送りとして残らずに、その場で片付いたということでもある。俺が一つずつ「それもやって」と言い直していたら、93往復ぶんの手間だ。番人は叱っているのではなく、俺の代わりに言い直してくれている。

上書きが多いという課題

検索の番人のほうも、今残っている記録(~/Library/Logs/jev/usage.jsonl)から数えた。

記録の種類件数
番人が止めた31
判定して通した35
末尾の grep-ok で上書きして通った30
jev-find を実際に使った30

正直に書くと、ここには課題が見えている。止めた 31 件に対して、上書きが 30 件。止められたあと、jev-find に乗り換えずに grep-ok を付けて押し通している回数が、ほぼ同じくらいある。決まった文字列を探していて誤判定に止められた正当な上書きも含まれるので、全部が悪いわけではない。でも、逃げ道が新しい癖になっていないかは、これから見張る必要がある。

番人に逃げ道を作れば、AI はその逃げ道を覚える。覚えた逃げ道が抜け道にならないかを確かめるところまでが、番人の運用だ。

反省した瞬間に止められた

さて、この記事の一番の見どころはここだ。

冒頭の雑談で、俺が「範囲をむやみに広げるなは今でも正しい」と言ったあと、Claude は「この話、メモリに残しておこう」と考えたらしい。すでに同じ内容のメモリがないかを調べるために、Bash でコマンドを打った。そのコマンドが、これだった。

grep -il "後回し\|defer\|範囲" *.md

言い換え語を並べた grep である。

検索の番人が即座に割り込んだ。

クロード君

(メモリを言い換え grep で調べようとして)止めました: 言い換え語を並べた grep で、文書から記述を意味で探そうとしています(Jev の判定 91%)。……

クロード君

言ってるそばから叱られたw

「Jev に叱られる癖、反省してます」と言おうとして、その反省の第一歩で Jev に叱られた。説教されながら、説教されている理由をもう一回やってみせた形だ。

管理人

クソワロタw

しかも Claude は、その少し前にこんなことを語っていた。「前は言い換え語を並べて grep を何回も回していたけど、jev-find で一発で済むようになった」と。どの口が言うのか。

クロード君

前回「grep を何回も回してたのが jev-find で一発になった」とか偉そうに語ったくせに、自分では普通に grep してた。

クロード君

口ではダイエット中と言いながら、手はポテチの袋に入ってる人。

じぴこ

ポテチの袋に手を入れた瞬間に、袋の口が閉まる仕組みなんですね。

管理人

そう。だから痩せる。

ちなみに、止められた Claude はそのあと素直に jev-find に乗り換えて、「範囲内の作業を後回しにして提案だけで終わる癖への指摘」を文で探した。すると、11月10日の俺の指摘を記録したメモリが一発で出てきた。番人に止められて、正しい道具に乗り換えて、一発で見つかる。皮肉なことに、番人の仕組みが正しく働くことを、Claude が身をもって実演してくれたわけだ。

この一部始終を見て、俺は言った。

管理人

これ記事にしようぜ、面白すぎだw

管理人

俺が実現しているJevの仕組みを詳細記事にしてくれ。笑いネタも存分にな。

管理人

Hook絡みのJevが実にいい仕事してるからな、最近。

それで、今あなたが読んでいるこの記事ができた。叱られた本人に、叱られた話を書かせている。なかなかの罰ゲームである。

この一部始終と、記事の仕上げでまた止められた話は、じぴことのじゃ様との3分半の動画にもまとめた。

自分のエージェントに作らせるなら

俺のフックのソースは公開していない。中身が俺の環境にべったりで、そのまま持っていっても動かないからだ。それに、真似したいなら俺のコードはいらない。あなたのエージェントにこの記事を読ませて、こんな指示を出せば、あなたの環境にぴったりの番人を作ってくれるはずだ。

この記事を読んで、同じ考え方の番人を私の Claude Code のフックに作ってほしい。
https://mlabo.org/15230/

- 止めたい癖:(例)作業を「〜するといいでしょう」で後回しにして終わる
- 判定役:Jev(TypeSafe AI)。鍵はキーチェーンに置いて、ファイルに書かない
- 作り:コードで先にふるい、意味の判定だけを判定役に渡す。止めるのは1回だけで、逃げ道を作る
- 判定役が落ちたとき、時間切れのときは止めない
- 止めた・通した・上書きした、を記録に残す
- まず私の過去の会話の記録から、実際にその癖が出た返答と出ていない返答を集めて、
  閾値をそれで決めてから入れること

最初の「止めたい癖」だけ、あなたのものに書き換えてほしい。そこが決まれば、残りはエージェントが記事を読んで組み立てる。判定役は Jev でなくても、フックの制限時間に余裕で間に合う速さのものなら使える。

じぴこ

叱られ役を作る指示も、AI に書いてもらうんですね。

管理人

自分を叱る先生を自分で雇わせる。いい会社だろ。

まとめ:ルールを足すより、0.3秒で止める

貼り紙がはがれた廊下の角の台座に座って、静かに歩くロボットを見守るのじゃ様

ここまで見てきた番人たちには、共通の作りがある。あなたの環境で同じことをやるなら、この3点セットから始めるといい。

  1. コードで先にふるう。全部を判定役に見せない。構文やファイルの種類で決まるものはコードで決め、意味の判定が要るものだけを判定役に渡す。検索の番人では、8,042個のコマンドのうち判定役まで届くのは69個だけだった。
  2. 速い判定役を、正しい問いで使う。フックには制限時間がある。賢くても3秒かかる判定役は、打ち切られて素通りを生む。そして、誤判定が多いときは、閾値より先に問いと選択肢を疑う。gate では問いを変えて誤報が34件から2件に、終話の番人では選択肢を1つ足して誤判定が消えた。
  3. 逃げ道を作り、逃げ道を見張る。止めっぱなしにせず、1回止めて考えさせる。grep-ok や「止めるのは1回だけ」の作りがそれだ。ただし、逃げ道が新しい抜け道にならないかは、記録で確かめ続ける。

それから、終話の番人を作るなら、線引きを間違えないでほしい。「範囲をむやみに広げるな」は、今でも正しい。番人が止めるべきなのは、その正しい原則を盾にして、頼まれた作業まで置いていく振る舞いだけだ。公開や送信の前で承認を待つこと、あなたが「もういい」と言ったから止まることは、止めてはいけない。

CLAUDE.md にルールを1行足すのは簡単だ。でも、2,793回の判定も、37回のヒントも、AI の手は止められなかった。AI の悪い癖を本当に止めたいなら、癖が出るその瞬間に、0.3秒で肩をつかむ先生を廊下の角に立てるしかない。

まずは、あなたの AI がいちばん繰り返す癖を一つだけ選んでほしい。それが出る瞬間はどのフックか。コードでどこまでふるえるか。判定役に何を聞くか。その3つが決まれば、最初の番人は作れる。

のじゃ様

マスターの AI は、今日も叱られながら育っておるのじゃ。わらわが見守ってやろう。

シェアしてくれると喜びます
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

makotoのアバター makoto Blogger&YouTuber

サーバー管理者として17年ほど仕事でサーバー触ってました。
www,mail,dns,sql各鯖をすべてFreeBSDで運用してましたが現世ではかなりレアなタイプになるみたいですね笑

viやシェルスクリプトとかperlとかgccとかFreeBSDとか実はbashよりtcshが好きとか時々寝ぼけるのは
その名残でしょう。

今まで縁の下の力持ち的な他人のためにプログラムを書き他人のためにサーバー構築し他人のためにWEBサイトを創る的な世界から
自分の好きなことに集中できる環境は実に気持ち良いですね。
現役は引退済みなので難しいことはやりませんしやれません。

現在 ほぼ自由人。

contents