スキル、ルール、エージェント定義が実際に遵守されているかを可視化する——3種類のプロンプト厳格度レベルのシナリオを自動生成し、エージェントを実行し、動作シーケンスを分類し、完全なツール呼び出しタイムラインの遵守率をレポートする
Install
npx skills add https://github.com/affaan-m/ecc --skill skill-complySKILL.md
skill-comply:自動化された遵守測定
コーディングエージェントがスキル、ルール、またはエージェント定義を実際に遵守しているかを以下の方法で測定する:
- 任意の .md ファイルから期待される動作シーケンス(仕様)を自動生成する
- プロンプトの厳格度が段階的に低下するシナリオを自動生成する(支持的 → 中立的 → 競合的)
claude -pを実行し、stream-json 経由でツール呼び出しトレースを取得する- 正規表現ではなくLLMを使用してツール呼び出しを仕様ステップに分類する
- 決定論的に時系列順を確認する
- 仕様、プロンプト、タイムラインを含む自己完結型レポートを生成する
サポートされるターゲット
- スキル(
skills/*/SKILL.md):検索優先、TDDガイドなどのワークフロースキル - ルール(
rules/common/*.md):testing.md、security.md、git-workflow.md などの強制的なルール - エージェント定義(
agents/*.md):エージェントが期待される場面で呼び出されるか(内部ワークフロー検証は未サポート)
起動条件
- ユーザーが
/skill-comply <path>を実行する - ユーザーが「このルールは本当に遵守されているか?」と尋ねる
- 新しいルール/スキルを追加した後、エージェントの遵守を確認する
- 品質メンテナンスの一環として定期的に実行する
使い方
# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
重要なコンセプト:プロンプト独立性
プロンプトが明示的にサポートしていない場合でも、スキル/ルールが遵守されるかどうかを測定する。
レポートの内容
レポートは自己完結型で、以下を含む:
- 期待される動作シーケンス(自動生成された仕様)
- シナリオプロンプト(各厳格度レベルで尋ねる内容)
- 各シナリオの遵守スコア
- LLM分類ラベル付きのツール呼び出しタイムライン
高度な内容(オプション)
フックに精通したユーザー向けに、レポートには遵守率が低いステップに対するフック強化の推奨事項も含まれる。これは参考情報——主要な価値は遵守性自体の可視化にある。
Related skills
find-skillsvercel-labs3.6MHelps users discover and install agent skills when they ask questions like "how do I do X", "find a skill for X", "is there a skill that can...", or express interest in extending capabilities. This skill should be used when the user is looking for functionality that might exist as an installable skill.handoffmattpocock883KCompact the current conversation into a handoff document for another agent to pick up.microsoft-foundrymicrosoft618KBuild, deploy, evaluate, optimize, fine-tune, and manage Microsoft Foundry agents, models, and resources end to end. USE FOR: foundry, azd ai agent, azd provision/deploy, hosted agent scaffold/develop/run/deploy/troubleshoot, prompt agent create, create agent, update agent, add tool to agent, invoke agent, agent.yaml, agent insights, pull agent insights, evaluate agent, batch eval, continuous eval, continuous monitoring, agent CI/CD, optimize prompt, improve prompt, prompt optimizer, optimize agcavemanjuliusbrussee544KUltra-compressed communication mode that cuts output tokens while keeping technical accuracy. Levels: lite, full, ultra and the wenyan variants. Use for /caveman, "caveman mode", "talk like caveman", "be brief" or "less tokens".