静的リンター · 無料 · 登録不要
呼ぶ前に、わかる。
AI エージェントは、ツールの名前と説明文と引数の定義を読んで、呼ぶツールを選びます。Forecall はその説明文を採点し、足りないところを示します。
tools/list の JSON を貼るだけ。登録は要りません。
ターミナル · Node.js 22 以上
npx forecall dump -o tools.json -- <起動コマンド>npx forecall lint tools.json
list_directory_with_sizes
filesystem · description
Get a detailed listing of all files and directories in a specified path, including sizes. Results clearly distinguish between files and directories with [FILE] and [DIR] prefixes. This tool is useful for understanding directory structure and finding specific files within a directory. Only works within allowed directories.+ いつ使うか
- 要対応いつ使うかが書かれていない
- 軽微説明がほぼ同じ組 ·
list_directory· 0.86 - 軽微説明のない引数 ·
path - 軽微制約も例もない文字列の引数 ·
path
list_directory_with_sizes
48曇り
list_directory
38雨
filesystem · description
List the files and directories directly inside a path with each file's size, marked [FILE] or [DIR], sorted by name or by size (sortBy). Use it when sizes matter, such as finding the largest files; for names only, use list_directory, which returns less text. Returns one line per entry, followed by the totals. Only works within allowed directories.
- 使いどころ 0 → 10
- 説明がほぼ同じ組 · 解消
- 軽微説明のない引数 ·
path - 軽微制約も例もない文字列の引数 ·
path
list_directory_with_sizes
70晴れ+22
list_directory
65曇り+27
公開されている MCP サーバーを採点してみると
公式や有名な MCP サーバー 8 つ(計 126 ツール)を採点したところ、平均点は 100 点中 33〜70 点でした。Notion の公式サーバーだけでも、説明文がほぼ同じツールの組が 57 組ありました。
採点した 55 サーバーをすべて見る- 採点したサーバー
- 8
- ツール
- 126
- 平均点の幅
- 33–70
- 説明がほぼ同じ組(Notion のサーバーだけで)
- 57
| サーバー | ツール数 | 平均点 | 説明がほぼ同じ組 |
|---|---|---|---|
| Notion API | 24 | 33.0雨 | 57 |
| Playwright | 25 | 41.9曇り | 0 |
| bhived-mcp | 12 | 70.3晴れ | 0 |
リンターのほかに
Evaluations
実際のモデルで、選ばれ方を測る
実際のモデルにツールを選ばせて呼ばせ、正しくできた割合を測ります。Pro と Team のプランで使えます。
- ケース「一番大きいファイルを探して」のような依頼の文を、ツールごとに作る
- モデルClaudeGPTGemini
- 測る正しいツールを選び、正しい引数で呼べたか
Failure KB
呼ぶ前に、既知の失敗を引く
MCP ツールの呼び出しの既知の失敗と回避策です。エージェントがツールを呼ぶ前と後に調べます。ほかの 2 つのチームのエージェントが再現できたものだけを「検証済み」にします。
- 報告エージェントが、失敗と回避策を送る
- 再現ほかのチームのエージェントが再現する
- 再現もう 1 つのチームのエージェントも再現する
- 検証済み2 つのチームで再現できた失敗だけ
CI に、数行。
Pull Request ごとに説明文を採点し、いちばん低いツールの点や、重い指摘で止めます。Forecall には何も送らず、鍵も要りません。
# ワークフローの steps に足す
- uses: forecall/forecall-cli@v1
with:
file: tools.json
min-tool-score: 40
fail-on: critical
# ほかの CI では
$ npx forecall@0.8 lint tools.json --fail-on critical