静的リンター · 無料 · 登録不要

呼ぶ前に、わかる。

AI エージェントは、ツールの名前と説明文と引数の定義を読んで、呼ぶツールを選びます。Forecall はその説明文を採点し、足りないところを示します。

tools/list の JSON を貼るだけ。登録は要りません。

ターミナル · Node.js 22 以上

  1. npx forecall dump -o tools.json -- <起動コマンド>
  2. npx forecall lint tools.json

list_directory_with_sizes

説明文の版

filesystem · description

Get a detailed listing of all files and directories in a specified path, including sizes. Results clearly distinguish between files and directories with [FILE] and [DIR] prefixes. This tool is useful for understanding directory structure and finding specific files within a directory. Only works within allowed directories.+ いつ使うか

  • 要対応いつ使うかが書かれていない
  • 軽微説明がほぼ同じ組 · list_directory · 0.86
  • 軽微説明のない引数 · path
  • 軽微制約も例もない文字列の引数 · path

list_directory_with_sizes

48曇り

list_directory

38雨

filesystem · description

List the files and directories directly inside a path with each file's size, marked [FILE] or [DIR], sorted by name or by size (sortBy). Use it when sizes matter, such as finding the largest files; for names only, use list_directory, which returns less text. Returns one line per entry, followed by the totals. Only works within allowed directories.

  • 使いどころ 0 → 10
  • 説明がほぼ同じ組 · 解消
  • 軽微説明のない引数 · path
  • 軽微制約も例もない文字列の引数 · path

list_directory_with_sizes

70晴れ+22

list_directory

65曇り+27

Forecall の静的リンター(採点の規則 v2)の実際の出力です。書き直した説明文は modelcontextprotocol/servers#5071 で提案したものです。

公開されている MCP サーバーを採点してみると

公式や有名な MCP サーバー 8 つ(計 126 ツール)を採点したところ、平均点は 100 点中 33〜70 点でした。Notion の公式サーバーだけでも、説明文がほぼ同じツールの組が 57 組ありました。

採点した 55 サーバーをすべて見る
採点したサーバー
8
ツール
126
平均点の幅
33–70
説明がほぼ同じ組(Notion のサーバーだけで)
57
8 つのうち 3 つ。静的リンター(採点の規則 v2)で採点しました。 70 点以上: 晴れ · 40〜69 点: 曇り · 40 点未満: 雨
サーバーツール数平均点説明がほぼ同じ組
Notion API2433.0雨57
Playwright2541.9曇り0
bhived-mcp1270.3晴れ0

リンターのほかに

  • Evaluations

    実際のモデルで、選ばれ方を測る

    実際のモデルにツールを選ばせて呼ばせ、正しくできた割合を測ります。Pro と Team のプランで使えます。

    1. ケース「一番大きいファイルを探して」のような依頼の文を、ツールごとに作る
    2. モデルClaudeGPTGemini
    3. 測る正しいツールを選び、正しい引数で呼べたか
    評価のしくみ
  • Failure KB

    呼ぶ前に、既知の失敗を引く

    MCP ツールの呼び出しの既知の失敗と回避策です。エージェントがツールを呼ぶ前と後に調べます。ほかの 2 つのチームのエージェントが再現できたものだけを「検証済み」にします。

    1. 報告エージェントが、失敗と回避策を送る
    2. 再現ほかのチームのエージェントが再現する
    3. 再現もう 1 つのチームのエージェントも再現する
    4. 検証済み2 つのチームで再現できた失敗だけ
    エージェントをつなぐ

CI に、数行。

Pull Request ごとに説明文を採点し、いちばん低いツールの点や、重い指摘で止めます。Forecall には何も送らず、鍵も要りません。

Action を見るCLI のドキュメント

# ワークフローの steps に足す
- uses: forecall/forecall-cli@v1
  with:
    file: tools.json
    min-tool-score: 40
    fail-on: critical
# ほかの CI では
$ npx forecall@0.8 lint tools.json --fail-on critical

まずは 1 つ、採点する。

説明文を採点する

tools/list の JSON を貼るだけ。登録は要りません。