ドキュメントの一覧

モデルでサーバーを評価する

登録した MCP サーバーの評価をダッシュボードで動かし、読む方法を説明します。ケースの作り方、干渉セット、指標の意味、ツールを検索するクライアント、単位の数え方、外れたツールの書き換え案。

このページの内容

リンターは、ツールの書き方を採点します。評価は、モデルが実際にツールをどう使うかを確かめます。ツールごとに書いた発話について、どのツールを呼ぶかをモデルに聞き、渡す引数も確かめます。評価は Pro と Team のプランで使えます。下のようにダッシュボードで動かすか、REST API で動かします。

評価を始める

ダッシュボード(app.forecall.dev)の評価を開き、評価を始めるを押します。登録したサーバーを 1 つ選ぶと、その最新の版を評価します。モデル、干渉セット(任意)、発話の言語を選んで見積もるを押します。始めるまで単位は使いません。始めるボタンに、使う単位が出ます。

選べるモデルは anthropic/claude-opus-5-5、anthropic/claude-sonnet-5-5、openai/gpt-6-astra、openai/gpt-6.1-sol です(google/gemini-3.8-flash はいまは止めています)。最初は中くらいの anthropic/claude-sonnet-5-5 と openai/gpt-6.1-sol を選んだ状態です。

評価には数分かかります。評価の画面は、実行中はひとりでに更新され(JavaScript が動かないときは再読み込みします)、モデルごとに実行が終わりしだい結果を出します。

ケース

モデル(anthropic/claude-sonnet-5-5)が、ツールの名前、説明、入力のスキーマからケースを作ります。種類は 3 つです。

  • ツール向け: 1 つのツールを呼ぶべき発話。ツールごとに Pro で 8 個、Team で 20 個
  • 取り違えやすい: リンターが説明がほぼ同じとみなしたツールの組ごとに、2 つのツールのそれぞれに 2 個ずつ
  • ツールを呼ばない: どのツールも答えるべきでない発話。ツール向けの 5 分の 1 の数

発話には、ツールが働きかける対象(ページの id、目の前の要素など)を、そのツールが必須とする引数ごとに具体的な値で含めます。正解がそのツールそのものになり、id を探すことが先にならないようにするためです。説明文に deprecated とあるツールにはケースを作らず、見積もりでその旨を知らせます(モデルは、そのツールの役目を頼まれても正しく避けます)。

検索ツールが返す結果やエンドポイントの一覧のように、エージェントが実行時に選ぶ相手も同じように評価できます。候補の一覧をサーバーとして登録すると、各候補をツールとして扱い、依頼ごとにモデルがどの候補を呼ぶかを測ります。測らないのは、その前の段(検索そのものと、結果の並べ方)です。

発話は英語で、Team なら日本語も選べます。ケースは評価と一緒に残ります。同じ版を同じ設定で評価し直すと同じケースを使うので、2 つの評価を公平に比べられ、ケースを作る分も数え直しません。

干渉セット

モデルが見るツールは、たいてい自分のサーバーのものだけではありません。干渉セットは、公開サーバーのツールを自分のツールと並べて見せます: bhived、context7、debugbase、filesystem、firecrawl、memory、notion、playwright。最初はどれも選んでいません。干渉セットのツールを呼んだら、別のツールを呼んだと数えます。

干渉セットに自分のツールと同じ名前のツールがあるとき(どちらが呼ばれたか見分けられません)と、モデルに見せるツールが合わせて 60 個を超えるとき(モデルがうまく扱えなくなります)は、見積もりで知らせます。

結果を読む

評価の画面には、モデルごとに 4 つの指標と、その元の数が出ます。

指標 意味
ツールの選択(selectionAcc) ツールのために書いたケースのうち、そのツールを呼んだ割合
引数(argValidity) その呼び出しのうち、引数がツールの入力のスキーマに合った割合。読めないスキーマは除く
誤った呼び出し(falseCallRate) どのツールも呼ぶべきでないケースのうち、ツールを呼んだ割合。低いほどよい
先に参照(lookupRate) ツールのために書いたケースのうち、読むためのツール(list、get、search など)を代わりに呼んだ割合。id や snapshot を先に取りにいったもので、ツールの選択の外れに含まれます。たいていは、別のツールと取り違えたのではなく、説明文に id の出どころが書かれていないことを示します。低いほどよい

長さの上限で切れた答えは、4 つとも数えません。数えるものがない指標は「—」です。読むためのツールとは、readOnlyHint が true のものか、名前に list、get、search、read、open、retrieve、find、snapshot、query などの語があるものです。

画面では、同じサーバーの、結果のある前回の評価とモデルごとに比べます。呼ばれたツールの表は、モデルごとに、行がケースを書いたツール、列が呼ばれたツールで、対角線が正解です。読むためのツールを呼んだ欄は「先に参照」として別の色で出します。ツールが 12 個を超えると、誤りのある行と誤って呼ばれたツールの列だけを出し、すべてを表示で残りも出せます。ケースを 1 つずつ見るでは、発話ごとに各モデルが呼んだツールと判定を出します。どれかのモデルが外したもの、1 つのモデルが外したもの、誤りの種類ごとに絞り込めます。引数の誤りには、どの引数がどう違ったか(ない、型が違う、許された値でない)を添えます。発話はサーバーのツールから作るので、組織の人だけが見られます。

ツールを検索するクライアント

クライアントによっては、サーバーのツールを全部モデルに見せません。Claude Code(既定)と Anthropic の API のツール検索は、ツールの定義をモデルの文脈の外に置きます(Claude Code は名前だけを見せます)。モデルが検索を書き、返ってきた数個の定義だけがモデルに届きます。このとき説明文には、見つかるというもう 1 つの役目があります。

評価はモデルにすべてのツールを見せるので、これは測りません。私たちは別に測りました(ADR-0048)。4 つのサーバーの 88 ツールに向けた同じ 404 件の依頼を、ほかの 3 つのサーバーの 25〜55 ツールを横に置いて、すべてのツールを API のツール検索の後ろに隠し、Claude Sonnet 5.5 に聞きました。

  • 語の検索(BM25)では、正しいツールが返ってきたのは依頼の 97.8%、呼ばれたのは 94.6% でした。すべてのツールを見せたときは 96.5% です
  • パターンの検索(正規表現)では、返ってきたのは 92.1%、呼ばれたのは 88.1% でした
  • 点は、どのツールが見つかるかを予測しませんでした。40 点未満のツールも、ほかと同じくらい返ってきました(BM25 97.7%、正規表現 95.5%)。どちらの検索でも、相関はほぼ 0 でした

外れを決めたのは、モデルの検索の仕方でした。Claude は依頼を自分の言葉に書き直すので、ツールは利用者の語ではなく、モデルが思いつく語で見つかります。パターンは、合うツールをサーバーが並べた順に返すので、長い一覧に広いパターンをかけると、終わりのほうのツールの手前で止まることがあります。先に検索するクライアントのためには、サーバーの instructions に、そのサーバーが扱う仕事を書きます(Claude Code は検索の前に読み込みます)。関係するツールの名前には共通の接頭辞を付け、仕事の語を説明文の先頭近くに置きます。

単位

モデルの実行は、モデルの単価と、聞く内容の大きさ(見せるツール(自分のものと干渉セット)と発話)に応じた単位を使います。ケースを作る分も単位を使い、最初のモデルの分に足します。組織がすでに持っている結果(同じモデル、ツール、発話)は使い回し、数え直しません。見積もりには、合計、内訳、今月の残りの単位とクレジットが出ます。

評価は、先に今月の枠から、次にクレジット(期限の近いものから)から単位を使います。両方を合わせても足りなければ始めません。組織の直前の支払いに失敗している間も、支払いが済むまで始めません。評価が失敗したら、終わらなかったケースの分の単位を、6 か月有効のクレジットで返します。

書き換え案

評価が終わると、画面の書き換え案に、モデルが外したツールが並びます。外したとは、そのツールのために書いたケースで別のツールを呼んだ、何も呼ばなかった、合わない引数で呼んだこと、または、別のツールのためのケースやツールを呼ばないケースで、そのツールを呼んだことです。書き換え案は Pro と Team のプランで使えます。ツールの書き換え案を作るを押すと、測るケース、モデル、使う単位が出ます。始めるまで単位は使いません。

書き換え案が変えるのは、ツールの説明文だけです。名前、入力スキーマ、注釈は変えません。モデル(anthropic/claude-sonnet-5-5)が、今の説明文、リンターの指摘、説明がほぼ同じツール、外れた依頼から、説明文の候補を 12 通り書きます。判定のモデルの jev がそれを 3 案に絞ります。そのあと、評価のモデルが、3 案それぞれに説明文を差し替えて、同じケースに答え直します。測るケースは、そのツールのためのケース、取り違えやすい相手のケース、そのツールを誤って呼んだケース、ツールを呼ばないケース 4 件です。案を出すのは、評価のときより、モデル全体でこれらのケースに正しく答えた数が増え、どのモデルでも減らなかったときだけです。ケースは 1 回ずつ聞くので、小さな差には偶然も入ります。画面は数を見せるもので、良くなると約束するものではありません。

書き換え案の画面には、説明文(写すボタンつき)、今の説明文との違い、モデルごとの正しく答えた数の前後、評価の答えがどこで外れていたか、ケースごとの答えが出ます。良くなった案がなければそう書き、測った案を見せます。使わない案には印を付けられ、元に戻せます。

説明文を自分のサーバーに入れて新しい版を登録し、評価すると、次の評価がすべてのケースで変化を確かめます。後の版でその説明文が使われると、書き換え案の画面にそう出ます。書き換え案はダッシュボードで作ります。REST API ではまだ作れません。

書き換え案は、評価と同じく単位を使います。候補を書く 1 回と、3 案それぞれを各モデルが各ケースに答える分です。説明文が変わるとツールの一覧も変わるので、結果は使い回しません。単位は始めるときに、今月の枠、次にクレジットから使い、良くなった案がなくても使います。候補が 3 つ書けなかったときや失敗したときは、測らなかった分の単位を、6 か月有効のクレジットで返します。