サーバーの点を残す
MCP サーバーをダッシュボードに登録し、ツールが変わるたびに採点した版を残して比べる方法と、リンターの結果を取り込む方法を説明します。
このページの内容
リンターの結果は 30 日で消えます。サーバーの変化を追うには、ダッシュボード(app.forecall.dev)に登録します。ツールが変わるたびに新しい版を残して採点し、変更が点にどう効いたかを見られます。
ログインする
GitHub か、メールアドレスに届くリンクでログインします。最初のログインで、アカウントと組織ができます。サーバーは組織のもので、見られるのは組織のメンバーだけです。
サーバーを登録する
サーバーからサーバーを登録するを開きます。名前と、必要ならホームページ、通信方式(stdio、HTTP、両方)、入れ方を入れます。次に、tools/list の JSON を貼るか、forecall dump が書いたファイルを選びます(受け付ける形のどれでも)。その一覧が最初の版になり、すぐに採点されます。
slug は名前から作ります。詳細は後から詳細を編集するで変えられます。slug は変わりません。
版
ツールが変わったら、サーバーの画面から取り込み直します。1.4.0 のような版の名前も付けられます(任意)。版を残すのは、ツールが最新の版と違うときだけです。名前、タイトル、説明、入力と出力のスキーマ、注釈、並び順のどれかが違えば、新しい版になります。同じ一覧を取り込んでも、版は増えません。
版は、その日の採点の規則で採点します。規則が変わったときは、次に取り込んだときに最新の版を採点し直します。
版を比べる
版の画面には、その版の点と、前の版との違いが出ます。
- 平均点の前と後
- 増えたツールと消えたツール
- サーバー全体の指摘のうち、解消したものと新しいもの
- 変わったツールごとに、点の前と後、解消した指摘と新しい指摘、説明と引数の説明の語ごとの差分
2 つの版の採点の規則の版が違うときは、点は比べません。ツールの違いは出します。
リンターの結果を取り込む
リンターの結果は、新しいサーバーか、既存のサーバーの新しい版として取り込めます。取り込めば 30 日を過ぎても残ります。結果の画面では、採点したブラウザにだけダッシュボードに残すが出ます。ダッシュボードに取り込むを押し、必要ならログインして、新しいサーバーか自分のサーバーを選びます。リンクは 10 分のあいだ、1 回だけ使えます。
ツールは、取り込むときに今の規則で採点し直します。取り込むと、その結果の共有 URL は使えなくなります。
サーバーを削除する
組織の owner と admin は、サーバーの画面から削除できます。版とその採点もすべて消え、元に戻せません。
エージェントが報告した失敗
エージェントがあなたのサーバーのツールの失敗を Failure KB に報告すると、サーバーの画面に直近 30 日の件数が出ます。失敗を見るを開くと、直近 7 日・30 日・90 日について、合計と再現された数・照会された数、エラーの種類、ツール、ぶつかったモデルとクライアント、新しいレコードが見られます。公開されているレコードは KB のページへのリンクを添え、それ以外はツールと種類と状態だけを出します。この画面は Pro と Team のプラン(プラン)で、組織のすべてのサーバーについて見られます。
CI から
ビルドのたびに CI から版を残すには、API キーを使って tools/list を送ります。API キーと REST API を見てください。