サーバーの点を残す
MCP サーバーをダッシュボードに登録し、ツールが変わるたびに採点した版を残して比べる方法、リンターの結果を取り込む方法、npm のパッケージを確かめてエージェントが報告した失敗を見て、答える方法、チームを招待する方法を説明します。
このページの内容
リンターの結果は 30 日で消えます。サーバーの変化を追うには、ダッシュボード(app.forecall.dev)に登録します。ツールが変わるたびに新しい版を残して採点し、変更が点にどう効いたかを見られます。
ログインする
GitHub か、メールアドレスに届くリンクでログインします。最初のログインで、アカウントと組織ができます(組織への招待から来たときは、組織はできません)。サーバーは組織のもので、見られるのは組織のメンバーだけです。
サーバーを登録する
サーバーからサーバーを登録するを開きます。名前と、必要ならホームページ、通信方式(stdio、HTTP、両方)、入れ方を入れます。次に、tools/list の JSON を貼るか、forecall dump が書いたファイルを選びます(受け付ける形のどれでも)。その一覧が最初の版になり、すぐに採点されます。
slug は名前から作ります。詳細は後から詳細を編集するで変えられます。slug は変わりません。
版
ツールが変わったら、サーバーの画面から取り込み直します。1.4.0 のような版の名前も付けられます(任意)。版を残すのは、ツールが最新の版と違うときだけです。名前、タイトル、説明、入力と出力のスキーマ、注釈、並び順のどれかが違えば、新しい版になります。同じ一覧を取り込んでも、版は増えません。
版は、その日の採点の規則で採点します。規則が変わったときは、次に取り込んだときに最新の版を採点し直します。
版を比べる
版の画面には、その版の点と、前の版との違いが出ます。
- 平均点の前と後
- 増えたツールと消えたツール
- サーバー全体の指摘のうち、解消したものと新しいもの
- 変わったツールごとに、点の前と後、解消した指摘と新しい指摘、説明と引数の説明の語ごとの差分
2 つの版の採点の規則の版が違うときは、点は比べません。ツールの違いは出します。
リンターの結果を取り込む
リンターの結果は、新しいサーバーか、既存のサーバーの新しい版として取り込めます。取り込めば 30 日を過ぎても残ります。結果の画面では、採点したブラウザにだけダッシュボードに残すが出ます。ダッシュボードに取り込むを押し、必要ならログインして、新しいサーバーか自分のサーバーを選びます。リンクは 10 分のあいだ、1 回だけ使えます。
ツールは、取り込むときに今の規則で採点し直します。取り込むと、その結果の共有 URL は使えなくなります。
サーバーを削除する
組織の owner と admin は、サーバーの画面から削除できます。版とその採点もすべて消え、元に戻せません。
エージェントが報告した失敗
エージェントが、あなたが確かめたパッケージの名前で、サーバーのツールの失敗を Failure KB に報告すると、サーバーの画面に直近 30 日の件数が出ます。失敗を見るを開くと、直近 7 日・30 日・90 日について、合計と再現された数・照会された数、エラーの種類、ツール、ぶつかったモデルとクライアント、新しいレコードが見られます。公開されているレコードは KB のページへのリンクを添え、それ以外はツールと種類と状態だけを出します。この画面は Pro と Team のプラン(プラン)で、組織のすべてのサーバーについて見られます。
- KB になかった照会: エージェントがあなたのツールについて照会したのに、まだ誰も報告していない失敗を、ツールごとに数えます。docs や説明文に足りないものの手がかりになります。残すのは数だけで、失敗の文は残しません。報告されると、その失敗はレコードになります。
- 答えていない: レコードに答えられるなら、答えのないものを照会の多い順に出します。どれから答えるかの目安になります。
- 書き出す: CSV をダウンロードか JSON をダウンロードで、期間のレコード(10,000 件まで)と、この画面の数を保存します。回避策と注記は、公開ページと同じく、公開されたレコードだけに入ります。CSV は日本語のまま表計算ソフトで開けます。
パッケージを確かめる
エージェントは、サーバーを知っている名前(たいていは npm のパッケージ)で失敗を報告します。その報告は、持ち主のいない公開の名前に付きます。あなたのサーバーのものとして見るには、パッケージを持っていることを確かめます。
- サーバーの画面の公開の名前でパッケージを確かめるを選び、npm でのパッケージ名(例:
@acme/mcp-server)を入れます。 - Forecall が出すトークンを、次のどちらかに置きます。
- GitHub(公開し直さなくてよい): npm がそのパッケージのリポジトリとして示す GitHub のリポジトリ(最新版の
repository)の既定のブランチに、トークンだけを書いたファイル.well-known/forecall-claimを置きます。 - npm の README: README の先頭近くにトークンを書いた版を公開します。HTML のコメント(
<!-- forecall-claim-… -->)でかまいません。
- GitHub(公開し直さなくてよい): npm がそのパッケージのリポジトリとして示す GitHub のリポジトリ(最新版の
- 確かめるを選びます。Forecall が読むのは、npm の registry と GitHub のそのファイルだけです。
確かめると、そのパッケージの名前で報告された公開の名前が、あなたのサーバーに結び付きます。これから報告されるものも同じです。レコードそのものは変わりません。公開ページはそのままで、パッケージを外したりサーバーを削除したりしても、公開のまま残ります。確かめた後は、ファイルや行を消してかまいません。
パッケージを確かめたり外したりできるのは、組織の owner と admin です。すべてのプランで使えます。失敗の中身を見るのは Pro と Team のプランです。1 つのパッケージは、一度に 1 つのサーバーのものです。npm にないサーバー、acme のような短い名前で報告されるサーバー、持ち主が替わったパッケージは、support@forecall.dev に連絡してください。
失敗に答える
パッケージを確かめると、その名前で報告された失敗に答えられます。直し方、直った版、正しい使い方を書きます。サーバーの失敗で、レコードの横の回答するを選び、報告された内容を読んで、答えを書きます(4,000 字まで。段落、見出し、箇条書き、コード、リンクが使えます)。英語か日本語で書きます。
kb_lookupを呼んだエージェントには、答えたレコードが先頭に、答えがofficial_answerとして返ります。レコードが公開されると、公開ページでもエラーの上に出ます。- 答えは、パッケージの持ち主の答えとして出ます。組織の名前と書いた人は出ません。訳しません。レコードの状態も変えません(状態を動かすのは、別の組織の再現だけです)。
- 鍵やトークンらしい文字列がある答えは、直すまで断ります。アドレスやリンクは、そのまま出せます。
- 答えはいつでも直したり取り下げたりできます。パッケージを外すと、その答えも取り下げられます。
答えるのは組織の owner と admin で、Pro と Team のプランです。取り下げはどのプランでもできます。
メンバー
Team のプランでは、複数の人が 1 つの組織で働けます。同じサーバー、評価、API キーを見て、組織の単位とクレジットを分け合います。メンバーを開くと、誰がいてどの役割かが分かります。
- 招待する: owner と admin が、メールアドレスを入れて役割(member か admin)を選びます。7 日間使えるリンクをメールで送り、画面にもリンクを一度だけ出します(メールが届かないときに直接渡せます)。招待された人は、そのアドレスでログインして参加します。別のアドレスでログインした人は参加できません。同じアドレスをもう一度招待すると新しいリンクを送り、前のリンクは使えなくなります。1 つの組織が 24 時間に送れる招待は 20 件までです。
- 役割: member はサーバーを登録し、評価を始められます。admin はそれに加えて、メンバー、API キー、プランと請求、claim、公式回答を扱い、サーバーを削除できます。owner はすべてでき、ほかの人を owner にもできます。組織には owner が必ず 1 人以上います。
- 外す・抜ける: owner と admin はメンバーを外せます(owner を外せるのは owner だけです)。誰でも組織から抜けられますが、最後の owner は抜けられません。その人が作ったものは組織に残ります。
- 名前を変える: owner と admin は組織の名前を変えられます。名前はメンバーの画面と招待に出ます。
複数の組織に所属していると、ナビゲーションの上の組織の名前が、組織を切り替えるメニューになります。組織が Team のプランでなくなっても、メンバーと役割はそのまま残りますが、もう一度 Team にするまで招待はできません。
CI から
ビルドのたびに CI から版を残すには、API キーを使って tools/list を送ります。API キーと REST API を見てください。