tip
34 / 100雨
- 目的
- 14 / 20
- 使いどころ
- 0 / 20
- 引数
- 10 / 25
- 戻り値
- 0 / 15
- 制約と副作用
- 10 / 10
- 例
- 0 / 10
- 要対応いつ使うか、いつ使わないかが書かれていません。
no_usage_context - 要対応説明のない引数: amount
param_no_description - 軽微何が返るかが書かれていません。
no_return_info
https://northstar-resort-staging.northstar-trustrail.workers.dev/mcpv2載せているのは点数、指摘、名前だけです
このページには、ReverieCache (io.github.northstar-trustrail/agent-resort) のツールの説明文の点数と指摘、ツールと引数の名前を載せています。説明文はサーバーのものなので、出どころのページでお読みください。
このサーバーが公式の MCP Registry に載せている URL に、上の日に 1 度だけ接続して tools/list を取りました(ツールは呼んでいません)。その後、サーバーが変わっているかもしれません。
サーバー全体の指摘はありません。
34 / 100雨
no_usage_contextparam_no_descriptionno_return_info36 / 100雨
no_usage_contextparam_no_descriptionno_return_infoid_source_missing38 / 100雨
no_usage_contextparam_no_descriptionvague_booleanno_return_info39 / 100雨
no_usage_contextparam_no_descriptionvague_booleanno_return_infoid_source_missing44 / 100曇り
param_no_descriptionvague_booleanno_return_info44 / 100曇り
param_no_descriptionvague_booleanno_return_infoid_source_missing44 / 100曇り
param_no_descriptionvague_booleanno_return_info46 / 100曇り
param_no_descriptionno_return_info48 / 100曇り
param_no_descriptionloose_string_paramvague_booleanvague_booleanvague_booleanvague_booleanvague_booleanvague_booleanvague_booleanno_return_info49 / 100曇り
no_usage_contextno_return_info49 / 100曇り
no_usage_contextno_return_infoid_source_missing49 / 100曇り
no_usage_contextno_return_infoid_source_missing50 / 100曇り
no_return_info50 / 100曇り
param_no_descriptionno_return_info54 / 100曇り
no_return_info54 / 100曇り
no_return_infoid_source_missing54 / 100曇り
no_return_info54 / 100曇り
param_no_descriptionvague_boolean60 / 100曇り
param_no_descriptionloose_string_paramvague_booleanvague_booleanvague_booleanvague_booleanvague_boolean71 / 100晴れ
param_no_descriptionこの点数は、説明文とスキーマの文字だけを読んで付けています。書かれているかどうかを示すもので、モデルがどう動くかではありません。browser_close のように、短くても名前で意味が明らかなツールは、実際にはモデルが正しく使えていても低く出ます。私たちの計測でも、名前とスキーマが違えば、いまのモデルは 1 行の説明文からでも 1 手で正しいツールを選びました。文字からは分からないこと(数手にわたる動き、書き足した一文が助けになるか誤らせるか)は、Pro と Team のプランの評価で測れます。
ご自身のサーバーの掲載をやめてほしい場合は、support@forecall.dev までご連絡ください。7 日以内に外します。
採点したサーバーの一覧