AI Research Assistant: ツールの説明文の採点結果

載せているのは点数、指摘、名前だけです

このページには、AI Research Assistant のツールの説明文の点数と指摘、ツールと引数の名前を載せています。説明文はサーバーのものなので、出どころのページでお読みください。

この写しは Smithery のレジストリから取ったもので、ツールの名前、説明、入力のスキーマはありますが、出力のスキーマ、annotations、instructions はありません。返り値と破壊的な操作の印の点が、サーバー自身の tools/list より低く出ることがあります。

公開の URL があるサーバーは、いまの状態を採点できます: URL から採点する

静的な採点で分からないこと

この点数は、説明文とスキーマの文字だけを読んで付けています。書かれているかどうかを示すもので、モデルがどう動くかではありません。browser_close のように、短くても名前で意味が明らかなツールは、実際にはモデルが正しく使えていても低く出ます。私たちの計測でも、名前とスキーマが違えば、いまのモデルは 1 行の説明文からでも 1 手で正しいツールを選びました。文字からは分からないこと（数手にわたる動き、書き足した一文が助けになるか誤らせるか）は、Pro と Team のプランの評価で測れます。