Forecall
失敗レコードドキュメント
採点したサーバーの一覧

IA-QA Eval & RAG — 38 tools: ツールの説明文の採点結果 io.github.JcJamet/ia-qa-eval

tools/list の取得日
(UTC)
出どころ
公式の MCP Registry
接続した URL
https://www.ia-qa.com/mcp/eval
リポジトリ
github.com/ia-qa-com/mcp
採点の規則
v2
掲載の取り下げ
support@forecall.dev
この URL のいまの状態を採点する

載せているのは点数、指摘、名前だけです

このページには、IA-QA Eval & RAG — 38 tools (io.github.JcJamet/ia-qa-eval) のツールの説明文の点数と指摘、ツールと引数の名前を載せています。説明文はサーバーのものなので、出どころのページでお読みください。

このサーバーが公式の MCP Registry に載せている URL に、上の日に 1 度だけ接続して tools/list を取りました（ツールは呼んでいません）。その後、サーバーが変わっているかもしれません。

servers/io.github.JcJamet/ia-qa-eval
平均点
62.9 / 100曇り
ツールの数
38
説明がほぼ同じ組
0

サーバー全体

  • 軽微
    ツールが 38 個あります。25 を超えると、モデルがツールを見分けにくくなり始めます。many_tools
  • 軽微
    サーバーの instructions は 2125 文字です。Claude Code は既定で最初の 2,048 文字しか読みません（Codex 0.154.0 は全部読みます）。何のためのサーバーかを最初に書いてください。instructions_long

ツール

conversation_analyze

39 / 100雨

目的
14 / 20
使いどころ
0 / 20
引数
10 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 要対応
    説明のない引数: messages[].role、messages[].contentparam_no_description
  • 軽微
    制約も例もない文字列の引数: messages[].contentloose_string_param

context_window_check

49 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
12 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    説明のない引数: messages[].role、messages[].contentparam_no_description
  • 軽微
    制約も例もない文字列の引数: messages[].role、messages[].contentloose_string_param

build_rag_prompt

50 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
13 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    説明のない引数: chunks[].text、chunks[].source、chunks[].scoreparam_no_description
  • 軽微
    制約も例もない文字列の引数: chunks[].text、chunks[].sourceloose_string_param

similarity_score

51 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
11 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    説明のない引数: batch[].reference、batch[].hypothesisparam_no_description
  • 軽微
    制約も例もない文字列の引数: batch[].reference、batch[].hypothesisloose_string_param
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

run_eval_contract

52 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
5 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 要対応
    説明のない引数: api_keys.groq、api_keys.openai、api_keys.anthropic、api_keys.google、api_keys.hf、api_keys.deepseek、api_keys.xai、overrides.model、overrides.provider、overrides.temperature、overrides.system_promptparam_no_description
  • 軽微
    制約も例もない文字列の引数: api_keys.groq、api_keys.openai、api_keys.anthropic、api_keys.google、api_keys.hf、api_keys.deepseek、api_keys.xai、overrides.model、overrides.provider、overrides.system_promptloose_string_param
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

run_vlm_test_suite

52 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
10 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 要対応
    説明のない引数: image_base64、system_prompt、model、test_cases、test_cases[].id、test_cases[].question、test_cases[].assertion_typeparam_no_description
  • 軽微
    制約も例もない文字列の引数: image_base64、system_prompt、test_cases[].id、test_cases[].questionloose_string_param

rag_relevance_rank

53 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    制約も例もない文字列の引数: queryloose_string_param

cot_analyzer

55 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

embedding_similarity

55 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
10 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
10 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    説明のない引数: batch[].text_a、batch[].text_bparam_no_description
  • 軽微
    制約も例もない文字列の引数: batch[].text_a、batch[].text_bloose_string_param
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

rerank_evaluate

55 / 100曇り

目的
17 / 20
使いどころ
5 / 20
引数
13 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 軽微
    説明のない引数: query、passages[].text、passages[].idparam_no_description
  • 軽微
    制約も例もない文字列の引数: query、passages[].text、passages[].idloose_string_param
  • 軽微
    真偽値の引数 passages[].relevant の意味が分かりにくくなっています。vague_boolean

model_info

58 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

prompt_test_suite

58 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
19 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    制約も例もない文字列の引数: must_include、must_not_includeloose_string_param
  • 軽微
    引数が 3 つ以上あるのに、説明文がどの引数にも触れていません。params_not_in_description

run_semantic_tests

58 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
19 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    引数が 3 つ以上あるのに、説明文がどの引数にも触れていません。params_not_in_description

bm25_score

60 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    制約も例もない文字列の引数: queryloose_string_param

llm_json_schema_check

60 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

estimate_llm_cost

61 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
10 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

token_budget_calculator

62 / 100曇り

目的
17 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

consistency_check

63 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
23 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

count_tokens

63 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
10 / 10
例
0 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

hallucination_check

63 / 100曇り

目的
17 / 20
使いどころ
10 / 20
引数
9 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 軽微
    説明のない引数: cases[].id、cases[].answer、cases[].contextparam_no_description
  • 軽微
    制約も例もない文字列の引数: cases[].id、cases[].answer、cases[].contextloose_string_param
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

metamorphic_check

63 / 100曇り

目的
17 / 20
使いどころ
10 / 20
引数
14 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10
  • 軽微
    説明のない引数: variants[].id、thresholds.case、thresholds.typo、thresholds.paraphrase、thresholds.reorder、thresholds.translation、thresholds.specializationparam_no_description
  • 軽微
    制約も例もない文字列の引数: base.question、variants[].id、variants[].questionloose_string_param

response_quality_score

65 / 100曇り

目的
20 / 20
使いどころ
5 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10

指摘はありません。

test_skill

65 / 100曇り

目的
20 / 20
使いどころ
5 / 20
引数
13 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 軽微
    説明のない引数: scenarios[].prompt、scenarios[].should_trigger、other_skills[].name、other_skills[].descriptionparam_no_description
  • 軽微
    制約も例もない文字列の引数: scenarios[].prompt、other_skills[].name、other_skills[].descriptionloose_string_param
  • 軽微
    真偽値の引数 scenarios[].should_trigger の意味が分かりにくくなっています。vague_boolean

llm_generate

66 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
10 / 10
例
10 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

generate_ci_workflow

67 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
15 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
10 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    説明のない引数: workflow_nameparam_no_description
  • 軽微
    制約も例もない文字列の引数: cron、workflow_name、node_versionloose_string_param
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

generate_eval_yaml

67 / 100曇り

目的
20 / 20
使いどころ
5 / 20
引数
20 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
0 / 10

指摘はありません。

get_testing_guidelines

67 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
20 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

llm_format_check

67 / 100曇り

目的
20 / 20
使いどころ
0 / 20
引数
20 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

compare_models

70 / 100晴れ

目的
20 / 20
使いどころ
0 / 20
引数
23 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

compare_responses

70 / 100晴れ

目的
20 / 20
使いどころ
0 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
10 / 10
  • 要対応
    いつ使うか、いつ使わないかが書かれていません。no_usage_context

llm_output_validator

71 / 100晴れ

目的
20 / 20
使いどころ
5 / 20
引数
19 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 軽微
    引数が 3 つ以上あるのに、説明文がどの引数にも触れていません。params_not_in_description

ab_test_report

75 / 100晴れ

目的
20 / 20
使いどころ
10 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10
  • 軽微
    引数が 3 つ以上あるのに、説明文がどの引数にも触れていません。params_not_in_description

extract_json_from_text

75 / 100晴れ

目的
20 / 20
使いどころ
10 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10

指摘はありません。

find_tool

75 / 100晴れ

目的
20 / 20
使いどころ
10 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
5 / 10

指摘はありません。

analyze_responses

77 / 100晴れ

目的
17 / 20
使いどころ
10 / 20
引数
18 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
10 / 10
  • 軽微
    制約も例もない文字列の引数: responses[].textloose_string_param

list_llm_models

77 / 100晴れ

目的
20 / 20
使いどころ
10 / 20
引数
15 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
10 / 10
  • 軽微
    `required` が指定されていないため、すべての引数が任意になっています。no_required

needle_haystack_generate

77 / 100晴れ

目的
20 / 20
使いどころ
5 / 20
引数
20 / 25
戻り値
15 / 15
制約と副作用
7 / 10
例
10 / 10

指摘はありません。

rate_tool

78 / 100晴れ

目的
20 / 20
使いどころ
15 / 20
引数
18 / 25
戻り値
8 / 15
制約と副作用
7 / 10
例
10 / 10

指摘はありません。

静的な採点で分からないこと

この点数は、説明文とスキーマの文字だけを読んで付けています。書かれているかどうかを示すもので、モデルがどう動くかではありません。browser_close のように、短くても名前で意味が明らかなツールは、実際にはモデルが正しく使えていても低く出ます。私たちの計測でも、名前とスキーマが違えば、いまのモデルは 1 行の説明文からでも 1 手で正しいツールを選びました。文字からは分からないこと（数手にわたる動き、書き足した一文が助けになるか誤らせるか）は、Pro と Team のプランの評価で測れます。

ご自身のサーバーの掲載をやめてほしい場合は、support@forecall.dev までご連絡ください。7 日以内に外します。

採点したサーバーの一覧