返回项目列表

Codex Skill Router

已完成

一个面向 Codex 的确定性技能路由器:扫描本机 SKILL.md,按可解释规则选择最多三个技能,并用不含私人历史的 JSONL 样本评测路由质量。

CodexAgent WorkflowPythonEvaluation

Current verification

评测召回率 100% · 精确率 100%

查看公开仓库

为什么做这个项目

Agent 能调用的技能越来越多,靠模型临场猜测容易漏选、误选,也难以复现。我希望把路由和冲突消解留给确定性规则,让模型只负责真正需要判断的部分。

我解决了什么问题

  • 技能名称和触发条件分散,任务来了以后难以稳定选中正确入口。
  • 多个技能同时命中时,缺少可解释、可复现的冲突消解。
  • 只看单次结果无法判断规则质量,需要固定样本持续评测。

我的实现方式

使用的 AI

Codex

使用的工具

PythonJSONLGitHub

工作流程

  1. 01扫描本机技能说明,生成可检查的技能清单。
  2. 02把明确触发、排除条件与冲突规则写成确定性配置。
  3. 03对通用评测样本批量路由,计算召回率和精确率。
  4. 04审计失配样本,再更新规则而不是让模型自行重试。

遇到的问题

同一句需求可能同时命中多个相近技能。

解决:把优先级、互斥关系与最多选择数量写进冲突规则,输出保持可解释。

评测数据如果来自私人历史,不方便公开复查。

解决:单独维护不含私人历史的通用 JSONL 样本,让仓库可以独立运行。

项目结果

当前公开版本可完成技能清单构建、任务路由、路由评测与技能审计;本次重新运行评测,召回率与精确率均为 100%。

下一步

  • 随着技能清单变化补充边界样本,防止规则漂移。
  • 把评测报告接入日常技能维护流程。

对这类项目感兴趣?

如果你也有网站、文档、数据或 AI 相关需求,可以先联系我说明目标和现有资料。

联系我