Codex Skill Router
已完成一个面向 Codex 的确定性技能路由器:扫描本机 SKILL.md,按可解释规则选择最多三个技能,并用不含私人历史的 JSONL 样本评测路由质量。
CodexAgent WorkflowPythonEvaluation
Current verification
评测召回率 100% · 精确率 100%
为什么做这个项目
Agent 能调用的技能越来越多,靠模型临场猜测容易漏选、误选,也难以复现。我希望把路由和冲突消解留给确定性规则,让模型只负责真正需要判断的部分。
我解决了什么问题
- 技能名称和触发条件分散,任务来了以后难以稳定选中正确入口。
- 多个技能同时命中时,缺少可解释、可复现的冲突消解。
- 只看单次结果无法判断规则质量,需要固定样本持续评测。
我的实现方式
使用的 AI
Codex
使用的工具
PythonJSONLGitHub
工作流程
- 01扫描本机技能说明,生成可检查的技能清单。
- 02把明确触发、排除条件与冲突规则写成确定性配置。
- 03对通用评测样本批量路由,计算召回率和精确率。
- 04审计失配样本,再更新规则而不是让模型自行重试。
遇到的问题
同一句需求可能同时命中多个相近技能。
解决:把优先级、互斥关系与最多选择数量写进冲突规则,输出保持可解释。
评测数据如果来自私人历史,不方便公开复查。
解决:单独维护不含私人历史的通用 JSONL 样本,让仓库可以独立运行。
项目结果
当前公开版本可完成技能清单构建、任务路由、路由评测与技能审计;本次重新运行评测,召回率与精确率均为 100%。
下一步
- 随着技能清单变化补充边界样本,防止规则漂移。
- 把评测报告接入日常技能维护流程。