信任说明
评测方法与准确率边界
我们会持续评测召回与答案质量,但不会把内部样本结果包装成真实考试准确率。
当前机制 RAG 召回 + 结构化输出 + 反馈回流
CPA题库AI 使用六科知识库做关键词召回,再由模型输出答案、解析过程、得分点和易错点。项目内置固定 fixture,用于检查知识点召回、答案关键术语、关键数值和页面契约。
我们如何评测
- 召回评测:检查题目是否能命中预期知识点和章节。
- 答案评测:对照内部参考答案检查关键词、关键数值和必写术语。
- 回归评测:每次改 Prompt、RAG 或知识库后运行脚本,观察是否出现科目退化。
- 用户反馈:线上“不对 / 不清晰”反馈会回流到错题台账,后续用于修复薄弱样本。
不能怎样理解这些数字
内部评测结果只代表固定样本与当时模型配置下的表现,不等于真实 CPA 考试准确率,也不保证所有用户题目都能给出正确答案。大模型输出存在波动,题干缺失、图片识别错误、法规口径变化或综合题条件复杂时,都可能影响答案质量。
为什么仍然值得使用
通用聊天工具通常不知道你希望按“考试得分点”复盘。CPA题库AI 的价值在于把答案拆成更贴近答题纸的结构:结论、依据、步骤、得分点、易错点和召回资料。它适合做错题复盘助手,而不是替代教材、课程或最终判断。