为何收录

不少研究组已经用大模型做文献筛选、信息抽取、数据标注和分析辅助,提示词多靠反复试错手工调整,改了一句话之后效果变好还是变坏,常常说不清。DSPy 把这件事当作有数据、有指标的优化问题:先用签名和模块写出流程,再准备一组带人工标准答案的样例和评分函数,例如“抽取的样本量与人工标注是否一致”或“纳入排除判断的 F1 值”,由优化器在训练集上改写指令,再在独立的验证集上比较前后得分。这样,提示词的每次修改都对应可复查的分数和保存下来的程序文件(save() 输出的 JSON),论文的方法部分也能写清用了哪个模型、哪个优化器、多少样例。

3.4.1 的两项变化与科研流程有直接关系。GEPA 的反思输入保留了工具轨迹和图像,更适合优化需要检索、调用计算工具或读图的流程,例如从论文图表中读取数值;skills 参数则可以把课题组已有的标注规范交给反思模型作参考。RLM 的子智能体面向长材料:处理一批访谈转录或一份很长的实验日志时,模型可以自行切分,再为“逐段提取错误”“汇总证据”这类子任务临时搭建结构化模块,所有调用受同一个次数上限约束。在论文中报告用法时,可引用 DSPy 的原始论文(arXiv:2310.03714)和 GEPA 论文(arXiv:2507.19457)。

局限与注意事项

  • 结果复现:3.4.1 改变了 GEPA 默认反思请求的格式,官方说明即使随机种子相同,优化结果也可能与 3.4.0 不同;RLM 提示词和 X | Y 类型注解的渲染方式也有变化,3.4.0 下的缓存和录制的模型响应不再命中。用作研究方法时,应锁定 DSPy 版本,保存评测数据、优化后的程序文件和所用模型名称。
  • 反思模型:反思模型必须是 dspy.LM 或其他 dspy.BaseLM,并能返回可解析的 JSON。若模型用纯文本或代码块作答,提案会失败,GEPA 只在日志中记录并保留当前候选,整轮运行结束时程序可能根本没有被优化,需要检查日志,而不能只看是否跑完。
  • 兼容性:dspy.ReActV2 的签名不能再声明名为 history 或 tools 的输入;在 3.4.0 中保存、含空(null)Score 等级描述的程序无法加载;重写 format_user_message_content 的自定义适配器需要增加 main_request 参数。离线使用内置模型元数据时,部分旧模型会失去工具调用、结构化输出等能力标记,DSPy 会在不提示的情况下改变请求方式。
  • Python 3.15:在 3.15 上不安装 gepa 与 litellm,dspy.GEPA 不可用,需要 GEPA 的项目应停留在 3.10–3.14。
  • 沙箱与数据:RLM 依赖 Deno 和 Pyodide 构建本地 WASM 沙箱;若改用在宿主进程中以 exec() 执行代码的解释器,调用预算和参数限制只能约束正常编写的代码,官方建议仅用于可信代码。所用模型若是外部 API,样例数据会发送给服务商,涉及受保护数据时需要另行评估。
  • 评测设计:优化器只会朝评分函数指示的方向改进。样例太少或指标设计不当时,验证集上的提升未必能推广到新数据。

想先判断是否合用,可以做一个小规模验收(这是建议,本文未执行):从课题组已有的人工标注中取 50 条摘要,分成训练集 30 条和验证集 20 条,用 dspy.ChainOfThought 写一个抽取研究设计与样本量的程序,先记录未优化时的验证集得分,再在固定的 3.4.1 版本下用 dspy.GEPA 优化并比较前后得分,同时人工检查优化后的指令是否引入了与标注规范不符的规则。

参考文献

  1. stanfordnlp/dspy. GitHub,2026-10-21 核验。

  2. LICENSE(MIT License). GitHub,2026-10-21 核验。

  3. DSPy 3.4.1. GitHub Releases,2026-10-12(UTC)发布。

  4. DSPy 官方文档首页. 2026-10-21 核验。

  5. dspy.RLM. DSPy 文档,2026-10-21 核验。

  6. dspy.GEPA: Reflective Prompt Optimizer. DSPy 文档,2026-10-21 核验。

  7. Khattab O, Singhvi A, Maheshwari P, et al. DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines. arXiv:2310.03714,2023。

  8. Agrawal L A, Tan S, Soylu D, et al. GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning. arXiv:2507.19457,2025。

  9. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  10. 信息同步发表于恩特学术,智能时代的学者社区