为何收录

杜兰大学 Howard-Tilton 图书馆书架上的学术期刊合订本。摄影:the.Firebottle,来源:Flickr,许可:CC BY-SA 2.0。
对需要批量处理文献的研究者来说,Marker 的用处在于把版式固定的 PDF 变成可检索、可编辑、可再加工的文本,比如整理综述语料、为本地知识库或检索增强生成(RAG)准备分块、从论文里抽出表格,或把带公式的讲义转成可修改的 Markdown。按 README 的说明,Markdown 输出把公式写成 $$ 包裹的 LaTeX,图片另存为文件并以链接引用;JSON 输出按页组织成块树,每个块带类型、HTML、页面坐标和章节层级,引用转换结果时可以回到原 PDF 的对应位置核对;chunks 格式把每页的顶层块展开成列表,便于切分入库。TableConverter 可以只抽取表格。Python 接口允许替换处理器和渲染器,课题组可以按自己的格式规则扩展。
与 Meta Nougat 的定位和维护对比
Meta 在 2023 年 8 月发布的 Nougat(Neural Optical Understanding for Academic Documents)走的是另一条路。论文把它描述为端到端的编码器-解码器 Transformer:不读取 PDF 自带的文字,只看页面图像,直接输出与 Mathpix Markdown 基本兼容的 .mmd 标记文本,训练数据来自 arXiv 和 PMC 论文,重点是还原 LaTeX 公式和表格。代码采用 MIT 许可,模型权重为 CC BY-NC,即不允许商业使用。维护方面,PyPI 上 nougat-ocr 的最后一个版本是 2023 年 10 月 4 日的 0.1.17,GitHub 仓库最近一次推送在 2025 年 2 月 21 日,仓库没有归档,但已三年没有新版本。README 的常见问题写明它最适合英文论文,中文、俄文、日文等无法使用。两者的差别可以概括为:Nougat 是一个面向英文科研论文的研究模型,Marker 是持续更新的转换流水线,优先利用文字层、按需调用模型,覆盖多语言和书籍、表单等更多文档类型。处理中文文献或需要长期维护时,Marker 更合适,但要先确认权重许可。

Marker 转换流程:先读取 PDF 文字层并检测版面,仅对扫描页、公式和低置信表格调用视觉模型,再输出 Markdown、JSON 或 HTML。据官方 README 的流程描述绘制,不代表真实界面或性能。AI 生成示意图。
官方基准、已知限制与验收建议
README 报告了 Marker 在 olmOCR-bench 上的成绩。这是艾伦人工智能研究所 olmOCR 项目提供的基准,含 1,403 份 PDF:balanced 模式总分 76.0%,原生数字 PDF 子集 83.5%;fast 模式 66.6%;不做识别的模式 43.6%。吞吐量数字来自单台 B200 GPU 主机。这些结果由 Datalab 自己运行并发布,仓库附有复现脚本,但不等于独立复测。分项成绩也提示了选型:fast 模式在 arXiv 数学类只有 23.4 分,不做识别时为 0,公式密集的论文应使用 balanced。
官方列出的已知限制包括:嵌套表格、表单等非常复杂的版面可能转换失败,表单渲染效果欠佳;README 称加上 --use_llm 和 --force_ocr 大多可以缓解,代价是更多的大模型调用或识别时间。自带的 marker_server 只是一个简单的 FastAPI 服务,官方说明它仅适合小规模使用,而且不开放 --use_llm 和 --disable_ocr。本站没有安装实测。打算采用的读者可以先做一次小规模验收:挑 5 到 10 篇本领域有代表性的 PDF,至少各含一份双栏排版、公式密集、跨页表格、扫描页和中文文献,分别用 fast 和 balanced 转换,逐页对照原文检查阅读顺序、公式 LaTeX、表格单元格和图注对应关系,再决定是否需要 --use_llm。这只是建议的检查方案,不是本站已完成的测试。
参考文献
-
Datalab. datalab-to/marker:GitHub 仓库与 README.核验日期:2026-10-18.
-
Datalab. Marker 2.0.0 发布说明.2026-07-20.
-
Datalab. Marker MODEL_LICENSE:AI Pubs Open RAIL-M License (Modified).核验日期:2026-10-18.
-
PyPI. marker-pdf.核验日期:2026-10-18.
-
Blecher L, Cucurull G, Scialom T, Stojnic R. Nougat: Neural Optical Understanding for Academic Documents.arXiv:2308.13418, 2023.
-
Meta AI. facebookresearch/nougat:GitHub 仓库与 README.核验日期:2026-10-18.
-
PyPI. nougat-ocr.核验日期:2026-10-18.
-
信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。
-
信息同步发表于恩特学术,智能时代的学者社区