学术资源 / 固定快照

GROBID：把论文 PDF 解析成结构化 TEI XML 的开源工具

GROBID 是一款面向学术文献的开源机器学习工具，能把论文 PDF 解析成结构化的 TEI XML，抽取标题、作者、机构、摘要、正文章节和参考文献。代码采用 Apache-2.0 许可，最新正式版 0.9.1 于 2026 年 8 月 4 日发布，可用 Docker 部署为本地 Web 服务。本文为资料核验，未安装实测。  GROBID 解析思路示意：论文版面中的各部分被整理为分层结构。AI 生成示意图，非软件截图。 GROBID 是 GeneRation Of BIbliographic Data 的缩写。据官方 README，项目 2008 年起步、2011 年开源，由 Patrice Lopez 主导开发，现由他和 Luca Foppiano 共同维护。仓库原地址 kermitt2/grobid 已迁到 grobidOrg 组织下：本次（2026-10-18）通过原地址查询 GitHub API，返回的仓库全名为 grobidOrg/grobid，未归档，最近一次推送在 2026-10-17（UTC）。LICENSE 正文为 Apache License 2.0；README 另写明文档采用 CC0，人工标注的训练数据采用 CC BY 4.0。full 镜像中预装的 TensorFlow 库、词向量等第三方组件，本文没有逐项核对条款，再分发或商用前需要另查。 ### 解析流程与输出格式 GROBID 并不直接读取纯文本，而是先用 pdfalto 把 PDF 转成带字体、位置等版面特征的词元（Layout Token），再交给一串级联的序列标注模型：第一层把文档切成页眉、正文、参考文献、附录等大块，后续模型再分别细分标题、作者姓名、机构与地址、摘要、章节标题、段落、图表说明、脚注、引用标记，以及每条参考文献的各个字段。README 称完整处理时使用 68 种最终标签。默认使用 CRF（条件随机场）模型，也可以在配置中换成 BidLSTM-CRF 等深度学习模型。 输入是 PDF 文件。输出始终是 TEI XML，官方称这是无损的规范格式；需要 Markdown 或 JSON 时，可由 Python 客户端在本地从 TEI 转换，但会丢掉坐标和部分书目信息。结构之外，它还能： - 经 biblio-glutton 或 Crossref REST API 补全参考文献的 DOI、PMID 等元数据，调用接口时可选择是否补全； - 为作者、图表、引用、参考文献、公式和句子等元素输出 PDF 坐标，便于在原文上叠加高亮； - 抽取资助信息、致谢对象、数据可用性声明，以及论文的版权方和许可类型。  GROBID 级联解析流程：PDF 经 pdfalto 转为版面词元，分段模型切出页眉、正文、参考文献，再由各子模型细分并输出 TEI XML。依据官方 README 与文档整理，AI 生成示意图。 ### Docker 部署与调用接口 官方 Docker 镜像同时发布在 Docker Hub 的 grobid/grobid 和 lfoppiano/grobid，分两种标签： - **`<版本>-full`（约 8GB）**：包含 CRF 与深度学习模型、Python/TensorFlow 库和预载词向量，官方推荐使用，建议配 GPU（至少 4GB 显存）。默认对参考文献解析、参考文献切分、页眉元数据、机构地址、资助与致谢启用深度学习模型；文档称参考文献解析的 F1 比纯 CRF 镜像高 2–4 个百分点。 - **`<版本>-crf`（约 500MB）**：只含 CRF 模型，运行更快、占用内存更少，但精度较低。官方的选择建议是：只需要全文（如 RAG 或检索预处理）时用轻量镜像，需要引文和书目信息就用 full 镜像。 官方文档当前给出的 0.9.1 启动命令如下（本站未执行）： ```bash docker pull grobid/grobid:0.9.1-full docker run --rm --gpus all --init --ulimit core=0 -p 8070:8070 grobid/grobid:0.9.1-full ``` 没有 GPU 时去掉 `--gpus all` 即用 CPU 运行；容器内调用 GPU 只在 Linux 主机上受支持。`--ulimit core=0` 用于避免 PDF 解析组件崩溃时在容器内产生核心转储。服务默认监听 8070 端口，浏览器打开即可进入自带的测试页面。全文解析接口的官方示例为： ```bash curl -v --form input=@./thefile.pdf localhost:8070/api/processFulltextDocument ``` 只取页眉元数据用 `/api/processHeaderDocument`，只取参考文献用 `/api/processReferences`。内存方面，官方建议全文结构化分配 4GB，只取页眉 2GB，只取引文 3GB，批量并行处理 6–8GB。大批量处理时，README 推荐用官方的 Python、Java 或 Node.js 客户端多线程调用 Web 服务，效率高于单线程的批处理命令行。修改配置需要把 `grobid.yaml` 挂载进容器，环境变量方式已不再支持。 架构支持方面，Docker 文档写着镜像目前面向 amd64 主机，而 0.9.0 发布说明列出了包含 ARM64 的多架构构建，两处表述不一致；在 Apple Silicon 或 ARM 服务器上部署前，应先查看所用镜像标签实际支持的架构。

收录日期

2026-10-18

类别

文献与写作

状态

资料核验，未安装实测

在交互式日历中查看这条记录 ↗