为何收录

文献检索回答“有哪些论文”,引用分析回答“这些论文后来被谁引用、作者还发表了什么”。paperscraper 原本就能把前一步写成脚本:检索式、日期范围和数据源都留在代码里,在本地预印本库上重复检索,也不必每次依赖实时的网页搜索结果,便于复查。v1.1.0 把后一步的一部分接进同一个包,从关键词检索到查施引论文、导出引文,可以在同一段 Python 代码里完成。它适合做文献计量、领域趋势分析和系统综述前期检索的研究者,也适合需要定期更新某一主题文献集的课题组;使用者需要会写基本的 Python 代码。

从检索到引用分析的流程

按文档中的函数,可以把一次文献调研串成这样的流程:先用嵌套关键词在 PubMed、arXiv 和本地预印本库中检索,得到 JSONL 文件;用 aggregate_paper 按年份统计,并通过 unwanted_keys 剔除误命中的记录;对筛出的核心论文调用 get_citing_papers_from_title 查施引论文,用 get_citations_from_title 记录引用数,再用 get_bibtex_entry 导出引文,导入自己的文献管理工具;需要全文时,用 save_pdf_from_dump 批量下载能获取的 PDF。期刊层面可以用 Impactor 按刊名、缩写、E-ISSN 或 NLM ID 查影响因子,作者层面可以经 Semantic Scholar 查论文数、引用数和 h 指数。包里的自引分析函数还能估算一篇论文各位作者的平均自引比例和自我参考比例。

两幅韦恩图:左为 2024 年人工智能与量子计算论文的两圆重叠,右为 2025 年再加入化学后的三圆重叠

paperscraper 绘图函数生成的韦恩图示例,基于本地 arXiv、bioRxiv、ChemRxiv 和 medRxiv 数据:左为 2024 年“人工智能”与“量子计算”检索结果的重叠,右为 2025 年再加入“化学”后的三组重叠。图片:Jannis Born / paperscraper 贡献者,来源 jannisborn/paperscraper 仓库(assets/ai_quantum_venn_both.png),许可 MIT。

费用、数据质量与使用限制

新功能依赖一项付费的第三方服务。SearchApi 是商业搜索结果接口,并非谷歌官方提供的接口。按其价格页(2026 年 10 月 20 日查看),最低档 Developer 方案每月 40 美元,含 1 万次搜索,只对成功请求计费,每小时最多用掉套餐额度的 20%。paperscraper 的 README 顶部挂有“Supported by SearchApi”徽章,文档中的谷歌学术示例都以它为后端。调用次数会随用法叠加:num_enrich 每多补全一行结果,就多一次作者主页请求;作者论文列表设 full_info=True 时,每篇论文多一次请求。把 num_enrich 设为 0 只发一次请求,但拿到的只是谷歌学术结果页上被截断的信息。

数据本身也需要核对。文档提醒,引用数在不同数据源之间、在同一论文不同版本的谷歌学术记录之间都可能不一致;文档中的示例输出取自 2026 年 9 月 23 日的实时查询,排序和数字都会变化。按姓名查作者时,如果找不到完全匹配的学者主页,函数会改用 author:"姓名" 搜索并提示可能混入同名作者,这时也无法补全详细信息;姓名有歧义时应传入 author_id。谷歌学术不支持 paperscraper 的嵌套布尔检索式,只按搜索框的规则处理纯文本查询。全文下载对预印本最可靠,期刊论文取决于开放获取状态和机构权限;Wiley、Elsevier 的文本挖掘接口需要自备凭据,文档写明这些备选途径不能绕过出版商限制或付费墙。为 bioRxiv 等平台指定日期范围建本地库时,生成的文件按当天日期命名,之后的检索只基于这个文件,覆盖不全就会漏检。自动采集得到的只是候选文献集,用于系统综述时仍要按方案去重、筛选和评价质量。

想先确认是否合用,可以做一个小规模验收(这是建议,本文未执行):选一篇自己熟悉的论文,用 get_citations_from_title 查引用数,用 get_citing_papers_from_title 取前 10 篇施引论文,与谷歌学术网页上的结果逐条对照;再用一组嵌套关键词检索 PubMed,抽查 20 条记录的题名、日期和 DOI 是否正确,同时记下这次验收实际消耗的 SearchApi 搜索次数。

参考文献

  1. jannisborn/paperscraper. GitHub,2026-10-20 核验。

  2. LICENSE(MIT License). GitHub,2026-10-20 核验。

  3. v1.1.0 - Google Scholar integration. GitHub,2026-10-08 发布。

  4. Paperscraper v1.0.0 - stable release. GitHub,2026-06-16 发布。

  5. Citations Integration via SearchAPI(#121). GitHub,2026-09-05 合并。

  6. paperscraper. PyPI,2026-10-20 核验。

  7. paperscraper 文档. 2026-10-20 核验。

  8. Scholar Metrics Analysis. paperscraper 文档,2026-10-20 核验。

  9. Paper Keyword Analysis. paperscraper 文档,2026-10-20 核验。

  10. PDF Retrieval. paperscraper 文档,2026-10-20 核验。

  11. Pricing Plans. SearchApi,2026-10-20 查看。

  12. Jannis Born, Matteo Manica. Trends in Deep Learning for Property-driven Drug Design. Current Medicinal Chemistry, 2021, 28(38): 7862–7886.

  13. 信息由 Scholay 学术一站式平台 整理并发表,如有侵权请反馈下架。

  14. 信息同步发表于恩特学术,智能时代的学者社区