GeneralNewsExtractor

软件介绍

GeneralNewsExtractor（简称 GNE）是一个 Python 库，用来从新闻类网页的 HTML 中抽取正文。它实现的是《基于文本及符号密度的网页正文提取方法》一文中的算法，作者是 kingname，代码托管在 GitHub。

GNE 只处理已经拿到手的 HTML，不负责请求网页。项目 README 明确表示，现在没有、将来也不会提供主动请求网站的功能，页面需要用户自行获取。

核心功能

• 正文抽取：从新闻页面中取出文章正文，也可以同时返回正文所在容器的 HTML。
• 元数据抽取：自动识别标题、作者、发布时间，并给出正文中的图片地址。
• 自定义规则：可以为标题、作者、发布时间、正文指定 XPath；通过 noise_node_list 在抽取前去掉评论区等噪声节点。
• 配置文件：支持在 .gne 文件中用 YAML 或 JSON 写默认参数，调用 extract() 时传入的参数优先。
• 列表页抽取：属于实验性功能，文档和 README 都提示不要用于生产环境。

支持平台与系统要求

GNE 是纯 Python 库，通过 pip install --upgrade gne 安装。PyPI 页面标明需要 Python 3.8 及以上。对于依赖 JavaScript 渲染的页面，需要先用其他工具渲染出完整 HTML，再交给 GNE。

版本与授权

PyPI 上的最新版本是 0.4.3（2026 年 3 月 8 日上传），说明项目仍在更新。授权方面，GitHub 仓库的 LICENSE 文件是 GPL-3.0，而 PyPI 元数据标注为 MIT，两处不一致，使用前建议自行核对仓库的最新说明。

适用人群与使用场景

适合需要做新闻采集后处理、舆情分析、文本语料整理的开发者：先用自己的方式获取页面 HTML，再用 GNE 一次性得到结构化的标题、作者、时间和正文。