ScrapydWeb

软件介绍

ScrapydWeb 是 GitHub 用户 my8100 开发的开源 Web 应用，用来管理 Scrapyd 集群。Scrapyd 是部署和运行 Scrapy 爬虫的服务，ScrapydWeb 在它之上提供网页界面，省去逐台主机手动操作的麻烦。

核心功能

• 集群管理：支持 Scrapyd 的全部 JSON API，可通过分组和过滤选择若干节点，一次操作批量执行。
• 日志分析与可视化：对 Scrapy 日志做数据统计和进度图表展示。
• 自动打包：可自动打包项目后部署。
• 定时任务：内置定时器，按计划运行爬虫任务。
• 监控与报警：监控运行状态并发出警报。
• 移动端界面：页面可在手机上使用。
• 访问控制：网页界面支持基本身份认证。

支持平台与系统要求

它是一个 Web 应用，使用 pip install scrapydweb 安装。每台被管理的主机上都需要安装并运行 Scrapyd。仓库页面没有给出明确的 Python 版本要求和操作系统限制。

版本与授权

项目以 GPL-3.0 许可证开源，代码托管在 GitHub，目前有约 3.4k 个星标。仓库页面未显示最新发布的版本号。

适用人群或使用场景

适合同时维护多台 Scrapyd 服务器的爬虫开发者和运维人员，想用网页集中查看日志、定时启动任务并接收报警时可以用它。