Luigi

软件介绍

Luigi 是由 Spotify 开发并开源的 Python 软件包，用来构建由多个批处理任务串联而成的数据管道。项目目前由 Spotify 的数据团队维护。它不是带界面的桌面程序，而是通过 pip install luigi 安装的 Python 库。

核心功能

• 依赖解析与工作流管理：把一个个任务连接起来，由 Luigi 处理任务之间的依赖关系。
• 失败处理与命令行集成：针对长时间运行的批处理作业中常见的故障问题。
• 可视化界面：Web 可视化器可以搜索、筛选任务，并查看依赖关系图。
• Hadoop 及文件系统支持：内置 Hadoop 支持，提供 Hive、Pig 等作业的任务模板，也抽象了 HDFS 与本地文件系统，并支持原子文件操作。
• 用 Python 定义管道：管道直接用 Python 代码描述，不依赖外部配置文件。

支持平台与系统要求

需要 Python 3.10 及以上版本。GitHub 项目说明称已在 Python 3.10 至 3.14 上测试，PyPI 页面的版本限制写为 3.10 及以上、3.14 以下，两处说法略有差异，以安装时的实际提示为准。若要用 TOML 配置，可安装 toml 扩展。

版本与授权

采用 Apache License 2.0 开源。PyPI 上的最新版本为 3.8.1，发布于 2026 年 5 月 7 日。站内收录的 3.0.3 已不是最新版。

适用人群或使用场景

适合需要编排数据处理流程的数据工程师和 Python 开发者，例如把多步 ETL 或离线计算任务串成有依赖关系的管道。