首页 > 软件列表 > 开发运维 > 数据库 > PiFlow
PiFlow

PiFlow

大数据流水线系统

PiFlow 是基于 Spark 的开源大数据流水线系统,提供可视化配置、任务调度与监控,内置 100 多个数据处理组件,面向科学大数据处理。

软件语言:简体中文
软件授权:开源
适用系统:Windows
创建时间:2020-12-15
软件厂商/开发者信息:cas-bigdatalab

软件介绍

PiFlow 是由 cas-bigdatalab(科学大数据开源社区)在 GitHub 上发布的开源项目,定位为混合型科学大数据流水线系统。它基于 Spark 分布式计算引擎开发,用来把数据采集、清洗、计算和存储等步骤串成可配置、可监控的流水线。

需要说明的是,GitHub 仓库目前的 README 已改写为基于 DeepAgents、FastAPI 和 React 的研究型原型,与早期的 Spark 流水线系统描述不同。本文介绍的是早期的 Spark 流水线系统(对应站内 0.9 版)。

核心功能

  • 可视化配置:可以在 Web 界面里配置流水线,也可以通过 Shell 命令和 DSL 来定义。
  • 任务调度与监控:支持任务调度、流水线监控和日志查看,并提供检查点功能。
  • 丰富的组件:内置 100 多个数据处理组件,涉及 Hadoop、Spark、MLlib、Hive、Solr、Redis、JDBC、MongoDB、HTTP、FTP、CSV、JSON 等。
  • 可扩展:支持自定义开发数据处理组件。
  • 领域算法:集成了微生物领域的相关算法。
  • 接口:提供 RESTful API、命令行工具和 Web 界面(PiFlow Web 是独立项目)。

支持平台与系统要求

PiFlow 以服务端方式部署。Gitee 镜像仓库的 README 列出的环境要求包括 JDK 1.8、Apache Maven 3.1.0、Spark 2.1.0 或更高版本和 Hadoop 2.6.0;也提供 Docker 镜像(v0.6.1)作为替代安装方式。PiFlow Server 与 PiFlow Web 的版本需要保持一致。

版本与授权

PiFlow 为开源项目。Gitee 镜像的许可证为 BSD-2-Clause;该镜像没有正式发行版,只有 v0.5、v0.6、v0.7 等 tag,README 提示使用最新版本。

适用人群或使用场景

适合需要在 Spark、Hadoop 集群上搭建数据处理流程的科研机构和数据工程人员,尤其是处理科学大数据、希望用可视化方式编排和监控任务的团队。普通桌面用户一般用不上。

版本列表

  • PiFlow v0.9 官方版

    PiFlow v0.9 官方版

    PiFlow是一个简单易用,功能强大的大数据流水线系统,混合型科学大数据流水线系统, ...

    软件大小:302.0 MB 更新时间:2020-12-15
    详情