混合型科学大数据流水线系统,简单易用,功能强大的混合型科学大数据流水线系统

混合型科学大数据流水线系统,简单易用,功能强大的混合型科学大数据流水线系统包含丰富的处理器组件,提供Shell、DSL、Web配置界面、任务调度、任务监控等功能

特性

  • 简单易用
  • 可视化配置流水线
  • 监控流水线
  • 查看流水线日志
  • 检查点功能
  • 流水线调度
  • 扩展性强:
  • 支持自定义开发数据处理组件
  • 性能优越:
  • 基于分布式计算引擎Spark开发
  • 功能强大:
    • 提供100+的数据处理组件
    • 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
    • 集成了微生物领域的相关算法

    架构

    要求

    • JDK 1.8
    • Scala-2.11.8
    • Apache Maven 3.1.0
    • Spark-2.1.0 及以上版本
    • Hadoop-2.6.0

    开始

    • install external package
    1. mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/spark-xml_2.11-0.4.2.jar -DgroupId=com.databricks -DartifactId=spark-xml_2.11 -Dversion=0.4.2 -Dpackaging=jar
    2.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/java_memcached-release_2.6.6.jar -DgroupId=com.memcached -DartifactId=java_memcached-release -Dversion=2.6.6 -Dpackaging=jar
    3.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/ojdbc6-11.2.0.3.jar -DgroupId=oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar
    4.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/edtftpj.jar -DgroupId=ftpClient -DartifactId=edtftp -Dversion=1.0.0 -Dpackaging=jar

    复制代码

    • mvn clean package -Dmaven.test.skip=true
    1. [INFO] Replacing original artifact with shaded artifact.
    2.     [INFO] Reactor Summary:
    3.     [INFO]
    4.     [INFO] piflow-project ………………………………. SUCCESS [  4.369 s]
    5.     [INFO] piflow-core …………………………………. SUCCESS [01:23 min]
    6.     [INFO] piflow-configure …………………………….. SUCCESS [ 12.418 s]
    7.     [INFO] piflow-bundle ……………………………….. SUCCESS [02:15 min]
    8.     [INFO] piflow-server ……………………………….. SUCCESS [02:05 min]
    9.     [INFO] ————————————————————————
    10.     [INFO] BUILD SUCCESS
    11.     [INFO] ————————————————————————
    12.     [INFO] Total time: 06:01 min
    13.     [INFO] Finished at: 2020-05-21T15:22:58+08:00
    14.     [INFO] Final Memory: 118M/691M
    15.     [INFO] ————————————————————————

    复制代码

    页面展示

    • 登录:

    • 流水线列表:

    • 创建流水线:

    • 配置流水线:

    • 运行流水线:

    • 监控流水线:

    • 流水线日志:

    • 流水线组列表:

    • 配置流水线组:

    • 监控流水线组:

    • 运行态流水线列表:

    • 流水线模板列表:

    • 数据源:

    • 调度:

    • 自定义组件:

下载说明:
1.本站资源都是白菜价出售,同样的东西,我们不卖几百,也不卖几十,甚至才卖几块钱,一个永久会员能下载全站100%源码了,所以单独购买也好,会员也好均不提供相关技术服务。
2.如果源码下载地址失效请联系站长QQ进行补发。
3.本站所有资源仅用于学习及研究使用,请必须在24小时内删除所下载资源,切勿用于商业用途,否则由此引发的法律纠纷及连带责任本站和发布者概不承担。资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您权益请联系本站删除!
4.本站站内提供的所有可下载资源(软件等等)本站保证未做任何负面改动(不包含修复bug和完善功能等正面优化或二次开发);但本网站不能保证资源的准确性、安全性和完整性,由于源码具有复制性,一经售出,概不退换。用户下载后自行斟酌,我们以交流学习为目的,并不是所有的源码都100%无错或无bug;同时本站用户必须明白,【安安资源网】对提供下载的软件等不拥有任何权利(本站原创和特约原创作者除外),其版权归该资源的合法拥有者所有。
5.请您认真阅读上述内容,购买即以为着您同意上述内容,由于源码具有复制性,一经售出,概不退换。
安安资源网 » 混合型科学大数据流水线系统,简单易用,功能强大的混合型科学大数据流水线系统