当前位置：安安资源网 > 网站系统源码 > 其它源码 > 混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统
安安资源网安安资源网 其它源码 网站系统源码

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统

混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统包含丰富的处理器组件，提供Shell、DSL、Web配置界面、任务调度、任务监控等功能

特性

  • 简单易用
  • 可视化配置流水线
  • 监控流水线
  • 查看流水线日志
  • 检查点功能
  • 流水线调度
  • 扩展性强:
  • 支持自定义开发数据处理组件
  • 性能优越：
  • 基于分布式计算引擎Spark开发
  • 功能强大：
    • 提供100+的数据处理组件
    • 包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等
    • 集成了微生物领域的相关算法

    架构

    要求

    • JDK 1.8
    • Scala-2.11.8
    • Apache Maven 3.1.0
    • Spark-2.1.0 及以上版本
    • Hadoop-2.6.0

    开始

    • install external package
    1. mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/spark-xml_2.11-0.4.2.jar -DgroupId=com.databricks -DartifactId=spark-xml_2.11 -Dversion=0.4.2 -Dpackaging=jar
    2.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/java_memcached-release_2.6.6.jar -DgroupId=com.memcached -DartifactId=java_memcached-release -Dversion=2.6.6 -Dpackaging=jar
    3.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/ojdbc6-11.2.0.3.jar -DgroupId=oracle -DartifactId=ojdbc6 -Dversion=11.2.0.3 -Dpackaging=jar
    4.     mvn install:install-file -Dfile=/../piflow/piflow-bundle/lib/edtftpj.jar -DgroupId=ftpClient -DartifactId=edtftp -Dversion=1.0.0 -Dpackaging=jar

    复制代码

    • mvn clean package -Dmaven.test.skip=true
    1. [INFO] Replacing original artifact with shaded artifact.
    2.     [INFO] Reactor Summary:
    3.     [INFO]
    4.     [INFO] piflow-project ………………………………. SUCCESS [  4.369 s]
    5.     [INFO] piflow-core …………………………………. SUCCESS [01:23 min]
    6.     [INFO] piflow-configure …………………………….. SUCCESS [ 12.418 s]
    7.     [INFO] piflow-bundle ……………………………….. SUCCESS [02:15 min]
    8.     [INFO] piflow-server ……………………………….. SUCCESS [02:05 min]
    9.     [INFO] ————————————————————————
    10.     [INFO] BUILD SUCCESS
    11.     [INFO] ————————————————————————
    12.     [INFO] Total time: 06:01 min
    13.     [INFO] Finished at: 2020-05-21T15:22:58+08:00
    14.     [INFO] Final Memory: 118M/691M
    15.     [INFO] ————————————————————————

    复制代码

    页面展示

    • 登录:

    • 流水线列表:

    • 创建流水线:

    • 配置流水线:

    • 运行流水线:

    • 监控流水线:

    • 流水线日志:

    • 流水线组列表:

    • 配置流水线组:

    • 监控流水线组:

    • 运行态流水线列表:

    • 流水线模板列表:

    • 数据源:

    • 调度:

    • 自定义组件:
下载说明：
1.本站资源都是白菜价出售，同样的东西，我们不卖几百，也不卖几十，甚至才卖几块钱，一个永久会员能下载全站100%源码了，所以单独购买也好，会员也好均不提供相关技术服务。
2.如果源码下载地址失效请联系站长QQ进行补发。
3.本站所有资源仅用于学习及研究使用,请必须在24小时内删除所下载资源，切勿用于商业用途，否则由此引发的法律纠纷及连带责任本站和发布者概不承担。资源除标明原创外均来自网络整理,版权归原作者或本站特约原创作者所有,如侵犯到您权益请联系本站删除!
4.本站站内提供的所有可下载资源（软件等等）本站保证未做任何负面改动（不包含修复bug和完善功能等正面优化或二次开发）；但本网站不能保证资源的准确性、安全性和完整性，由于源码具有复制性，一经售出，概不退换。用户下载后自行斟酌，我们以交流学习为目的，并不是所有的源码都100%无错或无bug；同时本站用户必须明白，【安安资源网】对提供下载的软件等不拥有任何权利（本站原创和特约原创作者除外），其版权归该资源的合法拥有者所有。
5.请您认真阅读上述内容，购买即以为着您同意上述内容，由于源码具有复制性，一经售出，概不退换。
安安资源网 » 混合型科学大数据流水线系统，简单易用，功能强大的混合型科学大数据流水线系统

相关推荐