PiFlow(大数据流水线系统) V0.9 官方版

PiFlow(大数据流水线系统) V0.9 官方版
2021-09-11 09:27:52
简体中文
301.98 MB
无毒 无隐私收集

  PiFlow是一款非常强大的大数据流水线系统,混合型科学大数据流水线系统,这款系统将数据采集、储存的等环节封装成组件,软件简单使用容易,提供100+的数据处理组件,如果有需要朋友的可以来本站下载试试。

PiFlow(大数据流水线系统)

软件特色

  简单易用。

  可视化配置流水线。

  监控流水线。

  查看流水线日志。

  检查点功能。

  扩展性强:

  支持自定义开发数据处理组件。

  性能优越:

  基于分布式计算引擎Spark开发。

  功能强大:

  提供100+的数据处理组件。

  包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。

  集成了微生物领域的相关算法。

使用方法

  解压piflow-server-v0.9.tar.gz。

  tar -zxvf piflow-server-v0.9.tar.gz。

  编辑配置文件config.properties。

  运行、停止、重启PiFlow Server。

  start.sh、stop.sh、 restart.sh、 status.sh。

  测试 PiFlow Server。

  设置环境变量 PIFLOW_HOME。

  vim /etc/profile。

  export PIFLOW_HOME=/yourPiflowPath/bin。

  export PATH=PATH:PIFLOW_HOME/bin。

  运行如下命令。

  piflow flow start example/mockDataFlow.json。

  piflow flow stop appID。

  piflow flow info appID。

  piflow flow log appID。

  piflow flowGroup start example/mockDataGroup.json。

  piflow flowGroup stop groupId。

  piflow flowGroup info groupId。

  如何配置config.properties。

  #spark and yarn config。

  spark.master=yarn。

  spark.deploy.mode=cluster。

  #hdfs default file system。

  fs.defaultFS=hdfs://10.0.86.191:9000。

  #yarn resourcemanager.hostname。

  yarn.resourcemanager.hostname=10.0.86.191。

  #if you want to use hive, set hive metastore uris。

  #hive.metastore.uris=thrift://10.0.88.71:9083。

  #show data in log, set 0 if you do not want to show data in logs。

  data.show=10。

  #server port

  server.port=8002

  #h2db port

  h2.port=50002

PiFlow(大数据流水线系统) 下载地址

正在读取下载地址...

网友评论

更多评论...