StreamingPro 支持Spark Structured Streaming

前言

Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro中他们之间则没太大区别，唯一能够体现出来的是，Structured Streaming 使得checkpoint真的进入实用阶段。

下载

• Spark 2.0.2 based on scala-2.10

• StreamingPro 预编译版本

假设我们都放在/tmp目录下

写逻辑

新建一个文件,/tmp/ss-test.json,内容如下：

{  "scalamaptojson": {    "desc": "测试",    "strategy": "spark",    "algorithm": [],    "ref": [
    ],    "compositor": [
      {        "name": "ss.source.mock",        "params": [{"duration1":["1","2","3"]}]
      },
      {        "name": "ss.table",        "params": [{"tableName": "test"}]
      },
      {        "name": "ss.sql",        "params": [
          {            "sql": "select value + 100 from test",            "outputTableName": "test2"
          }
        ]
      },
      {        "name": "ss.output",        "params": [
          {            "mode": "append",            "format": "console"
          }
        ]
      }
    ],    "configParams": {
    }
  }
}

StreamingPro 现在支持短名称了，不用写那么冗长的package名。

• ss 开头指的是structrued streaming。

• batch 则是spark 批处理

• stream 则是 spark streaming

逻辑：

1. 配置模拟数据

2. 映射为表

3. 使用SQL查询

4. 输出(console)

如果是接的kafka,则配置如下即可：

{        "name": "ss.source",        "params": [{        "format":"kafka"
        "kaka.bootstrap.servers":"host1:port1,host2:port2",        "subscribe":"topic1,topic2"}]
 }

运行

./bin/spark-submit   --class streaming.core.StreamingApp \
--master local[2] \
--name test \
/tmp/streamingpro-0.4.7-SNAPSHOT-online-2.0.2.jar    \
-streaming.name test    \
-streaming.platform  ss  \
-streaming.checkpoint  file:///tmp/ss  \-streaming.job.file.path file:///tmp/ss-test.json

作者：祝威廉
链接：https://www.jianshu.com/p/ee06850341a9