structuredStreaming

无论是流的形式，还是批的形式，都需要一些必要的参数：

• kafka.bootstrap.servers kafka的服务器配置，host:post形式，用逗号进行分割，如host1:9000,host2:9000
• assign，以json的形式指定topic信息
• subscribe，通过逗号分隔，指定topic信息
• subscribePattern，通过java的正则指定多个topic
  assign、subscribe、subscribePattern同时之中能使用一个。

其他比较重要的参数有：

• startingOffsets, offset开始的值，如果是earliest，则从最早的数据开始读；如果是latest，则从最新的数据开始读。默认流是latest，批是earliest
• endingOffsets，最大的offset，只在批处理的时候设置，如果是latest则为最新的数据
• failOnDataLoss，在流处理时，当数据丢失时（比如topic被删除了，offset在指定的范围之外），查询是否报错，默认为true。这个功能可以当做是一种告警机制，如果对丢失数据不感兴趣，可以设置为false。在批处理时，这个值总是为true。
• kafkaConsumer.pollTimeoutMs，excutor连接kafka的超时时间，默认是512ms
• fetchOffset.numRetries，获取kafka的offset信息时，尝试的次数；默认是3次
• fetchOffset.retryIntervalMs，尝试重新读取kafka offset信息时等待的时间，默认是10ms
• maxOffsetsPerTrigger，trigger暂时不会用，不太明白什么意思。Rate limit on maximum number of offsets processed per trigger interval. The specified total number of offsets will be proportionally split across topicPartitions of different volume.