SparkStreaming自定义数据源实现wordcount案例

项目需求:
需求:自定义数据源,实现监控某个端口号,获取该端口号内容。需要继承Receiver,并实现onStart、onStop方法来自定义数据源采集。
代码实现:
def main(args: Array[String]): Unit = {
//创建配置对象文件
val conf: SparkConf = new SparkConf().setAppName("SparkStreaming_Demo01").setMaster("local[*]")

//创建SparkStreaming程序执行入口对象
val ssc: StreamingContext = new StreamingContext(conf,Seconds(3))

//通过自定义数据源创建DStream
val resDS: ReceiverInputDStream[Strin

SparkStreaming自定义数据源实现wordcount案例最先出现在Python成神之路

版权声明:
作者:Alex
链接:https://www.techfm.club/p/14526.html
来源:TechFM
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>