SparkStreaming自定义数据源实现wordcount案例
项目需求:
需求:自定义数据源,实现监控某个端口号,获取该端口号内容。需要继承Receiver,并实现onStart、onStop方法来自定义数据源采集。
代码实现:
def main(args: Array[String]): Unit = {
//创建配置对象文件
val conf: SparkConf = new SparkConf().setAppName("SparkStreaming_Demo01").setMaster("local[*]")
//创建SparkStreaming程序执行入口对象
val ssc: StreamingContext = new StreamingContext(conf,Seconds(3))
//通过自定义数据源创建DStream
val resDS: ReceiverInputDStream[Strin
共有 0 条评论