博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
SparkStreaming(3):构建StreamingContext
阅读量:4281 次
发布时间:2019-05-27

本文共 475 字,大约阅读时间需要 1 分钟。

1.参考官网

 

2.构建方法

(1)使用SparkConf构建

import org.apache.spark._import org.apache.spark.streaming._val conf = new SparkConf().setAppName(appName).setMaster(master)val ssc = new StreamingContext(conf, Seconds(1))

(2)使用SparkContext构建

import org.apache.spark.streaming._val conf = new SparkConf().setAppName(appName).setMaster(master)  val sc = SparkContext.getOrCreate(conf)   // existing SparkContext// 或者:val sc = new SparkContext(conf) val ssc = new StreamingContext(sc, Seconds(1))

 

转载地址:http://qvygi.baihongyu.com/

你可能感兴趣的文章
谈“穷”-----穷只是一种结果,真正穷的是思维和行动
查看>>
六位创业者分享内心最恐惧的事情
查看>>
JavaScript数值转换总结
查看>>
JavaScript中的重载解读
查看>>
浅谈JavaScript中的原型模式
查看>>
HTML的奇葩嵌套规则
查看>>
我是如何自学编程的——“3遍读书法”
查看>>
当老实人遇到世态炎凉
查看>>
程序猿,你们这么拼是找不到妹纸的!
查看>>
问题与对策:CSS的margin塌陷(collapse)
查看>>
识别“百度权重”作弊的方法
查看>>
干货|程序员常去的14个顶级开发社区
查看>>
如何添加网站for Linux(绑定域名)
查看>>
一些常被你忽略的CSS小知识
查看>>
简易博客编辑器:玩转document.execCommand命令
查看>>
你知道C/S和B/S两种架构有什么区别吗?
查看>>
【学习干货】给coder的10个读书建议
查看>>
浏览器的CSS Hacks
查看>>
PHP基本语法的小结
查看>>
建站小记
查看>>