标签：java apache-spark mysql spark-dataframe spark-streaming

我想使用spark streaming来读取来自RDBMS数据库的数据,比如mysql.

但我不知道如何使用JavaStreamingContext来做到这一点

 JavaStreamingContext jssc = new JavaStreamingContext(conf, Durations.milliseconds(500));
DataFrame df = jssc. ??

我在互联网上搜索,但我没有找到任何东西

先感谢您.

解决方法:

如果不安装某些第三方软件,你就无法做到这一点.
你可以做的是创建一个个性化的接收器,它可以完成你想要的,使用SparkSQL包和Streaming组合.
实现扩展Receiver的类,并在内部执行从数据库中提取数据所需的所有连接和查询.
我现在在工作,所以我会给你一个链接,看看而不是产生代码,抱歉：
http://spark.apache.org/docs/latest/streaming-custom-receivers.html
https://medium.com/@anicolaspp/spark-custom-streaming-sources-e7d52da72e80

标签：java,apache-spark,mysql,spark-dataframe,spark-streaming
来源： https://codeday.me/bug/20190824/1704428.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。