ICode9

精准搜索请尝试: 精确搜索
首页 > 数据库> 文章详细

Flink 写数据到MySql (JDBC Sink)

2020-12-06 15:32:07  阅读:880  来源: 互联网

标签:flink Flink insertSql streaming JDBC Sink import apache org


POM 文件

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>1.10.2</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_2.11</artifactId>
            <version>1.10.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
            <version>1.10.1</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.44</version>
        </dependency>

代码:

package com.kpwong.sink

import java.sql.{Connection, DriverManager, PreparedStatement}

import org.apache.flink.configuration.Configuration
import org.apache.flink.streaming.api.functions.sink.{RichSinkFunction, SinkFunction}
import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.scala._

object JDBCSinkTest {
  def main(args: Array[String]): Unit = {
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(1)

    val socketDS: DataStream[String] = env.socketTextStream("hadoop202",9999)

    //sink

    socketDS.addSink(new MyJDBCSink())


    env.execute()
  }

}
//注意 必须继承富函数类,这样才有生命周期管理函数
class MyJDBCSink extends  RichSinkFunction[String]{
  //定义SQL 链接 预编译器
  var conn: Connection =_
  var insertSql: PreparedStatement=_

  //创建链接和预编译语句
  override def open(parameters: Configuration): Unit = {
    super.open(parameters)
    conn = DriverManager.getConnection("jdbc:mysql://hadoop102:3306/test","root","000000")

    insertSql= conn.prepareStatement("insert into flink(socket) values (?)")

  }

  override def invoke(value: String, context: SinkFunction.Context[_]): Unit = {

//    super.invoke(value, context)
    insertSql.setString(1,value)
    insertSql.execute()
  }

  override def close(): Unit = {
//    super.close()
    insertSql.close()
    conn.close()
  }

}

测试 :socket输入输入数据

 

 MySql 接受数据:

 

标签:flink,Flink,insertSql,streaming,JDBC,Sink,import,apache,org
来源: https://www.cnblogs.com/kpwong/p/14092893.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有