标签：Flink 读取数据 flink redis sink org apache import socket

import org.apache.flink.api.common.functions.MapFunction;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.redis.RedisSink;
import org.apache.flink.streaming.connectors.redis.common.config.FlinkJedisPoolConfig;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommand;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisCommandDescription;
import org.apache.flink.streaming.connectors.redis.common.mapper.RedisMapper;

/**
 * Flink从socket读取数据sink到redis
 *
 */
public class MyRedisSink {
    public static void main(String[] args) throws Exception {
        // 获取一个执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        
        //安装nc命令：yum install -y nc
        //nc -l 33069 ##执行该命令，然后一行一行输入字符
        DataStreamSource<String> dataStream = env.socketTextStream("106.12.241.89", 33069, "\n");

        //lpsuh reids_words => socket发送过来的数据，最终会存储到redis中//对数据进行组装,把string转化为tuple2<String,String>
        DataStream<Tuple2<String, String>> redis_wordsData = dataStream
                .map(new MapFunction<String, Tuple2<String, String>>() {
                    @Override
                    public Tuple2<String, String> map(String s) throws Exception {
                        System.out.println("socket发送过来的数据： " + s);
                        return new Tuple2<>("reids_words", s);
                    }
                });

        //创建redis的配置
        FlinkJedisPoolConfig build = new FlinkJedisPoolConfig.Builder().setHost("127.0.0.1").setPort(6379).build();

        //创建redissink
        RedisSink<Tuple2<String, String>> redisSink = new RedisSink<>(build, new MyRedisMapper());

        redis_wordsData.addSink(redisSink);

        env.execute("MyRedisSink");
    }

    public static class MyRedisMapper implements RedisMapper<Tuple2<String, String>> {
        /**
         * 表示从接收的数据中获取需要操作的redis key
         */
        @Override
        public String getKeyFromData(Tuple2<String, String> data) {
            return data.f0; //第一个元素
        }

        /**
         * 表示从接收的数据中获取需要操作的redis value
         */
        @Override
        public String getValueFromData(Tuple2<String, String> data) {
            return data.f1; //第二个元素
        }

        @Override
        public RedisCommandDescription getCommandDescription() {
            return new RedisCommandDescription(RedisCommand.LPUSH);
        }
    }
}

通过nc命令模拟发送数据：

控制台打印的信息：

socket发送过来的数据： aa
socket发送过来的数据： bb
socket发送过来的数据： cc
socket发送过来的数据： dd
socket发送过来的数据： 11
socket发送过来的数据： 22

在Redis中查看socket发送过来的数据：

标签：Flink,读取数据,flink,redis,sink,org,apache,import,socket
来源： https://www.cnblogs.com/linjiqin/p/12570816.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。