标签：Exception pv String Tuple2 Override new public

pv定义

衡量网站用户访问的网页的数量，PV与来访者的数量成正比，但是PV并不直接决定页面的正式来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的PV。

实现代码

public class TestPV {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setMaster("local").setAppName("transformation");
        JavaSparkContext jsc = new JavaSparkContext(conf);

        JavaRDD<String> lineRDD = jsc.textFile("data/pvuvdata.txt");

        lineRDD.flatMap(new FlatMapFunction<String, Tuple2<String, String>>() {
            @Override
            public Iterator<Tuple2<String, String>> call(String s) throws Exception {
                String[] str = s.split(" ");
                Tuple2<String, String> tuple2= new Tuple2<String, String>(str[5], str[0]);
                List<Tuple2<String, String>> list = new ArrayList<>();
                list.add(tuple2);
                return list.iterator();
            }
        }).mapToPair(new PairFunction<Tuple2<String, String>, String, Integer>() {
            @Override
            public Tuple2<String, Integer> call(Tuple2<String, String> tuple2) throws Exception {
                Tuple2<String, Integer> tuple = new Tuple2<String, Integer>(tuple2._1, 1);
                return tuple;
            }
        }).reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer+integer2;
            }
        }).foreach(new VoidFunction<Tuple2<String, Integer>>() {
            @Override
            public void call(Tuple2<String, Integer> stringIntegerTuple2) throws Exception {
                System.out.println(stringIntegerTuple2);
            }
        });

        jsc.stop();
    }
}

标签：Exception,pv,String,Tuple2,Override,new,public
来源： https://www.cnblogs.com/jsqup/p/16388612.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。