标签：province String val sparkcore rdd 访问量 省份

• 题目：

/**
 * 统计每个省份的用户访问量，最终要求将不同省份用户访问量存放到不同的分区中 分区存放规则如下
 * 省份是以包含  山    0
 * 如果省份包含  海    1
 * 其他省份           2
 */

• 代码：

package sparkcorerddexample

import org.apache.spark.rdd.RDD
import org.apache.spark.{Partitioner, SparkConf, SparkContext}
/**
 * 统计每个省份的用户访问量，最终要求将不同省份用户访问量存放到不同的分区中 分区存放规则如下
 * 省份是以包含  山    0
 * 如果省份包含  海    1
 * 其他省份           2
 */
object A4ProvinceVisit {
  def main(args: Array[String]): Unit = {
    val sparkConf:SparkConf = new SparkConf().setAppName("demo02").setMaster("local[3]")
    val sc:SparkContext = new SparkContext(sparkConf)

    val value: RDD[String] = sc.textFile("hdfs://node1:9000/dc")
    val map = value.map((line: String) => {
      val array = line.split(" ")
      val province: String = array(array.length - 4)
      (province, 1L)
    })
    val rdd = map.reduceByKey(new ProvincePartitioner(), _ + _)
    println(rdd.getNumPartitions)
    rdd.saveAsTextFile("hdfs://node1:9000/province")
  }
}

class ProvincePartitioner extends Partitioner {
  override def numPartitions: Int = 3

  override def getPartition(key: Any): Int = {
    val province = key.toString
    if (province.contains("山")) {
      0
    } else if (province.contains("海")) {
      1
    } else {
      2
    }
  }
}

标签：province,String,val,sparkcore,rdd,访问量,省份
来源： https://www.cnblogs.com/jsqup/p/16630309.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。