标签：indexRange index int Partitoner Hadoop param noOfReducers 讲解 reducers

package hadoop;

/**
 * @ClassName HadoopUtils
 * @Description Hadoop中的Partitioner类的讲解说明
 * @Author Administrator
 * @Date 2019/7/10 10:36
 * @Version 1.0
 **/
public class HadoopUtils {

    /**
     * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
     * @param month 月份
     * @param dayOfWeek 一周中的哪天
     * @param indexRange 索引的范围
     * @param noOfReducers reducers的数量
     */
    public static int getPartition(int month, int dayOfWeek, int indexRange, int noOfReducers) {
        int indicesPerReducer = (int) Math.floor(indexRange / noOfReducers);//Math.floor(11.5)=11
        int index = (month - 1) * 7 + (7 - dayOfWeek);

        /**
         * 索引的范围小于reducers的数量
         */
        if (indexRange < noOfReducers) {
            return index;
        }

        /**
         * 计算当前月份+星期得到的索引应该分配到哪个reducers节点上
         */
        for (int i = 0; i < noOfReducers; i++) {
            int minValForPartitionInclusive = (i) * indicesPerReducer;
            int maxValForPartitionExclusive = (i + 1) * indicesPerReducer;
            if (index >= minValForPartitionInclusive && index < maxValForPartitionExclusive) {
                return i;
            }
        }
    }
}

标签：indexRange,index,int,Partitoner,Hadoop,param,noOfReducers,讲解,reducers
来源： https://www.cnblogs.com/wylwyl/p/11162408.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。