解决MapReduce中Reduce迭代器只能使用一次的问题

导读:本篇文章讲解 解决MapReduce中Reduce迭代器只能使用一次的问题,希望对大家有帮助,欢迎收藏,转发!站点地址:www.bmabk.com

在MapReduce编程中发现Reduce中的迭代器貌似只能使用一次,第二次使用迭代出的数据即为空,很烦恼。其实解决方法很简单:在第一次迭代中就把要迭代的数据保存到一个容器中(例如保存到一个链表中),以后遍历容器(链表),就可以实现在Reduce中多次遍历。
上代码:

Reducer<Text, Text, Text, IntWritable> {
        public void reduce(Text key, Iterable<Text> values,

        Context context) throws IOException, InterruptedException {
           String  ss=key.toString();
            if("score".equals(ss))
            {
            int sum = 0;
            int count = 0;
            int min    =    150   ;  
            int max    =    0   ;
            int score  =    0   ;
            String name1 =   " ";
            String name2 =   " ";
            List<String> cache =new ArrayList<String>();

            for (Text val : values) {
                cache.add(val.toString());
                String[] valTokens = val.toString().split(SPACE);
                score = Integer.parseInt(valTokens[1]);
                if (score > max) {

                     max  = score;
                }
                if (score < min)
                {
                    min   =score;
                }
                sum+=score;
                count++;
            }

新定义一个链表–cache,在第一次对values迭代的时候,把每个元素添加到List中,这样若想再遍历整个values,就可遍历List实现。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

文章由极客之家整理,本文链接:https://www.bmabk.com/index.php/post/10421.html

(0)
小半的头像小半

相关推荐

极客之家——专业性很强的中文编程技术网站,欢迎收藏到浏览器,订阅我们!