在MapReduce编程中发现Reduce中的迭代器貌似只能使用一次,第二次使用迭代出的数据即为空,很烦恼。其实解决方法很简单:在第一次迭代中就把要迭代的数据保存到一个容器中(例如保存到一个链表中),以后遍历容器(链表),就可以实现在Reduce中多次遍历。
上代码:
Reducer<Text, Text, Text, IntWritable> {
public void reduce(Text key, Iterable<Text> values,
Context context) throws IOException, InterruptedException {
String ss=key.toString();
if("score".equals(ss))
{
int sum = 0;
int count = 0;
int min = 150 ;
int max = 0 ;
int score = 0 ;
String name1 = " ";
String name2 = " ";
List<String> cache =new ArrayList<String>();
for (Text val : values) {
cache.add(val.toString());
String[] valTokens = val.toString().split(SPACE);
score = Integer.parseInt(valTokens[1]);
if (score > max) {
max = score;
}
if (score < min)
{
min =score;
}
sum+=score;
count++;
}
新定义一个链表–cache,在第一次对values迭代的时候,把每个元素添加到List中,这样若想再遍历整个values,就可遍历List实现。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
文章由极客之家整理,本文链接:https://www.bmabk.com/index.php/post/10421.html