当前位置:首页 > 服务端 > Hadoop 它们的定义Writable NullpointerException

Hadoop 它们的定义Writable NullpointerException

Hadoop周边环境:Hadoop2.4

定义中的Hadoop的Writable时间,有时你需要使用数组,而不是简单的单一值或串。例如,下面的代码:

package test;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class MyData implements WritableComparable<MyData>,Cloneable {
	private Logger log = LoggerFactory.getLogger(MyData.class);

	
	private float[] distance;
	
	public MyData(){// 空指针异常
		set(new float[6]);  // 凝视掉此行代码,在readFields会有空指针异常
	}
	

	public MyData(float[] distance) {
		set(distance);
	}
	public  void set(float[] distance) {
		this.distance=distance;
	}
	
	
	@Override
	public void readFields(DataInput arg0) throws IOException {
		for(int i=0;i<distance.length;i++){
			distance[i]=arg0.readFloat();
		}
	}
	@Override
	public void write(DataOutput arg0) throws IOException {
	
		for(int i=0;i<distance.length;i++){
			
			arg0.writeFloat(distance[i]);
		}
	}
	@Override
	public int compareTo(MyData o) {// 当前值小于o则返回负数
			
		float[] oDistance =o.distance;
		int cmp=0;
		for(int i=0;i<oDistance.length;i++){
			
			if(Math.abs(this.distance[i]-oDistance[i])<0.0000000001){
				continue; // 比較下一个
			}
			if(this.distance[i]<oDistance[i]){
				return -1;
			}else{
				return 1;
			}
		}
		
		return cmp;
	}
	
	
	@Override
	public int hashCode(){
		int hashCode =0;
		for(int i=0;i<distance.length;i++){
			
			hashCode=+Float.floatToIntBits(distance[i]);
		}
		return hashCode;
	}


	public float[] getDistance() {
		return distance;
	}

	public void setDistance(float[] distance) {
		this.distance = distance;
	}
	
}
能够看到其无參构造函数里面含有一个初始化的操作。这个初始化的操作限定了其矩阵distance的维度(代码中设置为6),可是一般这个值由外部设置才比較合适,可是在读取的时候,也就是readFields的时候是从这个无參构造函数进入的,这里没有办法设置參数,没有办法在外面初始化这个矩阵的大小,可是不设置又不行。有没有什么办法呢?在Mahout的一些代码中能够看到相似的代码。比方VectorWritable,从VectorWritable能够找到解决问题的答案。

先看看vectorWritable的一段代码:

 @Override
  public void readFields(DataInput in) throws IOException {
    int flags = in.readByte();
    int size = Varint.readUnsignedVarInt(in);
    readFields(in, (byte) flags, size);
  }


通过这段代码能够知道。不一定要通过外部传入。事实上能够从in中读取就可以。详细怎样做呢?定义一个数组distance的大小变量,比方为num。然后把num在write中写入,然后在readFields中先读出,然后再初始化数组distance,这样就不会有刚才的问题了。详细代码例如以下:

package test;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

import org.apache.hadoop.io.WritableComparable;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class MyData implements WritableComparable<MyData>,Cloneable {
	private Logger log = LoggerFactory.getLogger(MyData.class);

	
	private float[] distance;
	private int num;
	public MyData(){// 此处不再有空指针异常
	//	set(new float[6]);  // 凝视掉此行代码,在readFields不会有空指针异常
	}
	
	public MyData(float[] distance) {
		this.num=distance.length;
		set(distance);
	}
	public  void set(float[] distance) {
		this.distance=distance;
	}
	
	
	@Override
	public void readFields(DataInput arg0) throws IOException {
		num = arg0.readInt();
		distance = new float[num];
		for(int i=0;i<distance.length;i++){
			distance[i]=arg0.readFloat();
		}
	}
	@Override
	public void write(DataOutput arg0) throws IOException {
		arg0.writeInt(num);
		for(int i=0;i<distance.length;i++){
			
			arg0.writeFloat(distance[i]);
		}
	}
	@Override
	public int compareTo(MyData o) {// 当前值小于o则返回负数
			
		float[] oDistance =o.distance;
		int cmp=0;
		for(int i=0;i<oDistance.length;i++){
			
			if(Math.abs(this.distance[i]-oDistance[i])<0.0000000001){
				continue; // 比較下一个
			}
			if(this.distance[i]<oDistance[i]){
				return -1;
			}else{
				return 1;
			}
		}
		
		return cmp;
	}
	
	
	@Override
	public int hashCode(){
		int hashCode =0;
		for(int i=0;i<distance.length;i++){
			
			hashCode=+Float.floatToIntBits(distance[i]);
		}
		return hashCode;
	}


	public float[] getDistance() {
		return distance;
	}

	public void setDistance(float[] distance) {
		this.distance = distance;
	}
	
}

通过上面的改进,就不用操心 空指针的问题了。

分享。成长,快乐

转载请注明blog地址:http://blog.csdn.net/fansy1990





版权声明:本文博客原创文章,博客,未经同意,不得转载。

作者:blfshiye
来源链接:https://www.cnblogs.com/blfshiye/p/4719101.html

版权声明:
1、Java侠(https://www.javaxia.com)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。





本文链接:https://www.javaxia.com/server/124643.html

分享给朋友:

“Hadoop 它们的定义Writable NullpointerException” 的相关文章