HDFS的Java API的访问方式实例代码
本文研究的主要是HDFS的JavaAPI的访问方式，具体代码如下所示，有详细注释。
最近的节奏有点儿快，等有空的时候把这个封装一下
实现代码
要导入的包：
importjava.io.IOException; importjava.net.URI; importjava.net.URISyntaxException; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.BlockLocation; importorg.apache.hadoop.fs.FileStatus; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.FileUtil; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.hdfs.DistributedFileSystem; importorg.apache.hadoop.hdfs.protocol.DatanodeInfo;
实体方法：
/**
*获取HDFS文件系统
*@return
*@throwsIOException
*@throwsURISyntaxException
*/
publicstaticFileSystemgetFileSystem()throwsIOException,URISyntaxException{
//readconfigfile
Configurationconf=newConfiguration();
//返回默认文件系统
//如果在Hadoop集群下运行，使用此种方法可以直接获取默认文件系统
//FileSystemfs=FileSystem.get(conf);
//指定的文件系统地址
URIuri=newURI("hdfs://hy:9000");
//返回指定的文件系统
//如果在本地测试，需要使用此种方法获取文件系统
FileSystemfs=FileSystem.get(uri,conf);
returnfs;
}
/**
*创建文件目录
*@throwsException
*/
publicstaticvoidmkdir()throwsException{
//获取文件系统
FileSystemfs=getFileSystem();
//创建文件目录
fs.mkdirs(newPath("hdfs://hy:9000/hy/weibo"));
//释放资源
fs.close();
}
/**
*删除文件或者文件目录
*@throwsException
*/
publicstaticvoidrmdir()throwsException{
//获取文件系统
FileSystemfs=getFileSystem();
//删除文件或者文件目录
fs.delete(newPath("hdfs://hy:9000/hy/weibo"),true);
//释放资源
fs.close();
}
/**
*获取目录下所有文件
*@throwsException
*/
publicstaticvoidlistAllFile()throwsException{
//获取文件系统
FileSystemfs=getFileSystem();
//列出目录内容
FileStatus[]status=fs.listStatus(newPath("hdfs://hy:9000/hy/"));
//获取目录下所有文件路径
Path[]listedPaths=FileUtil.stat2Paths(status);
//循环读取每个文件
for(Pathpath:listedPaths){
System.out.println(path);
}
//释放资源
fs.close();
}
/**
*将文件上传至HDFS
*@throwsException
*/
publicstaticvoidcopyToHDFS()throwsException{
//获取文件对象
FileSystemfs=getFileSystem();
//源文件路径是Linux下的路径PathsrcPath=newPath("/home/hadoop/temp.jar");
//如果需要在windows下测试，需要改为Windows下的路径，比如E://temp.jar
PathsrcPath=newPath("E://temp.jar");
//目的路径
PathdstPath=newPath("hdfs://hy:9000/hy/weibo");
//实现文件上传
fs.copyFromLocalFile(srcPath,dstPath);
//释放资源
fs.close();
}
/**
*从HDFS上下载文件
*@throwsException
*/
publicstaticvoidgetFile()throwsException{
//获得文件系统
FileSystemfs=getFileSystem();
//源文件路径
PathsrcPath=newPath("hdfs://hy:9000/hy/weibo/temp.jar");
//目的路径，默认是Linux下的
//如果在Windows下测试，需要改为Windows下的路径，如C://User/andy/Desktop/
PathdstPath=newPath("D://");
//下载HDFS上的文件
fs.copyToLocalFile(srcPath,dstPath);
//释放资源
fs.close();
}
/**
*获取HDFS集群点的信息
*@throwsException
*/
publicstaticvoidgetHDFSNodes()throwsException{
//获取文件系统
FileSystemfs=getFileSystem();
//获取分布式文件系统
DistributedFileSystemhdfs=(DistributedFileSystem)fs;
//获取所有节点
DatanodeInfo[]dataNodeStats=hdfs.getDataNodeStats();
//循环比遍历
for(inti=0;i
总结
以上就是本文关于HDFS的JavaAPI的访问方式实例代码的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！