Hadoop develop

摘要： Hadoop1.0版本已经提供了对Web方式访问的全面支持，包括读写和文件管理，用户可以使用curl模拟Http消息进行测试，下面是WebHDFS提供的操作列表功能清单：HTTP GET• OPEN (see FileSystem.open)• GETFILESTATUS (see FileSystem.getFileStatus)• LISTSTATUS (see FileSystem.listStatus)• GETCONTENTSUMMARY (see FileSystem.getContentSummary)• GETFILECHECKSUM (see FileSystem.getFi 阅读全文

摘要： Hadoop提供的客户端开发接口包括Fuse、libhdfs、Java、thrift、webhdfs等。这几种接口中，Fuse是挂载式，适合在Linux/Unix类本地管理hadoop文件，从HDFS提供的Shell管理脚本对比的角度来看，使用意义不大；libhdfs适用于Linux/Unix服务端访问HDFS存储空间，不能应用于Windows桌面终端软件的开发；Java接口，由于Java虚拟机的限制，制作的桌面软件以来域Java的JDK，需要安装配置JDK相关环境变量，不符合Windows桌面程序常用习惯；Thrift是一个不错选择，其原理是代理模式，在Hadoop服务器端启动ThriftServer支持，在客户端通过客户端库访问ThrfitServer从而实现对hdfs分布式文件存储系统的访问，这是一个不错的选择，作为开发者也可以自行扩展ThriftServer的功能；最后还有一种选择就是自行开发服务端代理，在服务器端通过libhdfs或者Java API进行开发，条件是你必须十分熟悉HDFS系统接口和技术框架体系。 阅读全文