Hadoop develop

博学笃志,切问近思,此八字,是收放心的工夫。 神闲气静,智深勇沉,此八字,是干大事的本领。

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::
上一页 1 ··· 15 16 17 18 19

2013年3月18日

摘要: 银行核心业务系统是支付系统,包括大小额支付、票交系统、网银系统和银联卡支付系统等。这些系统的共同特点是需要接入中国人民银行的业务系统,需要按照人民银行的业务规范、报文规范、文件传输规范和通讯规范等,基于这类项目的共同点的分析,这类项目开发需要关注的重点往往与传统项目有一些出入,主要包括以下几个方面:(1)关注业务流程(2)关注通讯接口(3)关注报文接口(4)关注文件接口(5)关注数据库表设计 阅读全文
posted @ 2013-03-18 16:21 张子良 阅读(715) 评论(0) 推荐(0) 编辑

2013年3月14日

摘要: 汉字字符的编码为双字节,对于汉字字符和单字节字符混排的情况,如果目标截取的字符串内只包含奇数个单字节字符,则会出现半个汉字字符的问题,本文就该问题提供了实例代码。 阅读全文
posted @ 2013-03-14 13:16 张子良 阅读(2411) 评论(5) 推荐(2) 编辑

2013年3月8日

摘要: 基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化 阅读全文
posted @ 2013-03-08 15:57 张子良 阅读(2352) 评论(0) 推荐(1) 编辑

2013年3月7日

摘要: 云盘系统客户端HDFS文件安全保障主要涉及用户对HDFS文件服务集群的安全访问问题,包括某一个注册用户只能访问属于该用户的空间和某一个用户只能在HDFS空间上访问指定大小的空间两个问题。这里面是涉及一个用户管理和空间管理的问题,在此不作详细介绍。针对问题一,我们可以通过改造现有HadoopThriftServer或者新增服务机制来解决,即客户端登陆时,返回HDFS上该用户的允许访问路径,用户操作过程中进行访问路径检测,非授权路径自动过滤,不允许访问。针对第二个问题,提供用户注册机制,服务端根据用户注册的权属组,调用FSadmin设置用户文件夹的授权打小。 阅读全文
posted @ 2013-03-07 12:47 张子良 阅读(3068) 评论(0) 推荐(2) 编辑

摘要: 基于Hadoop的云盘系统客户端技术难点-上传和下载效率优化 阅读全文
posted @ 2013-03-07 09:41 张子良 阅读(3415) 评论(4) 推荐(0) 编辑

2013年3月6日

摘要: Hadoop1.0版本已经提供了对Web方式访问的全面支持,包括读写和文件管理,用户可以使用curl模拟Http消息进行测试,下面是WebHDFS提供的操作列表功能清单:HTTP GET• OPEN (see FileSystem.open)• GETFILESTATUS (see FileSystem.getFileStatus)• LISTSTATUS (see FileSystem.listStatus)• GETCONTENTSUMMARY (see FileSystem.getContentSummary)• GETFILECHECKSUM (see FileSystem.getFi 阅读全文
posted @ 2013-03-06 15:09 张子良 阅读(1783) 评论(0) 推荐(0) 编辑

摘要: Hadoop提供的客户端开发接口包括Fuse、libhdfs、Java、thrift、webhdfs等。这几种接口中,Fuse是挂载式,适合在Linux/Unix类本地管理hadoop文件,从HDFS提供的Shell管理脚本对比的角度来看,使用意义不大;libhdfs适用于Linux/Unix服务端访问HDFS存储空间,不能应用于Windows桌面终端软件的开发;Java接口,由于Java虚拟机的限制,制作的桌面软件以来域Java的JDK,需要安装配置JDK相关环境变量,不符合Windows桌面程序常用习惯;Thrift是一个不错选择,其原理是代理模式,在Hadoop服务器端启动ThriftServer支持,在客户端通过客户端库访问ThrfitServer从而实现对hdfs分布式文件存储系统的访问,这是一个不错的选择,作为开发者也可以自行扩展ThriftServer的功能;最后还有一种选择就是自行开发服务端代理,在服务器端通过libhdfs或者Java API进行开发,条件是你必须十分熟悉HDFS系统接口和技术框架体系。 阅读全文
posted @ 2013-03-06 14:52 张子良 阅读(1159) 评论(0) 推荐(0) 编辑

2013年2月21日

摘要: 本文讲述了一个完整的,JDK7多核并行计算框架Fork/Join开发实例。 阅读全文
posted @ 2013-02-21 17:50 张子良 阅读(586) 评论(0) 推荐(0) 编辑

摘要: 本文是JDK7中Java多核并行计算框架Fork/Join官方介绍文章,为保持原作真实,原文奉上。 fork/join框架是一个“多核友好的、轻量级并行框架 ”,它支持并行编程风格,将问题递归拆分成多个更小片断,以并行和调配的方式解决。Fork-join融合了分而治之技术;获取问题后,递归地将它分成多个子问题,直到每个子问题都足够小,以至于可以高效地串行地解决它们。递归的过程将会把问题分成两个或者多个子问题,然后把这些问题放入队列中等待处理(fork步骤),接下来等待所有子问题的结果(join步骤),把多个结果合并到一起。 阅读全文
posted @ 2013-02-21 15:05 张子良 阅读(499) 评论(0) 推荐(0) 编辑

上一页 1 ··· 15 16 17 18 19