摘要: Druid是一个JDBC组件,它包括三部分: DruidDriver 代理Driver,能够提供基于Filter-Chain模式的插件体系。 DruidDataSource 高效可管理的数据库连接池。 SQLPa... 阅读全文
posted @ 2013-03-11 23:11 vtopqx 阅读(6) 评论(0) 推荐(0)
摘要: PL/SQL连接Oracle时出现 ORA-12514 TNS 监听程序当前无法识别连接描述符中请求的服务这个错误如下图所示:这个问题经常会遇到,往往出现的情况是:之前或者说早些天还好好的,一下子就连接不了;总结... 阅读全文
posted @ 2013-03-06 22:49 vtopqx 阅读(5) 评论(0) 推荐(0)
摘要: 文件系统是linux的一个十分基础的知识,同时也是学习linux的必备知识。 本文将站在一个较高的视图来了解linux的文件系统,主要包括了linux磁盘分区和目录、挂载基本原理、文件存储结构、软链接... 阅读全文
posted @ 2013-02-25 16:29 vtopqx 阅读(8) 评论(0) 推荐(0)
摘要: 弄了段时间hadoop的HDFS,用了些常用的HDFS文件操作,Java实现记录如下,以作Demo:/*** @Title: uploadLocalFileToHDFS* @Description: 单个本地文件... 阅读全文
posted @ 2013-02-25 12:07 vtopqx 阅读(8) 评论(0) 推荐(0)
摘要: linux 目录结构 /: 根目录,一般根目录下只存放目录,不要存放文件,/etc、/bin、/dev、/lib、/sbin应该和根目录放置在一个分区中/bin:/usr/bin: 可执行二进制文件的目录... 阅读全文
posted @ 2013-02-23 12:42 vtopqx 阅读(11) 评论(0) 推荐(0)
摘要: MapReduce 是现今一个非常流行的分布式计算框架,它被设计用于并行计算海量数据。第一个提出该技术框架的是Google 公司,而Google 的灵感则来自于函数式编程语言,如LISP,Sche... 阅读全文
posted @ 2013-02-22 11:49 vtopqx 阅读(11) 评论(0) 推荐(0)
摘要: l inux最早由Linus Benedict Torvalds在1991年开始编写。在这之前,RichardStallman创建了Free SoftwareFoundation(FSF)组织以及GNU项目,... 阅读全文
posted @ 2013-02-22 09:58 vtopqx 阅读(24) 评论(0) 推荐(0)
摘要: 在做HDFS多文件Join时通过监控job成功启动并且mapper执行完毕,但reduce总是不能执行完成,进度卡在66.66%。mapper输出是想要的格式,而且小规模输入数据测试时整个job能成功完成。在查看... 阅读全文
posted @ 2013-02-20 18:06 vtopqx 阅读(7) 评论(0) 推荐(0)
摘要: 最近在用Java做HDFS文件处理之时,遇到了多文件Join操作,其中包括:All Join以及常用的Left Join操作,下面是个简单的例子;采用两个表来做left join其中数据结构如下:A 文件:a|1... 阅读全文
posted @ 2013-02-18 23:21 vtopqx 阅读(8) 评论(0) 推荐(0)
摘要: 有关Hadoop多Job任务并行处理,经过测试,配置如下:首先做如下配置:1、修改mapred-site.xml添加调度器配置: mapred.jobtracker.taskScheduler org.apa... 阅读全文
posted @ 2013-02-18 22:55 vtopqx 阅读(14) 评论(0) 推荐(0)