12 2015 档案

集算器协助java处理多样性数据源之MongoDB
摘要:MongoDB不支持join,其官网上推荐的unity jdbc可以把数据取出来进行二次计算实现join运算,但这些join、group、函数、表达式等高级功能都是收费版才有,而且即使是收费版本,对子查询、窗口函数等复杂SQL运算仍不支持。其他免费的jdbc drive就只能支持最基本的SQL语句了... 阅读全文

posted @ 2015-12-25 17:44 hivehooker 阅读(492) 评论(0) 推荐(0)

集算器协助Java处理结构化文本之分组汇总
摘要:直接用Java实现文体文件分组汇总会有如下的麻烦:1、文件不是数据库,不能用SQL访问。当分组、汇总表达式变化时,只能改写代码。而要实现灵活表达式的话,需要自己实现动态表达式解析和求值,编程工作量非常大。2、遍历过程中记录分组结果,结果小了还可以存在内存中,如果分组结果太大时要将中间结果缓存进临时文... 阅读全文

posted @ 2015-12-22 09:55 hivehooker 阅读(569) 评论(0) 推荐(0)

集算器协助Java处理结构化文本之条件过滤
摘要:直接用Java实现文本文件中数据按条件过滤会有如下的麻烦:1、文件不是数据库,不能用SQL访问。当过滤条件变化时需要改写代码。如果要实现象SQL那样灵活的条件过滤,则需要自己实现动态表达式解析和求值,编程工作量非常大。2、文件太大时不能一次性装入内存处理,而采用逐步读入方式在考虑到性能时又会涉及到文... 阅读全文

posted @ 2015-12-18 09:14 hivehooker 阅读(489) 评论(0) 推荐(0)

集算器协助java处理结构化文本之导入数据库
摘要:直接用JAVA将结构化文本文件导入数据库时,需要手工拼凑SQL语句,还需要处理各种麻烦情况,比如:表中数据是否已经存在,是要update还是要insert,文件中是否包含字段,文件中的字段是否和表字段一致。使用集算器来辅助Java编程,这些问题都不需要自己写代码解决。下面我们通过例子来看一下具体作法... 阅读全文

posted @ 2015-12-15 11:11 hivehooker 阅读(372) 评论(0) 推荐(0)

集算器协助java处理结构化文本之数据读入
摘要:JAVA只提供了指定分割符等最基本的数据读入功能,而其他常见功能都需要自己从底层去实现,比如:按列名读入指定列、指定列的次序、指定数据类型、无分割符等等。JAVA实现这类功能虽然不难,但代码很繁琐,很容易出错。使用集算器来辅助Java编程,这些问题都不需要自己写代码解决。下面我们通过例子来看一下具体... 阅读全文

posted @ 2015-12-11 08:50 hivehooker 阅读(657) 评论(0) 推荐(0)

集算器协助java处理结构化文本之对齐连接
摘要:数据库有关联语句,可以方便地进行对齐连接运算,但有时数据是存储在文本文件中的,用JAVA直接计算需要写大量循环语句才能实现,代码繁琐且运行低效。使用集算器来辅助Java编程,可以方便高效地解决此类问题。下面我们通过例子来看一下具体作法。文本文件emp.txt存储着员工信息,EId等于1的员工不在该... 阅读全文

posted @ 2015-12-08 08:46 hivehooker 阅读(336) 评论(0) 推荐(0)

集算器协助java处理结构化文本的集合运算
摘要:JAVA不直接支持集合运算,因此要用嵌套循环才能实现文本文件之间的交集、并集、差集等集合运算,如果文件数量较多,或者文件较大而无法放入内存直接计算,再或者要按照多个字段进行集合运算,则相应的代码会更加复杂。集算器直接支持集合运算,可以协助JAVA轻松实现此类算法,下面我们通过例子来看一下具体作法。有... 阅读全文

posted @ 2015-12-04 08:47 hivehooker 阅读(264) 评论(0) 推荐(0)

集算器用作Java计算类库的应用结构
摘要:集算器封装了丰富的结构化文件计算函数,可读入格式复杂的文本,进行结构化文件计算,实现大文件游标计算,简化多线程并行计算。JAVA应用程序可以将集算器脚本文件当做数据库存储过程执行,传入参数并用JDBC获得返回结果。集算器与Java应用程序的集成结构如下:下面举例说明Java集成集算器的一般方法。文件... 阅读全文

posted @ 2015-12-02 09:32 hivehooker 阅读(598) 评论(0) 推荐(0)

导航