上一页 1 ··· 51 52 53 54 55 56 57 58 59 ··· 119 下一页

2013年12月27日

BI过程简述

摘要: BI流程: 需求分析->维度设计->查询service->ETL倒数据->CDC监听数据库 需求分析:首先确定好的数据来源(多个数据库+excel文件+日志+...),需要的数据查询项(measure值) 维度设计: 分析维度出发点,几个w:who ,where,when,wha... 阅读全文

posted @ 2013-12-27 19:33 代码王子 阅读(176) 评论(0) 推荐(0)

kettle控件 add a checksum

摘要: This step calculates checksums for one or more fields in the input stream and adds this to the output as a new field. 为数据流输入的列计算校验码,并将输出作为新的一列。 wi... 阅读全文

posted @ 2013-12-27 17:10 代码王子 阅读(965) 评论(0) 推荐(0)

2013年12月26日

navicat为mysql建立索引

摘要: 索引的目的是大大提高查询效率,还有读写效率。 kettle向sql里面插入,更新时,也要建立索引,可以大大提升处理时间。 但是建立索引报错:Specified key was too long; max key length is 1000 bytes 这是mysql中,索引字段的类型设置的总... 阅读全文

posted @ 2013-12-26 14:01 代码王子 阅读(1054) 评论(0) 推荐(0)

红黑树

摘要: 红黑树是一种自平衡二叉查找树,在O(log n)时间内做查找,插入和删除等操作。统计性能优化于平衡二叉树(AVL树)。 红黑两色保证树的高度近似平衡, 节点是五元组:color(颜色),key(数据),left(左孩子),right(右孩子)和p(父节点)。 颜色是红或者黑。 根和叶子必须是... 阅读全文

posted @ 2013-12-26 11:24 代码王子 阅读(107) 评论(0) 推荐(0)

2013年12月24日

schema workbench的操作

摘要: 1.schema workbench连不上sql,如下: 看不懂,这是驱动的问题,你只要使用最新的驱动,mysql-connector-java-5.1.13-bin.jar 将对应驱动放入schema workbench.bat文件所在目录中,drivers目录下,然后直接设置改为: ... 阅读全文

posted @ 2013-12-24 15:46 代码王子 阅读(242) 评论(0) 推荐(0)

sql记录查询重复注意事项(经验提升),in的用法和效率

摘要: sql查询重复记录,使用: select * from dimappnamenew as appn where id in ( select id from dimappnamenew group by packagename,storename,app_name having cou... 阅读全文

posted @ 2013-12-24 15:25 代码王子 阅读(304) 评论(0) 推荐(0)

sql表别名

摘要: sql表别名的用法:as http://www.w3school.com.cn/sql/sql_alias.asp select * from kettleoutputtable a where a.os =2 and storename = 'anzhi' 和 select * fro... 阅读全文

posted @ 2013-12-24 14:02 代码王子 阅读(591) 评论(0) 推荐(0)

sql记录去重(SQL查询或者删除表中重复记录)

摘要: 1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select*from people where peopleIdin (select peopleIdfrom peoplegroupby peopleIdhaving count(peopleId)>1) ... 阅读全文

posted @ 2013-12-24 13:48 代码王子 阅读(1486) 评论(0) 推荐(0)

2013年12月20日

kettle 的表输出 table output

摘要: kettle的表输出: 双击后,看设置, 1,在connecttion后面,点击new里新建一个。设定各个选项值,如选择mysql类型,则配置hostname,database name,端口, 用户名,密码,一般java里用jdbc连接。 2,然后,可以设定是否truncate table。注... 阅读全文

posted @ 2013-12-20 16:53 代码王子 阅读(1513) 评论(0) 推荐(0)

2013年12月19日

kettle内存溢出

摘要: ETL工具kettle,在老版设计后,使用新版时,居然发生了内存溢出的错误: 出现: java heap 或者 OutOfMemory等字样 这是kettle分配的内存不足。 在kettle的运行路径中,用文本编辑器打开Spoon.bat,找到: REM ***************... 阅读全文

posted @ 2013-12-19 20:11 代码王子 阅读(466) 评论(0) 推荐(0)

上一页 1 ··· 51 52 53 54 55 56 57 58 59 ··· 119 下一页

导航