摘要： BI流程： 需求分析->维度设计->查询service->ETL倒数据->CDC监听数据库 需求分析：首先确定好的数据来源（多个数据库+excel文件+日志+...），需要的数据查询项（measure值） 维度设计: 分析维度出发点，几个w:who ,where,when,wha... 阅读全文

摘要： This step calculates checksums for one or more fields in the input stream and adds this to the output as a new field. 为数据流输入的列计算校验码，并将输出作为新的一列。 wi... 阅读全文

摘要： 索引的目的是大大提高查询效率，还有读写效率。 kettle向sql里面插入，更新时，也要建立索引，可以大大提升处理时间。 但是建立索引报错：Specified key was too long; max key length is 1000 bytes 这是mysql中，索引字段的类型设置的总... 阅读全文

摘要： 红黑树是一种自平衡二叉查找树，在O(log n)时间内做查找，插入和删除等操作。统计性能优化于平衡二叉树（AVL树）。 红黑两色保证树的高度近似平衡， 节点是五元组：color（颜色），key（数据），left（左孩子），right（右孩子）和p（父节点）。 颜色是红或者黑。 根和叶子必须是... 阅读全文

摘要： 1.schema workbench连不上sql，如下： 看不懂，这是驱动的问题，你只要使用最新的驱动，mysql-connector-java-5.1.13-bin.jar 将对应驱动放入schema workbench.bat文件所在目录中，drivers目录下，然后直接设置改为： ... 阅读全文

摘要： sql查询重复记录，使用： select * from dimappnamenew as appn where id in ( select id from dimappnamenew group by packagename,storename,app_name having cou... 阅读全文

摘要： sql表别名的用法：as http://www.w3school.com.cn/sql/sql_alias.asp select * from kettleoutputtable a where a.os =2 and storename = 'anzhi' 和 select * fro... 阅读全文

摘要： 1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断 select*from people where peopleIdin (select peopleIdfrom peoplegroupby peopleIdhaving count(peopleId)>1) ... 阅读全文

摘要： kettle的表输出： 双击后，看设置， 1，在connecttion后面，点击new里新建一个。设定各个选项值，如选择mysql类型，则配置hostname，database name，端口， 用户名，密码，一般java里用jdbc连接。 2，然后，可以设定是否truncate table。注... 阅读全文

摘要： ETL工具kettle，在老版设计后，使用新版时，居然发生了内存溢出的错误： 出现： java heap 或者 OutOfMemory等字样 这是kettle分配的内存不足。 在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到: REM ***************... 阅读全文