harrychinese

摘要： 我一直是powerdesigner的fan, 设计的事情它都能处理(ER[CDM/LDM/PDM], UML, Flowchart), 不过它的价格挺贵的. 下面介绍几个免费的软件, 可以代替powerdesigner/visio等商业软件.1. flowchart diagram(yEd是首选) 阅读全文

摘要： how to unload oracle data into fixed length text file1. sqluldr2This tool developed by one Chinese Oracle guru. At a glance, this tool is suited for my need exactly.http://www.dbatools.net http://www.dbatools.net/mytools/parallel-inside-sqluldr2.html**tricks and issues: trick 1: choose space(0x20) a 阅读全文

摘要： Eclipse的设置用惯了Visual Studio, 切换到Eclipse有很多不习惯的地方. 总结了几点, 以免忘记后重复摸索. 本文是基于Eclipse 3.1.0, 可能不适用于更新的Eclipse版本.强烈推荐下面2个Eclipse教程:http://www.javahotchocolate.com/tutorials/use-eclipse.htmlhttp://www3.ntu.edu.sg/home/ehchua/programming/howto/EclipseJava_HowTo.html如何理解Eclipse的workspace和project呢? Eclipse 的wo 阅读全文

摘要： 是时候该总结一下这2年的工作了, 这篇是我常用的Oracle知识点汇总, 很多都是从网上收集的. ---====================================--sqlplus 的使用---====================================--当用sqlplus执行大量的insert语句是,如果sqlplus回写的话, 速度会很慢, 关闭回写,速度会快很多set feed offset echo off--当用sqlplus的spool命令, 输出csv格式的报告, 需要配置sqlplus的设置项, 否则格式会很难看的. set pages 0;set 阅读全文

摘要： Dastage job 设计的几个 tip ================== ds job运行报错 ================== error code 139, 表结构不对 error code 134, 数据源无法访问 运行时如报 Rows not loaded due to data errors: 51, 很可能会ds job字符设置有问题, 需要调整NLS. ================== ds8 job锁定 ================== ds8经常出现某个job被某个session锁住的情况, 该如何处理这个问题呢? the job is locked by 阅读全文

摘要： Oracle OLAP的历史 Oracle OLAP的历史可谓悠久. Oracle在1995年从IRI手上买下Express产品时, Express已经是一个很强大的多维数据分析工具包了. Express被收购之后, 被命名为Oracle Express, 刚开始Oracle Express是一个独立的软件包, Oracle 9i开始作为OLAP Option集成在Oracle数据库内, 随着Oracle 10g/11g的发布, OLAP option更加成熟, 尤其是Oracle 11g. 如何创建和维护 Oracle OLAP cube 1. Analytic Workspace Mana 阅读全文

摘要： 朋友电话要我推荐一个Windows下的DWBI产品线, 强调要容易上手. 给他写了点东西, 同步放在博客上了. 目前只有4家公司, 能提供端到端的DWBI方案(包括database, ETL, Reporting, Data mining), 分别是Oracle, 微软, IBM和SAP. 如果在Windows环境下, 那自然首推微软了, 特点是: 容易开发, 维护简单, 总体拥有成本比较低. 另外, 微软还有别的公司不具备的武器, 就是Excel, 可以使用Excel来获取SQL Server Analysis Service的分析数据, 这直接拉近了BI和业务人员的距离. 当然, 也可以组 阅读全文

摘要： 前几天有朋友咨询在数据仓库Stage或ODS层该如何保存历史数据, 他的这个问题其实很普遍, 所以写了点东西放在博客上. 一般数据仓库项目中, Stage或ODS层要保留几天或几个月的源表数据. 保留历史业务数据是很必要的, 有时候需要DWH重跑某一天的数据, 这种情况下, 无法从前端OLTP系统取的当时的数据. 在比如, 需要DWH在一天内要回跑多天batch, 这在项目刚上线时经常碰到. 至于是在Stage层还是ODS层保留历史数据, 我一般推荐是在Stage层保留历史, 让ODS只保留当天的快照数据. 因为Stage保留的是最原始的数据. 那如何保留一个表(比如TA表)的历史数据呢? 我 阅读全文

摘要： 前面我写了个博客记录如何去重一个oracle表(link), 主要是利用了oracle的rowid伪列和row_number()分析函数. 有读者写邮件问, 如何去重一个SQL Server表, 场景和前面文章一样, 即: 有部分字段有重复值, 表结构中没有一个能唯一定位的ID列, 也不允许修改表结构. 下面我给了个基本的思路. --步骤0, 根据原表table_a, 创建一个临时表table_a_temp, 仅仅增加了一个自增列row_id, 原因是SQL Server没有类似Oracle的rowid伪列, 我们就自己造一个. --假设原表的结果为: create table table_a 阅读全文

摘要： 前几天, 有人要我列几个DWBI项目成功关键因素? 老实讲, 这个问题以前没有特别想, 因为我觉得很清楚. 现在回头想想, 我当时讲的不是很系统. 一点体会: 有时候认为自己已经对一个东西很懂, 没有必要再花时间在这个上面, 其实所谓很懂, 也就是脑袋里有一些孤立的点. 看来还是需要落实到文字, 写的过程也是一个梳理的过程. 下面列了几个成功关键点, 排列次序不代表重要度, 做DWBI的都应该清楚, 每一点都很重要, 如果有一个没有做好, 项目就可能失败. 1. 项目的目标和范围要清晰, 同时要有严格的Change Request控制, 防止需求膨胀. 2. 项目团队密切协作, PM+架构师+ 阅读全文

摘要： 如何去重一个oracle表, 这是数据仓库中经常要碰到的问题, 多数ETL工具都提供这样的功能, 如果要求用一条SQL, 该如何写呢? 如果是完全重复的记录，即所有字段均重复的记录, 去重很简单, distinct一下就行了; 如果是有部分字段重复(一个或多个关键字段)的记录, 去重会复杂些. 假设表table_a中, 包含重复的PK值, (正常情况下, PK应该是没有重复的), 同时假设该表又没有合适的唯一的字段 create table table_a (pk int, other_field varchar2(10)); 因为PK有重复, 所以删除多余记录不能仅仅依靠PK来区分, 可依靠 阅读全文

摘要： 在OLAP这块, 有Oracle OLAP Option和Hyperion Essbase. 很多专门搞DWBI的人, 也搞不清楚这两者有哪些区别, 各自的特点和定位是什么? 今天找到一个非常全面的presentation, Oracle OLAP Option VS Oracle Essbase Dan Vlamis (Vlamis Software Solutions) http://www.vlamis.com/Papers/collab2008-presentation2.pdf 简单讲, Essbase销售的对象是LoB(Line of business), 而Oracle Olap 阅读全文

摘要： 整理了一份BI开源软件清单.BI Suit:Pentaho, 介绍见http://baike.baidu.com/view/1545333.htmSpagoBI, 介绍见http://baike.baidu.com/view/1545333.htmJaspersoft, Openi, ETL, OLAP和Report工具可以从上述BI suit中挑出来, 下面仅仅列几个没有包含在上述suit中的数据挖掘组件 数据挖掘：Knime：http://www.knime.org/Orange：http://orange.biolab.si/, 特点: 可使用python来控制, R语言, http:/ 阅读全文

摘要： 前面我写了一个文章, 作业调度系统的构思, 链接为http://www.cnblogs.com/harrychinese/archive/2011/02/11/One_Batch_Scheduling_System_Design.html , 这篇讲一下几个关键点的技术选择. 1. 跨OS/跨平台的互操作性, 可以采用ssh方式, 可以借鉴fabric的ssh部分 2. 关于cluster failover, Java有Quartz(.Net有Quartz.Net)可以使用, 但python好像没有很好的框架, 在下面的链接中, http://stackoverflow.com/questio 阅读全文

摘要： 近来有换工作的想法了, 定位是数据仓库架构师, 因为最近几年一直做相关工作, 同时也看好数据仓库的前景. 在51job.com搜了一下数据仓库架构师, 开放的职位并不多, 放大了搜索范围, 搜索了数据库架构师和BI架构师. 结果是多了不少.下面我谈谈我对数据仓库架构师, 数据库架构师, 以及BI架构师的职责的理解.数据仓库架构师, 往往要做数据建模, 主要是面向数据仓库领域, 另外还要考虑ETL, 调度平台建设, 数据仓库的运维架构, 所以他需要具备4方面的知识和能力: 数据架构、ETL、数据库平台以及infrastructure知识。数据库架构师, 可以分为两类, 一类为开发类, 另一类为维 阅读全文

摘要： 曾经构思过一个数据库的版本控制软件, 花了好几天时间, 做出一个prototype, 自个兴奋了好几天. 但考虑到工作量实在太大, 同时red gate公司已经放出了SQL Source Control的early access版本, 所以放弃继续深入研究. 不过我得出了一个结论: 各个主流数据库服务器差异太大, 实现一个能很好管理多种数据库的版本控制工具不大可行, 面向特定数据库的工具应该更靠谱一些. 今天在下面的博客中, 看到有好几款开源的项目, 开源社区真有活雷锋啊. 我还没有来得及评估, 不知道这些工具的可用性到底如何? 也不知道它们能否和主流的版本控制系统兼容, 比如svn, cvs 阅读全文

摘要： Firefox的CPU占用真的不管恭维, 经常无响应, 甚至拖累操作系统整体的流畅性, 下面是我用到的一些调优手段, 太累心了, 直接换Chrome吧. 1. 在设置页面中, 做如下设置: 启用:硬件加速 禁用:输入拼写检查 Firefox更新策略: 不要选择自动检查/更新版本. 2. 使用flas 阅读全文

摘要： Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive 随谈（三）– Hive 和数据库的异同http://www.tbdata.org/archives/551Hadoop Ecosystem解决方案---数据仓库http://www.cnblogs.com/OnlyXP/archive/2009/10/14/1583450.htmlhadoop+hive 做数据仓库 & 一些测试http://hi.baid 阅读全文

摘要： TeraData, 当仁不让的霸主TeraData已经在这个领域纵横好多年了, 你从Tera这个词就能看出这点. 如果是新兵的话, 名字肯定不会是Tera, 这年头还叫Tera, 那也太没有发展的眼光了. 在国内, 多为不差钱的公司采用, 比如银行什么的. 数据仓库流图, OLTP-->ETL-->TeraData-->BI优点: (1)生态环境已经营造的很好了, 无论ETL工具还是BI工具都很好地支持. (2) 开箱即用, 甚至将硬件也打包在一起, 省事. (3)成功案例比较多缺点: (2)巨贵Greenplum, 新锐, 2010年被EMC收购, 算是嫁入豪门了(据传Or 阅读全文

摘要： 在我blogspot博客上有一篇更详细的文章, 这里仅仅记录一下如何配置web proxy. 软件下载: 1. microemulator 2.0.4 released, 下载地址有:http://iweb.dl.sourceforge.net/project/microemulator/microemulator/2.0.4/microemulator-2.0.4.ziphttp://microemu.googlecode.com/files/microemulator-2.0.4.zip2. opera mini 国内版下载, google一下. web 代理配置在windows的%use 阅读全文

摘要： 最近在构思一个作业调度系统(Job scheduling system), 其实作业调度系统也不是什么新东西, 很多大学的超级计算中心和气象中心都有这种系统, 最典型的开源软件架构是Torque加Maui, 这两个软件都是由Cluster Resources Inc维护的开源软件, 在维基百科上列出了一堆软件(http://en.wikipedia.org/wiki/Category:Job_scheduling).我所考虑的是作业调度系统, 不是面向科学计算, 而是针对金融行业日结月结作业或者DW/BI系统的refresh, 这类作业调度系统和气象中心的作业调度系统有很大的不同. 具体不同之 阅读全文

摘要： AnyDbTest从最初的一个人的pet project, 发展到今天, 已经有一些公司在使用. 源码最初放在csie.org, 后来csie.org通知要关闭svn服务, 不得不转到sourceforge.net, 由于访问速度很慢, 所以我在春节前做出了一个艰难的决定, 将源码转到微软的codeplex.com上. 现在的主页为 http://anydbtest.codeplex.com. 还没有来的及在这个网站上更新tutorial文档, 不过源码差不多全了. 原来站点www.anydbtest.com算是功成身退了, 以后不打算维护了.原来计划, 在春节期间能继续完善AnyDbTest 阅读全文

摘要： 科学松鼠会(果壳网)python工程师的招聘 http://www.guokr.com/joinus/#job-9,高级Python开发工程师工作职责：应用twisted框架开发与维护后端数据平台；应用django开发网站前台系统；基于内存数据库开发高性能的数据中间层；为已经在使用的开源项目贡献代码。职位要求：熟练使用Python编程语言，有1年以上的Python全职工作经验；了解twisted框架，并独立编写过Socket服务器；熟练使用Django框架，了解url分派，form验证等功能；对TCP/IP网络有深入的了解。优先条件：掌上Linux爱好者：Maemo、OpenWRT；有网络劫持 阅读全文

摘要： 1. python class的继承python允许多根继承, 这点像C++, 但不像C++那样变态, 需区分公有继承/私有继承/保护继承, python只有一种继承方式。也许正因为支持多重继承, 因此python没有interface这个关键词.2. 给类起个别名在python中, class也是对象, 所以你可以像操作对象一样, 将class赋值给一个对象, 这样就相当于给class起了一个别名可以在代码中:ShortName = MyReallyBigClassNameWhichIHateToType或者在import时候,from modulename import ReallyLon 阅读全文

摘要： 开篇几个链接, 有很多的tips, 值得认真学习Python Tips, Tricks, and Hackshttp://www.siafoo.net/article/52Programming FAQhttp://docs.python.org/faq/programming下面是我整理的Python语言的几个特殊之处(多和c#相比)1. python的多行注释在很多语言中, /* */是多行注释的写法, 但在python中, 没有专门的多行注释写法, 如果要写多行注释, 推荐的写法是, 每行以#开头. 当然, 也可以使用docstrings来做多行注释, 但不推荐这个写法.2. pyth 阅读全文

摘要： 这又是一篇转载文章, 好文章!先给一个google推荐的规范http://google-styleguide.googlecode.com/svn/trunk/pyguide.html接着是Style Guide for Python Codehttp://www.python.org/dev/peps/pep-0008/啄木鸟上有中文翻译.http://wiki.woodpecker.org.cn/moin/PythonCodingRule最后是正文, 转载自http://blog.csdn.net/akara/archive/2010/08/09/5797974.aspx[注, 用中划线标 阅读全文

摘要： Python函数学习这一节还没有涉及到面向对象, 主要关注如何定义和使用python的函数. 下文以简单问答形式呈现. 1. 函数要有一个返回值, 该如何写? 这个很简单, return ret_value2. 函数要返回多个返回值, 该如何写? python处理这个也很简单, 格式可以为: return ret_value1,ret_value2 或者为 return (ret_value1,ret_value2) 这两种写法的效果是一样的, 都是返回一个tuple3. 如果一个函数没有return语句, 那么函数有没有返回值? 答案是, 有返回值, 返回值是一个特殊的None值.4. py 阅读全文

摘要： 由于工作关系, 需要管理datastage服务器(linux), 时不时又需要做些shell开发工作. 之前, 我主要是做windows下的开发, 对shell算是半吊子吧. shell的语法和一些命令总是记不住, 现用现查吧! 手上有本简明实用的教程, 对工作帮助很大! 推荐一本我刚发现的, 相当棒的一个presentation! 指出了我的几个知识盲点, 比如shell中单引号和双引号字符串的差别, 再比如算术操作的写法. 链接地址为:http://michael-yxf.appspot.com/files/cisc327-linuxshell.pdf 阅读全文

摘要： 总是在本末倒置! 学习python, 首先是学习语言本身, 学习其Web框架. 结果, 我花了如此多的时间, 在构建一个基于VIM的IDE. 有现成的, 为什么不用. eclipse+pydev下面的文章浪费了大量时间, 搜索到的, 放在这里, 做个纪念吧.Vim as Python IDE on windows(这个文章介绍配置python IDE, 给力)http://www.cnblogs.com/renrenqq/archive/2010/09/09/1813669.htmlhttp://www.cnblogs.com/xd502djj/archive/2010/09/16/18276 阅读全文

摘要： 现在ORM框架实在很多, Java就不说了, 单.Net这边, NHibernate如雷贯耳, 微软的EF也来势汹汹, 好像castle project也有一个activerecord. 说实在的, 这些框架我都仅仅是知道有这么个东西, 没有做深入的研究和实践. IBatis也是很早就知道了, 对这个框架的定位映象很深. 空闲时候, 研究研究看看能不能在下一个项目中用得上.夏昕的IBatis2 开发指南非常值得读, 可以帮助理解ibatis的机制. 下面是我google出的关于MyBatis for Net的资料.IBatis2 开发指南, 作者: Xiaxin(夏昕) http://wiki 阅读全文

摘要： 做了很多年软件, 从没完完整整看过GOF 23个模式, 甚至连名都数不上15个, 汗颜! 园里很多大牛都有关于设计模式的文章, 整理出了一份. 慢慢看吧, 没有时间表. 也许永远看不完. CallHot写的设计模式系列(正在不断更新中)http://www.cnblogs.com/hegezhou_hot/archive/2010/11/30/1891672.html研磨设计模式(已经出书)http://www.cnblogs.com/sjms/灵动生活的设计模式http://www.cnblogs.com/ywqu/archive/2010/03/15/1686015.htmlTerryLe 阅读全文

摘要： 经过2周的环境准备以及资料整理, 越来越喜欢 python 了. 原因有几个: 其一, python 的语言确实很酷, 这年头动态语言比较时髦嘛, 我也是爱时髦的其二, python 开发桌面程序很方便, 而且跨平台. 其三, 相对于ruby, python 发展时间比较长, 可供选择的开源的程序库非常多, 其四, 我想研究一个成熟的 web 框架, 那就选 Django 吧这是我的 Python 学习中的第一篇 blog, 学习一个新的东西, 关键是将基础打好, 规矩也很重要, 一个py文件推荐以下面代码开头, #! /usr/bin/env python# -*- coding: utf- 阅读全文

摘要： 书单和文章列表越来越长, 不由得问自己, 能看完吗? #-----------official tutorial------------官方的tutorial, 权威啊! 英文很流畅易懂, 不过有点多, 偶尔看看吧 http://docs.python.org/tutorial/#------------入门级blog article-------------闫小勇之从C#到Python系列 http://www.cnblogs.com/yanxy/archive/2010/02/22/ILovePython.html [沈崴原创][Python 技术培训] 第一周幻灯片 "Python 基础 阅读全文

摘要： Jamie Phillip探索编码招式和行为驱动开发, infoq 中文翻译成3个文章, 值得读. 现在还有抽出时间, 下周一定读完, 争取写点读后感什么的. 第一部分, 介绍了编码招式，http://www.infoq.com/cn/articles/BDD-Katas-1第二部分, 结合应用了行为驱动开发。 http://www.infoq.com/cn/articles/BDD-Katas-2第三部分, Visual Studio 2010项目模板向导 http://www.infoq.com/cn/articles/BDD-Katas-3 阅读全文

摘要： C#的开发, 首选工具自然是Visual Studio了, 你要不想花钱, Visual Studio Express 基本也够用了. 而Python的开发, 配置一个开发环境就是一个不小的问题, 首先要考虑功能, 再就是开发环境的流行程度, 以及工具背后的厂商是否强大. 我主要考察了几个工具, 最终, 为了省事, 选择了Aptana Studio 3 Beta. VIM: 网络上有大牛在使用VIM做Python的开发, 我甚至也花了很多时间来配置一个基于VIM的Python开发环境, 代码自动完成功能还行, 代码分析较弱, 重构就更谈不上了. 感觉最达不到开发一个大型项目的要求. 也许比较适 阅读全文

摘要： [注: 更新一个常要用到的, 但总是记不住的tip, 放在原文头部. ]忽略大小写搜索, 需要在字串后机上加上\c选项. 向下搜索是 /yourword\c , 向上搜索是?yourword\c如果要搜索的字符串中包含/或?, 需要使用\作为转义字串. 在搜索完后, n是重复搜索, N是反向重复搜索.最近在写一些linux shell脚本, 同时也打算研究点python, 所以收集了一些vim的资料, 现分享出来. 我在网络上找到的使用VIM的3大牛人http://www.gracecode.com/http://www.vimer.cn/ http://easwy.com/blog/---- 阅读全文

摘要： 为了方便国内用户使用AnyDbTest软件, 已将软件发布到codeplex网站了. http://anydbtest.codeplex.com/releases/注: AnyDbTest原网站http://www.anydbtest.com已经功成身退, 不再维护.欢迎大家使用, 期待大家的反馈! 此次更新的内容是: 增加了10个基本的assertion(详见下面列表). 这次更新是我今天起了个大早, 在上班前完成coding和程序打包工作(大概不到45分钟). 这主要得益于前段时间的refactor, 正所谓, 磨刀不误砍柴工. 写到这里, 我总忍不住想起另一个谚语, 工欲善其事, 必先利 阅读全文

摘要： 何为单元测试?如果你对单元测试还不太了解, 可以看看中文维基百科的词条 http://zh.wikipedia.org/zh-cn/%E5%8D%95%E5%85%83%E6%B5%8B%E8%AF%95何为数据库单元测试?如果你对数据库单元测试还不太了解, 可以看看下面英文网站 http://www.agiledata.org/essays/databaseTesting.html数据库单元测试的范围是什么?1.数据库中的所有程序, 这包括存储过程/存储函数, 视图等, 对于Oracle, 还有package这个概念. 2.数据库中的一些数据, 比如控制表, 数据字典表3.其他情形(这一点是 阅读全文

摘要： 软件做了好几年了, 编程语言也由Turbo C-->VB-->Delphi-->C#不断转换, 始终不变的一点是, 一直和数据库打交道, 推崇极限编程XP, 也尽力在项目中实践XP/TDD. 在以前的项目中, 用了一些业界流行的单元测试框架, 比如DUnit(for Delphi)和NUnit(for .NET). 但数据库上面的程序很多时候没有cover到. 尤其让专职的DB developer 编写stored procedure的单元测试代码, 他们压根没有听过. xUnit(JUnit/DUnit/NUnit)需要编Java/Delphi/.Net程序, 显然不适合他 阅读全文

摘要： 目前anydbtest(http://anydbtest.codeplex.com)的Feature有:1. 使用Xml编写测试用例, 不需要懂Java或其他编程语言.2. 不需要在Db Server端安装任何package或软件.3. 支持多种数据库 (目前支持Oracle/Sql Server/MySQL/Excel/PostgreSQL数据库, 将来会支持更多的数据库)4. 支持多种测试断言(Assertion), 比如两个记录集合相等, 两个记录集合严格相等, 一个是另一个的子集, 超集等5. 可以使用Excel作为测试用例的数据源. 这样你准备测试数据将非常容易6. 支持分布式数据库 阅读全文