zourui4271

博客园 首页 新随笔 联系 订阅 管理

12 2015 档案

软件开发的核心
摘要：「我们一直这样做开发，时间做久了，便忘了当初的本意。」 有关软件系统开发，我们谈些什么？ 我们谈过程，编码规范、开发流程、同行评审、结对编程、持续集成，从瀑布到敏捷再到极限编程。 我们谈架构，企业级、J2EE、容器化、SOA（面向服务架构）、Microservices（微服务化）。 我们谈规... 阅读全文
posted @ 2015-12-30 13:26 zourui4271 阅读(350) 评论(0) 推荐(0)

索引的本质
摘要：如有不正确的或者理解不到位的地方，欢迎斧正。信息检索问题首先我们来看问题域。每一种技术产物都是为解决某类问题。不从问题域出发，我们就很难理解为什么它是这样的。就像那些没学过“程序语言”设计的人，只能被程序语言牵着走。信息检索背后的模型其实很简单：就是从大量的信息中找出需要的信息。这类问题有个更专业的... 阅读全文
posted @ 2015-12-21 13:51 zourui4271 阅读(597) 评论(0) 推荐(0)

也谈谈学习
摘要：这两天看了大卫张的《大卫谈学习》，对自己这几年的学历历程以及对学习的探索的感悟给表达出来了，也勾起我对学习的思考过程。在大学的四年过程之后，我明白了为什么要上大学，大学里面要学习那些知识以及如何学习这些知识。相对于社会来说，大学选择的余地比较小，对学习的理解也仅仅限于学习知识，而知识主要就是本专业学... 阅读全文
posted @ 2015-12-19 09:50 zourui4271 阅读(152) 评论(0) 推荐(0)

oracle内部结构
摘要：数据库管理系统将数据存储在磁盘、磁带以及其他的裸设备上，虽然这些设备的访问速度相比内存慢很多，但其非易失性和大容量的特点使他们成为数据存储的不二之选。本文主要讨论大型数据库产品的磁盘存储内部结构，这对于深入理解数据库各种数据结构具有至关重要的作用。数据库磁盘存储的体系结构以上两图分别展示了存储器分级... 阅读全文
posted @ 2015-12-19 09:37 zourui4271 阅读(447) 评论(0) 推荐(0)

阿里沈询访问节选(中间件)
摘要：皮皮（Q1）：您从08年进入阿里已经有6年了，这六年里，您也见证了阿里的成长，回顾下过往的经历，6年前的自己和6年后的自己有什么不同？6年后的阿里是否更加Open？能否介绍下自己，谈谈自己的感悟。沈洵（A1）：要说感悟的话，两个字概括一下： “感恩”。 08年的我，只是刚刚本科毕业的菜鸟，能进入阿里... 阅读全文
posted @ 2015-12-18 11:57 zourui4271 阅读(513) 评论(0) 推荐(0)

阿里杨传辉的访问节选(oceanbase)
摘要：皮皮(Q4): OceanBase第一个应用是收藏夹。最近，听说支付宝交易也用到了OceanBase。能否结合阿里的应用谈谈OceanBase的优势。杨传辉（A4)：相比传统的关系数据库，谈及OceanBase的最大亮点，当属可自动扩展的特点，它不仅仅可以扩展到一个数据中心，乃至同城，在未来，Oce... 阅读全文
posted @ 2015-12-18 11:33 zourui4271 阅读(837) 评论(0) 推荐(0)

如何阅读
摘要：学习如逆水行舟，不进则退。在我们学习中，阅读又是一种相当重要的方式。那么哪些学习习惯或者说阅读方法对我们来说能更高效的让我们获取到相关的知识呢？下面列举几条，欢迎大家继续补充或指正！1.趁着对一件事情有热情的时候，一股脑儿把万事开头那个最难的阶段熬过去。万事开头难，因为从不了解到了解基本的一些事实... 阅读全文
posted @ 2015-12-18 09:13 zourui4271 阅读(175) 评论(0) 推荐(0)

浅谈设计和编码
摘要：这篇文章谈下编码中的一些细节问题，在谈之前首先还是要继续推荐下《代码大全》这本书，该书在很多公司都会被推荐为新人入职后的必读书，即使在互联网和敏捷开发环境下，该书对于新人仍然有仔细阅读和体会的必要，要明白架构和设计思维的基础仍然是编码思维，面向对象思维的基础仍然是代码本身的逻辑和结构，如果不能写出高... 阅读全文
posted @ 2015-12-17 15:35 zourui4271 阅读(482) 评论(0) 推荐(0)

谈谈分工
摘要：昨天，我看到一个新闻——雅虎取消了QA团队，工程师必须自己负责代码质量，并使用持续集成代替QA。 同时，也听到网友说，“听微软做数据库运维的工程师介绍，他们也是把运维工程师和测试工程师取消了，由开发全部完成。每个人都是全栈工程师”。于是，我顺势引用了几年前写过一篇文章《我们需要专职的QA吗？》，并且... 阅读全文
posted @ 2015-12-16 16:52 zourui4271 阅读(346) 评论(0) 推荐(0)

我们需要专职的QA吗？
摘要：在此之前，我想说明一下我观点里的这个“专职QA”是怎么定义的。其是很多公司成立的专门做测试的技术人员，仅测试不开发。这些QA对于软件开发技术并不熟悉，甚至不懂。我经历过一些公司都有专职的QA团队（专职的测试人员），自从上个公司我的开发团队在一个项目上被QA部门搞得一团糟，我越来越怀疑专职QA存在在意... 阅读全文
posted @ 2015-12-16 16:51 zourui4271 阅读(297) 评论(0) 推荐(0)

几句禅语的解释
摘要：看山是山，看山不是山，看山还是山宋代禅宗大师青原行思提出参禅的三重境界：参禅之初，看山是山，看水是水；禅有悟时，看山不是山，看水不是水；禅中彻悟，看山仍然山，看水仍然是水。直白一点就是说：人之初，性本善，大家刚开始的时候都是一张白纸，都很单纯，即，看山是山；随着阅历逐渐丰富，经历过一些沧桑后，感觉这... 阅读全文
posted @ 2015-12-16 16:18 zourui4271 阅读(445) 评论(0) 推荐(0)

理想的程序员
摘要：第1个一点点：专注眼下见过太多心猿意马的程序员，我不得不把「专注眼下」作为天字第一条。他们往往有各式各样的小梦想，比如做个小茶农、做个小鹅贩、做产品、做销售、做投资，却被程序员的高薪或是没有转行的魄力「耽误」了，而因为不专注，他们不在意做好自己的本分，不在意锤炼自己的技能，不在意学习新兴的技术。不可... 阅读全文
posted @ 2015-12-15 11:11 zourui4271 阅读(182) 评论(0) 推荐(0)

表连接
摘要：连接类型： 目前为止，无论连接操作符如何，典型的连接类型共有3种： 排序 - - 合并连接（Sort Merge Join （SMJ） ） 嵌套循环（Nested Loops （NL） ） 哈希连接（Hash Join） 另外，还有一种Cartesian product（笛卡尔积），一般... 阅读全文
posted @ 2015-12-12 15:02 zourui4271 阅读(190) 评论(0) 推荐(0)

关于集群和分布式的好文
摘要：什么是集群集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源，这些单个的计算机系统就是集群的节点（node）。集群提供了以下关键的特性。(一) 可扩展性。集群的性能不限于单一的服务实体，新的服务实体可以动态的加入到集群，从而增强集群的性能。(二) 高可用性。集群通过服务实体... 阅读全文
posted @ 2015-12-12 14:49 zourui4271 阅读(225) 评论(0) 推荐(0)

oracle树形语句
摘要：oracle树查询的最重要的就是select…start with…connect by…prior语法了。依托于该语法，我们可以将一个表形结构的以树的顺序列出来。在下面列述了oracle中树型查询的常用查询方式以及经常使用的与树查询相关的oracle特性函数等，在这里只涉及到一张表中的树查询方式而... 阅读全文
posted @ 2015-12-11 15:05 zourui4271 阅读(481) 评论(0) 推荐(0)

关于团队文化的一些思考
摘要：1）软件工程师分工分得越细这个团队就越没效率，团队间的服务化是关键的关键。不管是从语言上还是从软件模块上的人员分工，越细越糟糕。服务化不是我要帮你做事，而是我让你做起事来更容易。2）你总需要在一个环节上认真，这个环节越往前就越有效率，越往后你就越没效率。要么你设计和编码认真点，不然，你就得在测试上认... 阅读全文
posted @ 2015-12-08 17:24 zourui4271 阅读(313) 评论(0) 推荐(0)

解读宽表
摘要：宽表和窄表的建设该如何选择？这个问题相信纠结了很多从是数据库开发、数据仓库开发和后台开发人员；单单考虑这个问题，难给出一个绝对的答案；事实上任何东西都没有绝对的说法。考虑这样的一个问题，一个公司有这样的一个需求：设计销售领域的订单事实表，该事实表应该包含哪些维度和度量？事实表和维表该分别如何去设计？... 阅读全文
posted @ 2015-12-08 11:57 zourui4271 阅读(1364) 评论(0) 推荐(0)

ETL工作流缓慢原因查找方法
摘要：What steps do you take to determine the bottleneck of a slow running ETL process?如果ETL进程运行较慢，需要分哪几步去找到ETL系统的瓶颈问题。答：ETL系统遇到性能问题，运行很慢是一件较常见的事情，这时要做的是逐步找... 阅读全文
posted @ 2015-12-07 15:29 zourui4271 阅读(574) 评论(0) 推荐(0)

BI使用者的角色
摘要：把企业中的BI使用者的角色分成如下几类：系统管理员：没有数据权限；没有功能权限；负责配置其他人的权限；BI专家：拥有所有数据权限；拥有多维分析，报表查看，报表开发，模型开发权限；负责开发和维护BI系统；商务分析师：拥有所有数据权限；拥有多维分析，报表查看，报表开发权限；负责在公司和运营的层面进行数... 阅读全文
posted @ 2015-12-07 15:17 zourui4271 阅读(423) 评论(0) 推荐(0)

超级维度表处理（亿行数据级别）
摘要：最近在优化公司的数据仓库项目中ETL部分，发现有一处明显可以改进的地方，发出来和大家分享一下。在数据仓库中一个一个超级大维度表（1亿左右的记录），更新这个维度表的时候，采取的策略是最简单的1类渐变维度，即存在则更新，不存在则插入。原先的方式是在ETL过程中先查找这个大表本身，如果存在就打上updat... 阅读全文
posted @ 2015-12-07 14:43 zourui4271 阅读(343) 评论(0) 推荐(0)

谈ETL调度不错的文章
摘要：http://www.doc88.com/p-1794327644475.html 阅读全文
posted @ 2015-12-07 14:18 zourui4271 阅读(169) 评论(0) 推荐(0)

DW2.0
摘要：一、DW2.0从企业的角度，吸引企业的原因： 1.数据仓库基础设施的成本不再持续增长。在第一代数据仓库中，技术基础设施的成本是不断增长的，随着数据量的增长，基础设施的成本会以指数级增长。但是使用DW2.0，数据仓库的这一成本会趋于平稳。 2.使用元数据将基础设施结合在一起，这意味着数据不会轻易丢失。... 阅读全文
posted @ 2015-12-07 13:56 zourui4271 阅读(309) 评论(0) 推荐(0)

ETL的测试
摘要：二、ETL测试过程：在独立验证与确认下，与任何其他测试一样，ETL也经历同样的阶段。1）业务和需求分析并验证。2）测试方案编写3）从所有可用的输入条件来设计测试用例和测试场景进行测试4）执行所有用例直到满足退出标准5）书写总结报告和测试过程结束。三、ETL测试的规则：测试数据的正确性、一致性、完整性... 阅读全文
posted @ 2015-12-07 13:36 zourui4271 阅读(634) 评论(0) 推荐(0)

堆栈的区别
摘要：一个由C/C++编译的程序占用的内存分为以下几个部分1、栈区（stack）— 由编译器自动分配释放 ，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈。2、堆区（heap） — 一般由程序员分配释放， 若程序员不释放，程序结束时可能由OS回收 。注意它与数据结构中的堆是两回事，分配方... 阅读全文
posted @ 2015-12-05 09:17 zourui4271 阅读(217) 评论(0) 推荐(0)

java经典开发模式
摘要：Java Web开发方案有多种可供选择，这里列举一些经典的开发模式进行横向比较，为Java Web的开发模式选择提供参考。除此之外还有好多方案（如Tapestry和Wicket等等）并不了解，这里就不列举了。JSP＋JAVABEAN开发模式： 特点：该模式将业务逻辑与页面表现进行分离，在一定程度上增... 阅读全文
posted @ 2015-12-03 16:00 zourui4271 阅读(261) 评论(0) 推荐(0)

java线程一
摘要：我们可以在计算机上运行各种计算机软件程序。每一个运行的程序可能包括多个独立运行的线程（Thread）。线程（Thread）是一份独立运行的程序，有自己专用的运行栈。线程有可能和其他线程共享一些资源，比如，内存，文件，数据库等。当多个线程同时读写同一份共享资源的时候，可能会引起冲突。这时候，我们需要引... 阅读全文
posted @ 2015-12-03 15:43 zourui4271 阅读(137) 评论(0) 推荐(0)

再谈消息
摘要：什么是消息？何为消息？消息就是带有某种信息的信号，如你用鼠标点击一个窗口会产生鼠标的消息，键盘输入字符会产生键盘的消息，一个窗口大小的改变也会产生消息。 消息从何而来?根据冯·诺依曼的体系结构计算机有运算器、存储器、控制器和输入设备和输出设备五大部件组成，消息主要来自输入设备，如键盘、鼠标、扫描仪等... 阅读全文
posted @ 2015-12-03 13:20 zourui4271 阅读(202) 评论(0) 推荐(0)

利用工具提高工作效率
摘要：2 outlook 中规则的设置对于每天上百封邮件，怎么快速查看邮件，以及对邮件进行分类，outlook规则就派上用场了。目前会把邮件按照树形结构分类--公司层面的群发邮件--部门层面群发邮件----部门组A小组邮件（按照功能划分：比如测试组，sql组）----部门组B小组邮件--我的邮件----群... 阅读全文
posted @ 2015-12-03 12:21 zourui4271 阅读(297) 评论(0) 推荐(0)

java:从消息机制谈到观察者模式
摘要：从简单的例子开始同样，我们还是先看一个简单例子：创建一个窗口实现加法的计算功能。其效果如下： 图1： 加法计算 Calculator.java:import javax.swing.*;import javax.swing.border.BevelBorder;import java.awt.*;i... 阅读全文
posted @ 2015-12-03 12:01 zourui4271 阅读(281) 评论(0) 推荐(0)

如何做代码审查
摘要：对于很多公司来说，代码审查是开发人员日常工作中的重要环节。通过代码审查，可以及早发现项目中存在的问题、促进同事之间的沟通与交流，并且可以在讨论中迸发出智慧的火花。但要想成功实施代码审查却并不是一件轻松的事情，为什么要进行代码审查、何时做、如何做，这是摆在我们面前的3个重要问题。针对于这3个问题，开... 阅读全文
posted @ 2015-12-02 17:01 zourui4271 阅读(501) 评论(0) 推荐(0)

Informatica增量抽取时间的设置
摘要：使用数据库或者系统变量的当前时间 Informatica中的$$SYSDATE是表示当前系统时间的系统变量。 通过这个变量，我们对每天抽取的数据可以使用以下表达式来实现增量抽取： 时间戳字段>= TRUNC($$SYSDATE – 1) 这种方法的实现比较简单，但是缺乏灵活性。不但需要另外开... 阅读全文
posted @ 2015-12-02 16:11 zourui4271 阅读(1470) 评论(0) 推荐(0)

oracle中row_number() over()分析函数用法
摘要：row_number()over(partition by col1 order by col2)表示根据col1分组，在分组内部根据col2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的）。与rownum的区别在于：使用rownum进行排序的时候是先对结果集加入伪劣rown... 阅读全文
posted @ 2015-12-02 15:31 zourui4271 阅读(905) 评论(0) 推荐(0)

Informatica bulk和normal模式
摘要：转载：http://bestxiaok.iteye.com/blog/1107612Bulk 方式进行目标数据的Load，是Informatica提供的一种高性能的Load数据方式。它利用数据库底层机制，依靠调用数据库本身提供的Utility来进行数据的加载。 使用Bulk方式 Load时，Info... 阅读全文
posted @ 2015-12-02 15:25 zourui4271 阅读(217) 评论(0) 推荐(0)