06 2013 档案
Oracle数据库体系结构（3）数据库进程
摘要：一、Oracle进程概述在oracle中进程分为用户进程（User Process）、服务器进程（server process）和后天进程3种。1.用户进程：当用户连接到数据库执行一个应用程序是，会创建一个用户进程来完成用户所指定的任务。 与用户进程相关的概念有：连接：是指用户进程与数据库实例之间的一条通信路径。 会话：是指用户到数据库的指定连接。2.服务器进程：是有oracle自身创建，用于处理连接到数据库实例的用户进程所提出的请求。用户进程只有通过服务器进程才能实现对数据库的访问和操作。 服务器进程的主要...
阅读全文
转 Oracle 11g服务详细介绍
摘要：转自http://www.cnblogs.com/userWuLiang/archive/2013/04/13/3017900.htmlOracle 11g服务详细介绍及哪些服务是必须开启的？成功安装Oracle 11g数据库后，你会发现自己电脑运行速度会变慢，配置较低的电脑甚至出现非常卡的状况，通过禁止非必须开启的Oracle服务可以提升电脑的运行速度。那么，具体该怎么做呢？按照windows 7 64位 安装oracle 11g R2中的方法成功安装Oracle 11g后，共有7个服务，这七个服务的含义分别为：1. Oracle ORCL VSS Writer Service：Oracle
阅读全文
Oracle数据库体系结构（2）数据库实例
摘要：Oracle实例的概念：实例（Instance）：就是数据库管理系统，处于用户与物理数据库之间的一个中间层软件，由一系列内存结构和后台进程组成。 用户操作数据库的过程实质上与数据库实例建立连接，然后通过实例操作数据库的过程。内存结构是oracle数据库体系结构的重要组成部分，是oracle数据库重要的信息缓存和共享区域。它的大小、速度直接影响数据库的运行效率。oracle数据库内存管理就是根据数据库运行状态的改变而不断优化内存结构大小的过程。内存区域信心使用范围的不同，分为系统全局去（SGA）和程序全局区（PGA）.oracle支持对着两个的完全自动管理。后台进程是实...
阅读全文
Oracle数据库体系结构（1）整体概述
摘要：oracle数据库的存储结构：逻辑存储结构：oracle内部的组织和管理数据的方式物理存储结构：oracle外部（操作系统）组织和管理数据的方式oracle对逻辑存储结构和物理存储结构的管理是分别进行的。oracle数据库物理存储结构与逻辑存储结构的基本关系：1.一个表数据库在物理上包含多个数据文件，在逻辑上包含多个表空间2.一个表空间包括一个或多个数据文件，一个数据文件只从属于某一个表空间。3.数据库的逻辑块由一个或多个操作系统块构成4.一个逻辑区只能从属于某一个数据文件，而一个数据文件可包含一个或多个逻辑区。oralce数据库的物理存储结构oracle数据库的物理存储结构有一系列操作文件组
阅读全文
数据仓库基础（十四）缓慢变化维
摘要：在实际过程中缓慢变化为是用到很多的。在数据库中维度的属性会随时间的变化而发生缓慢的变化。缓慢变化维是ETL对数据仓库维度表的更新技术。之后的小例子是在informatica中缓慢变化的操作。 在informactica中缓慢变化维使用向导的形式创建。找到mapping->wizards->slowly....之后进入向导：new mapping name 给mapping去个名字下面的三项：type 1为保留最近一次的变更；type 2为保留所有的历史；type 3为保留近两次的变更我选择了type2，保留所有的历史记录，下一步第三步是选择源数据表和目标表，这里我们还没目标表，先取
阅读全文
数据仓库基础（十三）Informatica workflow
摘要：看了几天的Informatica ,关于infor的资料也比较少，主要的《商业智能深入浅出》，以及中国大数据论坛上的教学视频。在看了这些之后总感觉远远不够，但又缺乏资料，不知道如何去深入学习。workflow主要是对ETL的调度工作。主要是实际的操作Inforamtica 流程控制的组件。Decision:决策的组件，在里面可以写一个规则，形成一个决议 上图主要是一个Decision的时候，上面的规则就是这两个session的执行成果返回一个结果。 2．Workflow 变量：第一次跑完将值写入资料库中 这个写在这里，它不是一个组件。但在一下的组件会用到这个变量的定义。 在菜...
阅读全文
数据仓库基础（十二）Informatica组件（2）
摘要：1.Router Transformation：在filter 组件中只能写一个过滤条件。而在Router中能写多个过滤条件。 对流入组件中的记录数据按照条件进行分发，类似JAVA语言中的Switch. 在分组的最后会有一个Default组，即所有组都不满足时就会进入default组。是缺省生成的。每条记录都回去验证每个组。router组件可以过滤出不符合标准的数据。例：首先拖入源数据时 ods_employee是之前小例子的目标表，在ETL过程中，数据的ETL不只一次，很多表都会是目标表和源数据表。 加入Router组件，在工具栏的router...
阅读全文
数据仓库基础（十一）Informatica小技巧（2）
摘要：1.User shortcuts:shortcuts能实现快捷方式的复用。快捷方式可以根据源的变化而变化。和直接拖拽的拷贝不一 样，拷贝过来的是两个版本都需要维护。2.find object:Ctrl+F打开查找界面3.View object dependencies:查看对象的依赖型关系。可以右击对象的dependencies或者mapping菜单栏的dependencies来打开对下面的属性进行选择，需要显示那些对象的关系，确定，结果如图可以将结果打包成一个xml对象文件导出。或者保存为一个HTML报告。3.Compare objects and mappings.对比两个对象的源数据。在
阅读全文
数据仓库基础（十）组件1
摘要：Informatica主要的组件:Source Qualifier 从数据源读取数据Expression 行级转换，计算式Filter 数据过滤Sorter 数据排序Aggregator 聚合Joiner 异构数据关系连接Lookup 查询连接Update Strategy 对目标编辑insert, update,delete ,rejectRouter 条件分发Sequence Generator 序列号生成器Normalize 记录规范化Rank 对记录进行TopXUnion 数据合并Transaction Control 对装载数据按条件进行事务控制Stored Procedure 存储
阅读全文
数据仓库基础（九）Informatica小技巧（1）
摘要：link path:查看某个字段的来源去处，非常有参考的价值。右击你想要看的字段，选择 select link path。这样就是有红色的箭头标明。当数据量大多时会很有用。Autolink by name and Position:如果在f(x)与目标表中的link段掉了，如果name后面有OUT 如图选择右击 autolinke 如果所示：name就是名字要相同，而position是位置相同，当name的时候选择more 这样就能将后缀为OUT的自动匹配，还可以做前缀关联等Shortcut from Normal View to Edit Port:对组件进行编辑，双击下组件进行编辑。如图编
阅读全文
数据仓库基础（八）Informatica 小例子
摘要：之前看了一段数据库的基础，感觉自己对数据库的基础挺薄弱的。以后再学习其他东西的时候也需要经常能学习回顾下数据库。这一个星期看了些数据仓库理论方面的东西，但是感觉映像不深，可能需要在之后实际使用过程中去真正的理解这些东西。关于informatica的资料很少。主要看的是 数据中国大讲坛上http://www.db365.net/forum.php分享的一个教学视频。接下来是一些做的例子。infor的一般使用流程启用服务引擎 server定义资料库 Repository数据抽取流程设计 PowerCenter Designer工作流管理 workFlow Manager监视器...
阅读全文
数据仓库基础（七）Informatica PowerCenter介绍
摘要：Infromatica PowerCenter介绍：1993年在美国加利福尼亚州成立，一年后在美国纳斯达克上市。informatica的特点：1.强大的多种数据类型访问能力2.企业级的数据集成解决方案3.强大的ETL功能Infromatica PowerCenter工具概况主要有一下几部分组成：1.Administration Console(管理控制台)：主要负责管理Informatica服务、目录、域、节点、日志、账户等信息，基于B/S结构2.PowerCenter:用来进行设计ETL开发的工具，包括数据源、目标数据库、映射方法等的定义及使用3.Repository Manager:主要用
阅读全文
数据仓库基础（六）数据的ETL
摘要：ETL是数据抽取（Extract）、转换（Transform）、加载（Load）的简写，是构建数据仓库最重要的一步。1.抽取抽取时元数据进入到数据仓库的第一步。因为每个业务系统数据的质量不相同，所以需要对每个数据源建立不同的抽取程序。抽取的主要功能：提供数据匹配器的功能：这样使得程序可以与多种业务数据源相连接。提供标准化的功能：抽取最重要的一个功能就是对数据类型的标准化，将业务数据和数据仓库中的数据类型统一。提供批处理的服务：提供过滤的功能：2.清洗清洗是源数据进入到数据仓库的第二步。目的是保证源数据的数据质量符合数据仓库的要求，同时保证数据的一致性。清洗的主要功能:数据修正：使用固定算法或者
阅读全文
数据仓库基础（五）数据仓库系统应用实例
摘要：为了达到数据仓库项目质量管理的要求，可以选择合适的模型建立数据仓库项目的生命周期1.使用瀑布模型 条件:从用户的角度来说，他们已经完全理解项目的需求，并且有现成的文档作为支持，同时用户希望用新系统替代旧的系统，并且项目工期相对紧迫。 从项目开发人员的角度来说，项目分工明确，资源充分，系统可以被划分成相对独立的模块，比较适合工作任务的分配。2.使用原型模型 用户对项目需求的理解比较模糊。数据仓库粒度的划分数据仓库粒度的划分是设计的重要内容，因为它直接影响了数据仓库查询的效率、查询的灵活性和数据仓库数据量的大小。如果数据仓库的粒度级别越低，则它的细节程度越高；反之，则相反。在数据仓库设计过过...
阅读全文
数据仓库基础（四）ODS、元数据
摘要：ODS的概念：是一个面向主题的、集成的、可变的、反应当前细节的数据集合。为企业决策者提供当前细节性的数据，通过作为数据仓库的过度阶段。ODS具有以下的特点：1.数据是不断更新和易丢失的，当新的业务数据进入到ODS时，旧的数据会被新的数据覆盖或更新，一般不存储历史的数据，只反映当前实时性的信息。2.ODS系统一般存储的都是细节性的信息，很少有汇总的数据。3.ODS系统支持快读的数据更新操作，数据刷新频率很快。4.ODS一般存储在关系型数据库中，通过各个业务系统的数据集成起来，组成企业的全局统一视图。5.用户可以频繁访问ODS系统，因为它是基于操作型应用。元数据的定义在数据仓库系统的建立、维护、管
阅读全文
数据仓库基础（三）OLAP
摘要：联机处理分析（OLAP）:介绍首先要理解的概念：1.维度：人们观察事物的家督，例如地区维度、时间维度、产品维度。2.层：根据维度细节程度的不同，划分数据在逻辑上的等级关系，用来描述维度的各个方面。时间维度包括年、月、日。读取维度包括国家、省等。3.维度的成员：维度的取值。即地区维度中的中国，美国。4.钻取：通过变换维度的层次，改变粒度的大小。5.旋转：通过变换维度的方向，重新安排维的位置，例如行列互换。6.切片和切块7.度量8.ROLAP9MOLAP10.HOLAPOLAP与OLTP的区别OLTP系统 OLAP细节性数据 综合和经...
阅读全文
数据仓库基础（二）ETL
摘要：ETL在数据仓库中具有以下的几个特点：数据流动具有周期性：因为数据仓库中的数据量巨大，一般采用成熟的ETL工具去完成抽取、转换、加载，以降低设计开发的和维护的复杂度，使设计开发人员有更多的时间去专注于业务转化规则。ETL是数据抽取、转换、加载的简写。它的一般过程是将数据源抽取出来，中间经过数据的清洗、转换，最后加载到目标表中。ETL的过程一般是批量的。ETL的本质1.用户应该理解ETL本质上就是数据从源到目标的过程。2.大多数的ETL工具价格昂贵，宏观上一般都适合处理海量的数据，但是在微观上需要考虑ETL处理的不同情况。3.元数据时ETL过程的重要体现，藐视了数据源的属性、数据源到目标库的转换
阅读全文
数据仓库基础（一）
摘要：商业智能那就是帮你把一个数据转化成具有商业价值的，而且可以获取的信息和知识，同时在最恰当的时候，通过某种形式吧信息转递给需要的人。商业智能的实施步骤：1.定义需求，2.数据仓库模型3.数据抽取、清洗、转换、加载（ETL）4.建立商业智能分析报表数据仓库：数据仓库的开发以完全不同于开发生命周期进行，有时这种周期称为CLDS.与SDLC完全相反。一个公司要想成功的重建生产系统和休整遗留系统，最重要的步骤是首先建立数据仓库环境。数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant
阅读全文
MySQL数据库备份（2）2013-6-13
摘要：把数据库从一个服务器复制到另一个服务器如果把输出通过网络直接写到另一个服务器区，就不需要使用转储文件作为媒介了。% mysqldump --databases sampdb |mysql -h boa.snake.net如果你从本地无法访问远程MySQL服务器但能够通过登入远程主机的方法去访问它：mysqldump --databases sampdb|ssh boa.snake.net mysql使用--compress选项能改善性能。检查和修复MyISAM和InnoDB数据库的几种常用办法:1.发出check table 和repair table语句。也可以使用mysqlcheck程序，
阅读全文
MySQL数据库备份
摘要：数据库预防维护工作的基本原则为了预防可能发生的数据库故障，应该采取以下的措施：1.激活MySQL服务器的自动恢复能力2.有计划的安排一些维护性工作，定期对数据表进行检查。3.制定一会数据库备份计划。还应该启用二进制。可以使用check table和reqair table 等SQL语句让MySQL服务器根据需要执行几种数据表维护操作。在使用myisamcheck程序时，一定要保证MySQL服务器不会在此期间也去访问它。在服务器运行时维护数据库如果不想关停MySQL服务器，又不想让运行中的服务器和你正在使用的外部程序相互干扰，就必须使用某种锁定机制来与服务器协调。MySQL提供了两种锁定机制内部
阅读全文
MySQL数据库日常管理
摘要：在windows上手动运行服务器：mysqld如果想要错误信息进入控制台窗口，而不是进入错误记录（host_name.err文件中）mysql --console如果想停止服务器mysqladmin -p -u root shutdown在windows上，Mysql服务器可以用下面的命令安装完一项windows服务C:\mysql\bin\mysqld --install或者是安装为服务，并手动启动C:\mysql\bin\mysqld --install -manual在安装为一项服务的时候可以指定一个服务名C:\mysql\bin\mysqld --install service_nam
阅读全文
MySQL回顾（2）
摘要：create view[or replace] 创建一个视图，如果已经处在一个同名，会报错。除非你使用or repalce 需要具备老视图上的drop权限。[algorithm={merge|temptable|undefined}][Definer=definer_name][sql security={definer|invoker}]view view_name[(col_list) as select_stmt][with [cascaded|local] check option] 可更新视图。create view view1as select t1.student_id,t1..
阅读全文
MySQL回顾（1）2013-6-5
摘要：数据库（RDBMS里的DB）就是一个用来存放信息的仓库。管理系统（MS)对数据进行插入检索修改。关系就是把两个表通过某种联系能联系起来。SQL是标准的结构化查询语句。MySql是客户/服务器体系结构。这样能带来的一些好处： 1.并发控制。2.不必非得在你存放数据库的那台机器上进行登录。执行SQL语句： select now()；显示当前的日期和时间。除了分好以外还有另一种方法是使用\g（表示go）。 mysql> select now(),version()\G*************************** 1. row ******** now(): 20...
阅读全文
数据仓库基础（一）2013-6-3
摘要：数据仓库之父（William Inmon）所提出的定义是最被广泛接受： 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用户支持管理决策。 面向主题的（Subject Oriented）：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。 集成的（Integrated）：据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必...
阅读全文
浙公网安备 33010602011771号