tneduts - 博客园

MSBI--enlarge the DW database table volume

摘要：我们在学习MSBI的时候,经常会使用官方提供的Adventureworks和AdventureworksDW示例数据库,但是官方提供的数据量有点小,以DW为例,Factinternetsales只有不到七万行的数据,我们很难做某些测试,譬如说想对事实表做一个分区测试,测试CUBE性能等.为此,我想以FactInternetSales表为入口,扩大它的数据量到数亿条.经过分析,我觉得只要把理解主键是怎么生成的,以及orderdatekey,duedatekey,shipdatekey修改下,随机生成productkey与customerkey(其实是随机从这两个维表中抽取key),基本上就可以装阅读全文

posted @ 2013-12-06 08:27 tneduts 阅读(861) 评论(2) 推荐(1)

SSAS CUBE TEST CASES

摘要：经过周末两天和今天的努力,基本上完成并修复了一些bug并且集成到我的MSBIHelper项目中去,可以进行数据测试了.效果图如下:可以帮助开发人员快速生成等值的Tsql和mdx查询,辅助测试人员快速完成test cases的开发.下一步准备开发的功能是进行数据比对,其实我之前有完成一个SSIS的packages,来比对tsql和mdx的数据集,而这个工具生成的刚好是那个SSIS packages的数据源.下次把那个package贴上来. 有兴趣的读者可以到以下地址下载,绿色软件,无需安装:解压可用.需要安装Sqlserver的SSIS SSAS平台.dotnet3.5 framework. 阅读全文

posted @ 2013-12-02 20:05 tneduts 阅读(651) 评论(0) 推荐(1)

Mongodb 主从复制与副本集实验

摘要： 1.实验主从复制，并验证复制成功，抓图实验过程 Step1:创建相应的目录 Mkdir -p ./dbs/master Mkdir -p ./dbs/slave Step2:开启主服务 ./bin/mongod --dbpath ./dbs/master --port 10000 --master Step3:开启salve: ./bin/mongod --dbpath ./dbs/sl... 阅读全文

posted @ 2013-12-01 11:40 tneduts 阅读(321) 评论(0) 推荐(0)

通用cube refresh方案

摘要：通用cube refresh c# script 解决方法:需要设置的变量如下:User::varcubename,User::varolapconnstr,User::varolapdbnameCube 名字,olap连接字符串,和db名字.这几个变量需要在script task中运用.Script task中的代码如下,可以根据具体需要做修改:public void Main(){// TODO: Add your code hereDts.TaskResult = (int)ScriptResults.Success; //User::varolapconnstr,User::var.. 阅读全文

posted @ 2013-11-30 21:18 tneduts 阅读(614) 评论(0) 推荐(0)

AMO olap Test C# generate tsql and mdx

摘要：通过AMO访问online的cube,生成等值的TSql和mdx自动生成等值的TSQL和MDX进行Cube测试.其中难度比较大的部分是拼接TSQL.暂时不处理calculations,只除理metrics和Regular Type的dimension Usage.metric的聚合方法只处理(max,min,sum,count,distinct count)以下是问题的记录与处理情况.1.adventureworks示例cube中,会把Date dimension的attributes的表名取成dimtime. 未解决已经解决此问题2.如果dimension 表中的attributes引用了阅读全文

posted @ 2013-11-30 19:32 tneduts 阅读(732) 评论(2) 推荐(1)

Sql Practice 2

摘要：之前写了一个SP用来向dimention table插入0 -1 dummy row的值,但今天在process adventureworksdw2008示例数据库的时候报错,查看了一下,是因为自己当时实验时插入的数据有问题,就想清除掉这些数据.本想使用sp_Msforeachtable 但一直报错不能识别$identity.exec sp_MSforeachtable @command1="delete from '?'",@whereand='and $identity < 1'只好写下了如下的代码:declare @tables 阅读全文

posted @ 2013-11-30 06:53 tneduts 阅读(271) 评论(0) 推荐(0)

Sql practice

摘要： employee表数据准备use tempdbgo if OBJECT_ID('employee') is not nulldrop table employee;with employee(id,name,salary,manager_id) as(select * from(values(1,'John',300,3),(2,'Mike',200,3),(3,'Sally',550,4),(4,'Jane',500,7),(5,'Joe',600,7),(6,'Dan',600 阅读全文

posted @ 2013-11-30 06:36 tneduts 阅读(389) 评论(1) 推荐(0)

使用flume的一个例子

摘要：新项目中需要使用到hadoop和vertica,使用flume把数据加载到hadoop中，我做了一个例子，即监控一个sharefolder,如果里面有文件，则会文件load到hadoop.开启Flume agent:./flume-ng agent -n agent-1 -c conf -f /home/yaxiaohu/flumeconf/evantest.conf以下内容是evantest.confagent-1.channels = ch-1agent-1.sources = src-1agent-1.sinks =hdfs-sinkagent-1.channels.ch-1.capac 阅读全文

posted @ 2013-11-28 13:55 tneduts 阅读(557) 评论(1) 推荐(0)

Asp.net web form 动态生成控件的注意事项

摘要： Asp.net页面生命周期页面初始化 Page_Init加载View State LoadViewState回发数据处理 LoadPostData页面加载 Page_Load回发通知 RaisePostDataChangedEvent回发事件处理 RaisePostBackEvent页面... 阅读全文

posted @ 2013-11-20 22:13 tneduts 阅读(833) 评论(0) 推荐(0)

如何做好presentation

摘要： 1.全心投入要么不做，要做就做好承诺自己会花时间好好准备自己的演讲，投入专注的精力。人们可以通过练习使自己成为很好的演讲者。2分析你的观众他们想听什么？3.组织你的想法让语言简单让观众有时间理解你表达的东西一个有力的结论.你看起来越轻松你的演讲越容易被人接受一开始别讲太快花时间去理解一下观众的感受4.想一想你的目光和声音别看所有观众只看一个友善的观众就可以了避免做机械的动作别机械的讲... 阅读全文

posted @ 2013-11-17 11:51 tneduts 阅读(401) 评论(0) 推荐(0)

ETL from hadoop to vertica

摘要：根据项目需要,我做了一个POC(proof of concept),XML TXT的数据从HADOOP引入到VERTICA.我采用的方案是pig,具体信息可以参加vertica官方的文档.Access hp vertica from pig:https://my.vertica.com/docs/6.1.x/HTML/index.htm#18525.htm我用virtualbox 在本机搭建了一个hadoop集群(apache version) ,从vertica 官网下载了一个虚拟机(开放文件格式的那版),然后导入到virtualbox,并且使这四台机器都在一个网段.我测试了把txt 和xm 阅读全文

posted @ 2013-11-17 08:37 tneduts 阅读(688) 评论(0) 推荐(0)

分区对齐索引视图

摘要：索引视图索引视图是被具体化了的视图。这意味着已经对视图定义进行了计算并且生成的数据像表一样存储。可以为视图创建索引，即对视图创建一个唯一的聚集索引。索引视图可以显著提高某些类型查询的性能。索引视图尤其适于聚合许多行的查询。但它们不太适于经常更新的基本数据集。对视图创建的第一个索引必须是唯一聚集索引。创建唯一聚集索引后，可以创建非聚集索引。为视图创建唯一聚集索引可以提高查询性能，因为视... 阅读全文

posted @ 2013-11-17 07:52 tneduts 阅读(535) 评论(0) 推荐(0)

关于 SSIS 并行foreach loop的一个设计思路

摘要： SSIS 包在控制流方面的性能优化，主要是提高并行度。可以设置并发线程数MaxConcurrentExecuteables.SSIS中的foreach loop container 不是并行执行任务的，如果我们想使用并行执行的，可以借助第三方扩展的工具：parallel foreach loop... 阅读全文

posted @ 2013-11-15 20:40 tneduts 阅读(1214) 评论(1) 推荐(0)

SSIS ETL BEST PRACTICE

摘要： PackageRunLog(ExecutionGuid,PackageName,SourceTableName,DestinationTableName,StartTimeUTC,EndTimeUTC,NumberOfRowsMoved,Status,MaxUpdateTime) 记录SSIS包每次的运行信息，何时开始，何时结束，运行状态，从哪个表输送多少条数据到某个表。 PQOUNITS : 一个测试框架，存储测试用例，根据要求执行，可以生成测试结果的报告，如果出现错误，及时发现错误。例如写一些tsql来检验SSIS包运行的结果是否有问题。还有对OLAP进行测试的时候,使用MDX和等值的T 阅读全文

posted @ 2013-11-15 20:13 tneduts 阅读(420) 评论(2) 推荐(0)

LessonFifth Redis的持久化功能

摘要： #验证redis的快照和AOF功能1.先验证RDB快照功能，由于AOF优先级高，先关闭，然后测试，截图如下 2.设置打开AOF 然后进行实验，截图如下：作业第二题：#把文本文件中的内容读入到redis中去,用适当的数据结构存储require 'rubygems'require 'redis'#使用hashset 来存储用户的pwd email... 阅读全文

posted @ 2013-11-02 14:37 tneduts 阅读(221) 评论(0) 推荐(0)

Redis 主从复制

摘要： 1 验证redis的主从复制，将实验过程抓图 2 如果使用redis做购物篮分析，就是记录超市或电子商务网站，每次顾客购物时他的购物车里有什么货品，然后计算出买某件货品（比如牛奶）的顾客，他的购物车里还有什么其它货物（比如鸡蛋）频繁出现，一次改善货架设计和推荐系统问题1 在secureCRT 中 telnet localhost 6379之后我输入redis的命令如果输错了... 阅读全文

posted @ 2013-10-27 11:38 tneduts 阅读(273) 评论(0) 推荐(0)

LESSON THREE

摘要：安装redis,并使用ruby进行简单测试. 使用redis客户端ruby测试安装gemyum install rubygems安装ruby所需的redis-rb程序库 gem install redis yum install ruby-devel gem install system_timer 阅读全文

posted @ 2013-10-20 18:42 tneduts 阅读(169) 评论(0) 推荐(0)

SSIS OLEDB COMMAND RULES

摘要： The oledb commad transformation prepare the wrong data type for the parameter.With my test, I have known something about the rule. You write query likeCharindex(fileld_name,?)>0 the it will employee a inteter for you because the >0.If you use cast(charindex(field_name,?)>0 as varchar(255))= 阅读全文

posted @ 2013-10-08 21:20 tneduts 阅读(511) 评论(0) 推荐(0)

Hadoop step by step _ install and configuration environment

摘要： 1.安装centos linux系统.2.配置静态IP3.配置防火墙4.添加hadoop用户5.检查并安装jdk 配置环境变量6.配置sshd服务7.配置ssh免密码登录8.格式化namenode并启动hadoop9.检查hadoop是否安装成功推荐使用secureCRT 远程ssh登录几个虚拟机进行操作比较好.Chgrp -R hadoop hadoop改变hadoop文件夹所属的组至hadoopChown -R 改变文件(夹)所属的用户配置开机自动启动sshd服务.Chkconfig --level 0123456 sshd on 修改状态Chkconfig --list sshd 查阅读全文

posted @ 2013-10-01 13:40 tneduts 阅读(236) 评论(4) 推荐(0)

repcached的安装练习

摘要： 1 自行寻找一个具有大量非结构化数据，很难使用关系型数据库进行处理的场景，清晰描述场景并指出困难所在，要求原创譬如说:以易迅电商为例,顾客会对购买的商品做出反馈评论,这些评论都是非结构化的数据,如果想从这些评论中提取有价值有意义的信息来提高易迅的客服满意度,同时如果能为相应的产品提供客户的需求反馈以提高产品的进一步研发会非常有意义.尽管现在主流的RDBMS支持xml和一些字符串分析函数等,但... 阅读全文

posted @ 2013-09-30 09:41 tneduts 阅读(265) 评论(0) 推荐(0)

Check list

摘要： greenplum 阅读全文

posted @ 2013-06-27 18:41 tneduts 阅读(371) 评论(0) 推荐(0)

Create trace with tsql

摘要： we can use sql server profiler to create a trace with a UI, sometimes we want to do this automatically, such as in a agent job. so we need another way.in fact ,the sql server 2008 can expert the tsql code for the trace in the file menu.USE [master]GO/****** Object: StoredProcedure [dbo].[StartProfi. 阅读全文

posted @ 2012-05-04 09:07 tneduts 阅读(223) 评论(0) 推荐(0)

using xml in sql server(转)

摘要： http://pratchev.blogspot.com/2007/06/shredding-xml-in-sql-server-2005.htmlUsing XML data has many applications. In databases in particular it can be used for passing parameters from client applications, exchange data between SQL modules, or storing details in XML columns. SQL Server 2005 offers new 阅读全文

posted @ 2012-02-08 16:19 tneduts 阅读(155) 评论(0) 推荐(0)

GAPSAND ISLANDS

摘要：寻找列中的gap.其实在inside sql server 2008中有专门的讨论。create table test (id int primary key); goinsert into values (1),(2),(3),(4),(5),(6),(8),(9),(11),(12),(13),(14),(18),(19)查找出结果为：missingbefore missingafter6 891114 18以下为sql:第一种方法使用了一个辅助表temp(tid int primarykey).在里面插入了一定量的数据。WITH CTE AS( SELECT TID FROM temp. 阅读全文

posted @ 2011-12-21 15:33 tneduts 阅读(282) 评论(3) 推荐(0)

（转）sqlserver 锁查看

摘要： --处理死锁查看当前进程,或死锁进程,并能自动杀掉死进程因为是针对死的,所以如果有死锁进程,只能查看死锁进程当然,你可以通过参数控制,不管有没有死锁,都只查看死锁进程--邹建 2004.4----调用示例 exec p_lockinfo--create proc p_lockinfo@kill_lock_spid bit=1, --是否杀掉死锁的进程,1 杀掉, 0 仅显示@show_spid_if_nolock bit=1 --如果没有死锁的进程,是否显示正常进程信息,1 显示,0 不显示asdeclare @count int,@s nvarchar(1000),@i intsel. 阅读全文

posted @ 2011-11-29 12:30 tneduts 阅读(270) 评论(0) 推荐(0)

TOP AND APPLY

摘要： select top(n) from table order by fieldname如果根据fieldname不能确定顺序,则会产生不稳定的输出.若使用 with ties 查询结果集会包含额外的行,这些额外行在排列上的值与top最后一行排列的值相同.apply 运算符有两种形式:cross apply and outer apply.类似 inner join and left outer join.可以把外部查询的列作为参数传递给表值函数.使用top and apply 组合解决常见的问题1.每组中的top(n)方案一:使用 row_number() over (partition by 阅读全文

posted @ 2011-09-03 08:44 tneduts 阅读(197) 评论(0) 推荐(0)

SQL SERVER2008学习笔记

摘要：理解SQL SERVER体系结构SQL SERVER数据存储体系结构SQL SERVER 把数据存储在磁盘上，但为了提高性能和完整性，它优化了磁盘结构的格式，磁盘上的数据是最近一次由内存刷新到磁盘上的状态．内存数据是最新的，数据修改一般是先在内存中进行，而不是直接写入到磁盘．１.物理数据结构一个数据库至少有一个数据文件与事务日志文件．数据文件存储数据库的所有信息，包括数据值，索引和配置数据和可编程对象．事务日志文件提供一个对数据库所有修改的持久记录．SQL SERVER采用预写的修改过程，即所有的修改在写入数据库之前都必须先写进事务日志．这些日志使各种数据恢复和完整性功能得以实现．8k的块来组阅读全文

posted @ 2011-08-11 09:26 tneduts 阅读(341) 评论(1) 推荐(0)

SQL练习题之联接

摘要：联接算法是指sqlserver用于处理联接的物理策略，它支持三种联接算法，嵌套循环(nested loops)合并(merge)以及哈希算法．练习题：create table dbo.arrays(arrid varchar(10) not null primary key,array varchar(8000) not null)goinsert into arrays(arrid,array)values('a','20,223,2544,25567,14'),('B','30,-23433,28'),('C' 阅读全文

posted @ 2011-08-07 13:24 tneduts 阅读(364) 评论(5) 推荐(1)

SQL练习题之子查询

摘要：题目是　create table salesproduct (sid int,pid int)要求:查出pid中包含1,2,(3或4)的sid方法一使用独立子查询：View Code select sidfrom salesproductwhere pid=1andsid in(select sid from salesproduct where pid=2 )and (sid in(select sid from salesproduct where pid=3)or sid in (select sid from salesproduct where pid=4))方法二：使用关联子查询s 阅读全文

posted @ 2011-08-05 13:29 tneduts 阅读(599) 评论(1) 推荐(0)

TSQL近段使用总结

摘要：近两个月一直在做的项目是进行用户分析，其中主要的工作就是从两个数据量相对较大的表中汇总数据。1.由于表本身比较大，查询相对复杂，我就使用临时表，先根据查询条件过滤一部分数据到临时表中。2.再对临时表进行关联查询，这样降低联接时的数据量。查询前还对关键字段进行了索引。3.我设置了事务隔离级别为uncommited read.也可以在查询的时候在表后加with(nolock) 这样可以提高查询速度。下面的一个用户表值函数是常见的sqlserver中的类似split的函数，这个是自己写的。View Code CREATE FUNCTION uf_split( @string VARCHAR(500) 阅读全文

posted @ 2011-05-29 12:43 tneduts 阅读(313) 评论(0) 推荐(0)

jquery in action 学习笔记

摘要： 1面对对象的编程1.引用传递在javascript中,string int Boolean 不是按引用进行传递的.而对象和数组是按引用传递的.示例:2.每一个Function中都有一个上下文变量arguments,它是一个伪数组(不可以改变).它代表着当前Function的参数列表.在javascript中,变量的作用域是整个Function,而不是{}.这点有别于c#等其他语言.// A globally-scoped variable, containing the string 'test'var test = "test";// You'll notice that our 'glob 阅读全文

posted @ 2011-02-16 23:12 tneduts 阅读(357) 评论(0) 推荐(0)

daily english 2011-1-7

摘要： you look great in this outfit.你穿这身看起来真棒! 阅读全文

posted @ 2011-01-07 14:38 tneduts 阅读(400) 评论(48) 推荐(0)

一个简单的windows services demo(c#)

摘要：功能:每三十分钟扫描进程,如果不存在进程fromdemo.exe.则启动该应用程序.1.检测进程进否存在代码2.建一个windows services 工程,添加一个System.Timers.Timer来使用. // Create a timer with a 60*5 second interval.aTimer = new System.Timers.Timer(60000*30); aTimer.Elapsed += new ElapsedEventHandler(OnTimedEvent); aTimer.Enabled = true; 在OnTimedEvent里写要处理的内容.代阅读全文

posted @ 2011-01-04 15:05 tneduts 阅读(594) 评论(0) 推荐(0)

递归显示treeview，求更好方法

摘要：递归显示菜单或者treeview是一个常见的功能，一直用下面的这种写法，自己也不太清楚其缺点，而且希望能够得到大侠指点，得到更好的方法，以望在以后的工作学习中能够写出更高效的代码来完成类似的任务。求分享。递归显示treeview，方法如下，求更好方法：第一步先虚拟一个数据源：代码第二步：添加根结点，并调用递归函数生成结点。代码求更好的方法阅读全文

posted @ 2010-12-24 06:42 tneduts 阅读(425) 评论(5) 推荐(0)

TSQL基础之常用函数

摘要：以下资料整理自MSDNSQL Server 2008 R2 1.QUOTENAME 返回带有分隔符的 Unicode 字符串，分隔符的加入可使输入的字符串成为有效的 SQL Server 分隔标识符。返回类型 nvarchar(258)下面是结果集：阅读全文

posted @ 2010-12-08 10:20 tneduts 阅读(447) 评论(1) 推荐(0)

关于td的固定宽度和强制不换行的问题

摘要： 1.我使用的方法是在td中加入nowrap='nowrap'　2.其他方法：1. table 的style里加 table-layout:fixed (好像有时不需要）2. td的style里加white-space:nowrap;overflow:hidden;word-break:break-all; 用来防止换行3. 然后在td里加一个divdiv style=”width:350px;overflow:hidden;” nowrap…/div（信息来自：http://devblog.ns-soft.com/index.php/p/91/）在css中控制强制换行或不换行的写法为：语阅读全文

posted @ 2010-12-07 12:25 tneduts 阅读(1191) 评论(0) 推荐(0)

导航

公告