2013年12月13日

20131213

摘要: 资产负债管理系统:在Hadoop上实现。Mysql---》文件---》合成大文件-----》mapreduce(当前时点余额)-----》mapreduce(现金流)-----》mapreduce(未来时点余额)根据这三个文件实现报表。目录管理,xml文件配置。报表文件-----》Mysql---》liferay流程控制,jobcontroll controlledjob来实现依赖关系。Key基本固定不变,账号,机构号,科目号。 阅读全文

posted @ 2013-12-13 22:56 Ysan23 阅读(102) 评论(0) 推荐(0)

2013年12月12日

20131212

摘要: hadoop:pigJava语言,写在mapreduce上。load dump 写数据,读数据。Hive表 外表 桶 分区。桶里面一个文件分区目录下文件。oracle:索引,过滤掉大部分数据。索引书的目录,按照页码查找,不用全表扫 阅读全文

posted @ 2013-12-12 19:36 Ysan23 阅读(99) 评论(0) 推荐(0)

2013年12月11日

20131211

摘要: 2013.12.06奶奶走了,oracle:优化索引很重要,改变了执行计划,不是全表扫。去北京Oracle学习大数据,主要要知道环境搭建,Pig,Hive ODBC ODI for hadoop NOsql数据库。R语言。延展性很重要,真正得大数据才能体现Hadoop重要。小数据量麻烦,主要是业务,并不是技术。(优化是一方面) 阅读全文

posted @ 2013-12-11 21:27 Ysan23 阅读(75) 评论(0) 推荐(0)

2013年12月5日

20131205

摘要: 对前几天的总结:数据仓库:对于对公短信提醒测试,改造。工商验资需求分析。差额提醒,对于重复数据,对公7天提醒,对私7天,3天提醒。社保需求,先取出所有对于核心有流水的对应社保账号的流水。在取对手信息,用流水做关联。各种渠道。刷数,记住往ADS_H放。Goldengate:检核方案,Java实现平台。Hadoop:对于前台展示,SAS,Qlikview的学习。load procedure即可。 阅读全文

posted @ 2013-12-05 19:04 Ysan23 阅读(106) 评论(0) 推荐(0)

2013年11月28日

20131128

摘要: 数据仓库:APS资产保全 substrb()文字截窜up_aps中也要改自动化,把日期改过来。 文件删除,自动跑。 阅读全文

posted @ 2013-11-28 20:22 Ysan23 阅读(95) 评论(0) 推荐(0)

2013年11月25日

20131125

摘要: Hadoop演讲:大家好,首先我先说一下我今天主要介绍的几个内容 1hadoop简单介绍以及安装2hadoop中mapreduce在CRM客户分配场景中的具体应用3数据挖掘数据分析方面利用Hadoop上的应用Mahout来实现经典的聚类算法。首先我先介绍一下HADOOP,介绍Hadoop,我们就是要说hadoop是什么 hadoop能做些什么 对我们有什么帮助。hadoop是云计算的一种,云计算就是把执行的任务作业,分布到各个计算机上执行,汇成数据池。提供一种商业的服务。另外Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,HADOOP有俩大核心组成,HDFS分布式的数据存储 阅读全文

posted @ 2013-11-25 21:24 Ysan23 阅读(149) 评论(0) 推荐(0)

2013年11月24日

20131124

摘要: Oracle:查询索引失效。 drop索引,新建索引local nologging parrallel 8; 分区索引压水为限操作,行迁移。 enable row movement shunk space; 释放空间元数据管理系统:Pmanager 阅读全文

posted @ 2013-11-24 19:07 Ysan23 阅读(110) 评论(0) 推荐(0)

2013年11月22日

20131122

摘要: Goldengate:vericom 进行at 时间点的 while true test.sh sleep 5 end定时执行脚本JobHadoop:加油,云计算 不要放弃。 回吉林做云计算平台。 阅读全文

posted @ 2013-11-22 23:23 Ysan23 阅读(124) 评论(0) 推荐(0)

2013年11月20日

20131120

摘要: Goldengate:Director 配置 可以有表中的错误来显示在前台,把Veridata和director结合。建立一张表进行翻译后展示在前台界面。 阅读全文

posted @ 2013-11-20 21:59 Ysan23 阅读(111) 评论(0) 推荐(0)

2013年11月19日

20131119

摘要: 数据仓库:查问题思路,odi配置,director。CMS_BIZ_JJ 信贷借据表,有的借据状态不取。电影:《地心引力》80分钟,一直在听女的喘息声。。。还是3D 阅读全文

posted @ 2013-11-19 21:30 Ysan23 阅读(102) 评论(0) 推荐(0)

导航