cangos

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

2017年3月2日

摘要: 1、编写UDF函数,来将原来创建的buck_ip_test表中的英文国籍转换成中文 iptest.txt文件内容: 表数据截图: UdfTest.java代码如下: 在eclipse测试无问题后,导出成utftest.jar并上传到服务器的/opt目录 然后在Hive中进行查询: 执行结果如下图: 阅读全文
posted @ 2017-03-02 15:07 cangos 阅读(8919) 评论(0) 推荐(0) 编辑

2017年2月23日

摘要: 一、Hive基本原理 hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类似sql查询(HQL)功能,可以将sql语句转换为MapReduce任务,避免开发专门的MapReduce应用,十分适合数据仓库的统计分析。 Hive将元数据存储在数据库(RDBMS 阅读全文
posted @ 2017-02-23 21:37 cangos 阅读(433) 评论(0) 推荐(0) 编辑

2017年2月22日

摘要: mapreduce中的reduce数量是由什么来进行控制的呢? 1、numReduceTasks 如下是用来进行测试的一段wordcount的代码 将上述代码打包成 parttest.jar,并上传到服务器的opt目录 创建文件/opt/test.txt,并上传到hdfs的/tmp目录下 文本内容如 阅读全文
posted @ 2017-02-22 18:21 cangos 阅读(7603) 评论(0) 推荐(1) 编辑

摘要: 3、流量监控汇总(使用LongWritable实现) 代码: 输出: 4、流量监控汇总(使用自定义的writable类NetflowWritable实现) 输出: 阅读全文
posted @ 2017-02-22 11:43 cangos 阅读(303) 评论(0) 推荐(0) 编辑

2017年2月20日

摘要: 本文中的代码基于CDH的5.6版本编写 1、MrTest程序,模拟wordcount 输入文件: 代码: 2、求最低温度 代码: 阅读全文
posted @ 2017-02-20 23:29 cangos 阅读(253) 评论(0) 推荐(0) 编辑

2012年2月20日

摘要: 1、创建oracle用户:create user test identified by test;使用select * from dba_users可以查询到所有的用户2、创建用户时指定表空间:create user test identified by test default tablespace test temporary tablespace temp;3、查看数据库的默认表空间: select * from database_properties其中: DEFAULT_PERMANENT_TABLESPACEUSER Name of default permanent tables 阅读全文
posted @ 2012-02-20 17:24 cangos 阅读(241) 评论(0) 推荐(0) 编辑

2012年2月8日

摘要: 1、selectROWID from TT WHERE ROWNUM=1 FOR UPDATE 获取到一个ROWID:'AAAOcTAAJAAAAASAAB'2、ROWID 可以分为4段进行解析,使用64进制方式存储 AAAOcTAAJ AAAAAS AAB 段名称 相对文件编号 数据块编号 数据块上第几条记录3、其中A-Z代表0-25,a-z代表26-51,0-9代表52-61,+代表62,/代表634、换算AAAOcT=14*64*64+28*64+19=59155AAJ=9 AAAAAS=18 AAB =15、通过select owner,object_name,obje 阅读全文
posted @ 2012-02-08 11:50 cangos 阅读(592) 评论(0) 推荐(0) 编辑

2012年1月25日

摘要: 1。问题描述SQL> alter tablespaceTEST RESIZE 50M;alter tablespace TEST RESIZE 50M;*第 1 行出现错误:ORA-32773: 不支持对小文件表空间TEST 的操作2。问题分析与解决SQL> alter database datafile 9 RESIZE 50M;数据库已更改。不是修改表空间而是修改数据文件 阅读全文
posted @ 2012-01-25 22:09 cangos 阅读(1959) 评论(0) 推荐(0) 编辑

2012年1月18日

摘要: oracle逻辑结构(logical structure)(1)、database-->tablespaces-->segments-->extents-->blocks-->os blocks(2)、查询dba_tablespaces可以查看所有的表空间 查询dba_data_files、dba_temp_files可以查看所有的数据文件 查询dba_segments可以查看表空间使用哪些段(3)、表空间分为三种: 永久:PERMANENT undo: 临时:TEMPORARY(4)、使用数据文件比使用临时文件产生更多的日志(5)、表定义存放在system表空间 阅读全文
posted @ 2012-01-18 15:48 cangos 阅读(206) 评论(0) 推荐(0) 编辑

2012年1月10日

摘要: 今天给虚拟机扩展了空间,就顺带着做一次表空间迁移。操作环境: 数据库:Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 表空间:LHRS 转移前使用的数据库文件:C:\oracle\product\10.2.0\oradata\orcl\LHRS01.DBF 转移后使用的数据库文件:D:\ORADATA\orcl\LHRS01.DBF 简要操作步骤: 前 提:手工将表空间所使用的数据库文件(C:\oracle\product\10.2.0\oradata\orcl\USERS01.DBF), 复制到你要转移的目录(D:... 阅读全文
posted @ 2012-01-10 17:31 cangos 阅读(5454) 评论(0) 推荐(0) 编辑