2017年7月26日
linux安装jdk_1.8
摘要： 转载自http://blog.csdn.net/ldl22847/article/details/76056501.下载jdk的rpm安装包，这里以jdk-8u141-linux-x64.rpm为例进行说明 下载地址：http://www.oracle.com/technetwork/java/ja 阅读全文
posted @ 2017-07-26 14:46 RoyFans 阅读(1744) 评论(0) 推荐(0)
linux 挂载光盘:mount: you must specify the filesystem type
摘要： 今天在虚拟机上挂载光盘时提示： [root@primary dev]# mount /dev/cdrom /mnt/cdrom mount: you must specify the filesystem type 处理方法： 虚拟机－〉setting->cd/dvd－〉device status- 阅读全文
posted @ 2017-07-26 10:37 RoyFans 阅读(1238) 评论(0) 推荐(0)
2017年7月25日
python 常用 time, datetime处理
摘要： python 中 time 有三种格式： float, struct tuple(time.struct_time 或 datetime.datetime), str 常用的： float --> struct tuple: time.localtime( float ) struct time t 阅读全文
posted @ 2017-07-25 11:00 RoyFans 阅读(957) 评论(0) 推荐(0)
Python定时执行脚本
摘要： 最近测试hbase，老发现服务挂掉，自己不能及时发现，想了想，写了个脚本，让脚本每个小时执行一次，以便检测是否有服务挂掉，如果有服务挂掉，及时启动 这个代码也可以扩展，把hours=1改成minutes=1就变成了每个小时定时任务，改成days=1就变成每天的定时任务 阅读全文
posted @ 2017-07-25 11:00 RoyFans 阅读(11680) 评论(0) 推荐(0)
测试用例编写（功能测试框架）
摘要： 测试用例的编写需要按照一定的思路进行，而不是想到哪写到哪，一般测试机制成熟的公司都会有公司自己自定义的测试用例模板，以及一整套的测试流程关注点，当然我们自己在测试生涯中也应当积累一套自己的测试框架，所有功能性的测试都可以依据框架的思路来进行，达到事半功倍的效果。 功能测试框架可以包括：界面友好性测试 阅读全文
posted @ 2017-07-25 09:16 RoyFans 阅读(3874) 评论(0) 推荐(0)
2017年7月24日
zookeeper单机版安装
摘要： 一、zookeeper单机版安装 下载zookeeper-3.4.6.tar.gz 解压在/opt目录下 在/home/zookeeper-3.4.6目录下创建以下目录： mkdir data mkdir logs 将/opt/zookeeper-3.4.6/conf/下的zoo.sample.cf 阅读全文
posted @ 2017-07-24 17:49 RoyFans 阅读(298) 评论(0) 推荐(0)
2017年7月23日
使用nose_parameterized使unitTest实现参数化
摘要： nose-parameterized是一个针对Python单元测试框架实现参数化的扩展 或者： 运行结果 当相同入参和断言结果的用例越多，这种写法用起来越爽！ 说明： 阅读全文
posted @ 2017-07-23 22:09 RoyFans 阅读(2928) 评论(0) 推荐(0)
免秘钥登录命令
摘要： #ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 生成秘钥 #cd ~/.ssh/ id_dsa id_dsa.pub known_hosts id_dsa 私钥（给自己用） id_dsa.pub（给别人用） 把公钥文件追加到本地的认证文件中去 #cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 就可以免密... 阅读全文
posted @ 2017-07-23 16:47 RoyFans 阅读(296) 评论(0) 推荐(0)
2017年7月21日
hive批量执行sql命令及使用小技巧
摘要： root@hadoop-senior hive-0.13.1]$ bin/hive -helpusage: hive -d,　--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --d 阅读全文
posted @ 2017-07-21 17:33 RoyFans 阅读(8268) 评论(0) 推荐(0)
查看hive的配置信息
摘要： 在启动hive时设置配置属性信息 $ bin/hive --hiveconf <property=value> 查看当前所有的配置信息 hive > set ; hive (db_hive)> set system:user.name ; system:user.name=root hive (db 阅读全文
posted @ 2017-07-21 17:24 RoyFans 阅读(7010) 评论(0) 推荐(1)
在cli命令行上显示当前数据库，以及查询表的行头信息
摘要： 在$HIVE_HOME/conf/hive-site.xml文件下加入以下配置文件 这样在客户端就可以显示所在的数据库了。 阅读全文
posted @ 2017-07-21 14:26 RoyFans 阅读(447) 评论(0) 推荐(0)
详解mysql数据库的左连接、右连接、内连接的区别
摘要： 看到没有？ 只有一条记录。内连接就是只取出符合过滤条件的记录 也就是t1.id=t2.id 那么符合t1.id=t2.id的记录只有id=1这一条，所以只显示一条。 不像外连接，是将你作为基准的表（左外连接就是左边表为基准，右外连接就是右边表为基准）的所有行都显示出来。 转载地址：https://z 阅读全文
posted @ 2017-07-21 10:08 RoyFans 阅读(2246) 评论(0) 推荐(1)
2017年7月20日
2、hive的基本操作
摘要： 1、创建数据库和表 1）创建数据库 2）创建表 或者 加载分区表数据： 4、显示表结构 5、更新表名称： 6、添加新一列： 7、删除表： 删除表中数据，但要保持表的结构定义 8、从本地文件加载数据： 9、显示所有函数、查看所有函数用法 10、查看数组、map结构 11、内连接 查看hive为某个查询 阅读全文
posted @ 2017-07-20 18:04 RoyFans 阅读(315) 评论(0) 推荐(0)
hive查询表，返回结果是null
摘要： 问题：hive查询表，返回结果都是null hive> create table testTable(id int, name string); hive> load data local inpath '/home/test.txt' into table testTable; 其中“/home/ 阅读全文
posted @ 2017-07-20 16:27 RoyFans 阅读(2308) 评论(0) 推荐(0)
大数据时代的技术hive：hive的数据类型和数据模型
摘要： 在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。 关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称 阅读全文
posted @ 2017-07-20 15:55 RoyFans 阅读(326) 评论(0) 推荐(0)
hive介绍
摘要： 我最近研究了hive的相关技术，有点心得，这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性： 1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapRedu 阅读全文
posted @ 2017-07-20 11:00 RoyFans 阅读(392) 评论(0) 推荐(0)
1、hive安装详细步骤
摘要： 一、环境准备 hadoop-2.7.2 java 1.7.0 apache-hive-1.2.1 mysql Hive配置文件介绍 •hive-site.xml hive的配置文件 •hive-env.sh hive的运行环境文件 •hive-default.xml.template 默认模板 •h 阅读全文
posted @ 2017-07-20 10:44 RoyFans 阅读(722) 评论(0) 推荐(0)
hive 安装警告 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
摘要： 解决方法： 在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。 在配置文件里面： <property> <name>hive.metastore.local</name> <value>false</value> </property> 删除掉，再次 阅读全文
posted @ 2017-07-20 09:47 RoyFans 阅读(7529) 评论(0) 推荐(0)
2017年7月19日
Can’t connect to local MySQL server through socket 解决办法
摘要： 启动mysql 报错： ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2) 1、先查看 /etc/rc.d/init.d/mysqld statu 阅读全文
posted @ 2017-07-19 17:41 RoyFans 阅读(419) 评论(0) 推荐(0)
hbase shell编码显示中文
摘要： 最近测试hbase shell，碰到个中文显示编码问题，最后通过Python解决了问题，具体操作如下： 把value的值复制到Python命令行，操作如下： ok，这样就可以显示中文了。 阅读全文
posted @ 2017-07-19 16:51 RoyFans 阅读(8067) 评论(0) 推荐(0)