随笔分类 -  系统工具

LoadRunner使用问题
摘要：最近给客户做POC,为了测试大数据的框架的一个并发能力，使用loadrunner进行相关的测试，目前发现几个要注意的地方 1: loadrunner的Java脚本必须使用jdk1.6的32位版本 2：loadrunner的java vuser只能运行在windows操作系统上 3：loadrunne 阅读全文
posted @ 2015-11-17 20:33 高兴的博客 阅读(382) 评论(0) 推荐(0)
IDEA小技巧：添加代码快捷方式
摘要：非常怀恋eclipse的的代码快捷方式tryc,今天给IDEA也添加了一个 阅读全文
posted @ 2015-11-06 22:35 高兴的博客 阅读(1054) 评论(0) 推荐(0)
使用python进行数据转码
摘要：大数据最烦的就是数据质量差，为了把数据导入到sequoiadb中，需要要求文本是UTF-8模式的，使用enca查看文件编码是gb2312，然后是enca转utf-8报错。google了整个地球都不知道原因，尝试使用python进行转码# -*- coding: utf-8 -*-import cod... 阅读全文
posted @ 2015-10-28 18:12 高兴的博客 阅读(2061) 评论(1) 推荐(0)
使用IDEA编译spark 1.5并运行example的代码
摘要：操作系统：windows 10 IDEA ： IDEA 14.1.4 1：使用IDEA导入spark 1.5的源码，注意maven配置为自动导入 2：在maven窗口下的profiles中勾选hadoop, hive ,hive-thriftserver,yarn的选项。 3： 在maven窗口下勾 阅读全文
posted @ 2015-09-12 22:03 高兴的博客 阅读(1697) 评论(0) 推荐(0)
virtualbox复制虚拟机网络问题
摘要：virtulbox复制虚拟机由于mac地址问题会导致网卡不可以用 1：修改mac地址 需要在virtualbox修改虚拟机网络选项卡下面的mac地址 2：修改ifcfg-eth0 把HWADDR的值设置为上面的值 3：删除/etc/udev/rules.d/70-persistent-net.rul 阅读全文
posted @ 2015-09-12 15:24 高兴的博客 阅读(403) 评论(0) 推荐(0)
ubuntu 15.04默认root用户登陆
摘要：1:给root用户设置密码 sudo passwd root 2:修改/etc/lightdm/lightdm.conf [SeatDefaults]autologin-guest=falseautologin-user=rootautologin-user-timeout=0autologin-s 阅读全文
posted @ 2015-08-13 12:09 高兴的博客 阅读(521) 评论(0) 推荐(0)
hive和sequoiadb对接的问题
摘要：使用hive和spark对接的时候，当两个表做JOIN的时候，如果表的数据量很大一定要做set hive.auto.convert.join=false 阅读全文
posted @ 2015-07-30 16:45 高兴的博客 阅读(232) 评论(0) 推荐(0)
kafka安装
摘要：最近做一个项目的POC测试，打通了DB2->OGG->KAFKA->SPARK STREAMING->SEQUOIADB整套流程， 完成数据的实时更新，下面讲下kafka的安装kafka的安装需要zookeeper,kafka自己带了zookeeper组件，只要自己配置下config/zoookee... 阅读全文
posted @ 2015-05-22 12:46 高兴的博客 阅读(528) 评论(0) 推荐(0)
在windows远程提交任务给Hadoop集群（Hadoop 2.6）
摘要：我使用3台Centos虚拟机搭建了一个Hadoop2.6的集群。希望在windows7上面使用IDEA开发mapreduce程序，然后提交的远程的Hadoop集群上执行。经过不懈的google终于搞定 开始我使用hadoop的eclipse插件来执行job，竟然成功了，后来发现mapreduce是在 阅读全文
posted @ 2015-04-29 20:04 高兴的博客 阅读(12045) 评论(0) 推荐(0)
使用IDEA开发SPARK提交remote cluster执行
摘要：开发环境 操作系统：windows 开发工具：IntelliJ IDEA 14.1.1 需要安装scala插件 编译环境：jdk 1.7 scala 2.10.4 使用IDEA开发spark应用 1：新建scala项目： 2：选择scala版本，需要spark的scala版本对应 点击上图Scala 阅读全文
posted @ 2015-04-10 13:38 高兴的博客 阅读(15178) 评论(0) 推荐(2)
自定义select样式
摘要：Email asdfasfd Email 用户名 好久没用jquery了，写的很烂，但是大致逻辑实现了，希望哪位能优化下 阅读全文
posted @ 2015-03-31 15:02 高兴的博客 阅读(962) 评论(0) 推荐(0)
LVM扩展学习日志
摘要：lvm是逻辑卷管理的简称，它将一个或多个物理硬盘分区(PV)组成一个逻辑硬盘(VG)来使用, 然后从这个VG中划分出逻辑分区（LV), 以上概念是我理解的东西，可能和书上的不一样。 以下所有命令都是在CENTOS6.5上进行操作的 1：对磁盘进行分区 使用fdisk对磁盘进行分区。注意分区的格式，L 阅读全文
posted @ 2015-03-28 17:08 高兴的博客 阅读(655) 评论(0) 推荐(0)
向maven中央仓库提交jar
摘要：从来都是从中央仓库下载jar,这次需要向中央仓库提交jar, 利用Sonatype OSSRH可以把jar等资源提交给Maven的中央仓库。Sonatype OSSRH介绍：Sonatype OSSRH使用Nexus为开源项目提供仓库管理服务，该仓库就是所谓maven的中央仓库，OSSRH允许我们向... 阅读全文
posted @ 2015-03-23 14:50 高兴的博客 阅读(32010) 评论(3) 推荐(2)
centos中JDK版本冲突的问题
摘要：在centos环境下，我JDK版本安装了jdk6,jdk7。系统还自带了一个JDK7. 我在查看JDK版本是，发现不是我在/etc/profile中配置的。1:which java查看Java的命令使用哪的： /usr/bin/java2：ll /usr/bin/javalrwxrwxrwx 1 r... 阅读全文
posted @ 2015-03-16 11:46 高兴的博客 阅读(439) 评论(1) 推荐(0)
ssh远程执行命令使用明文密码
摘要：经过不懈的搜索终于找到ssh远程执行命令使用明文密码使用sshpass.例子：sshpass -p "sequoiadb" ssh root@localhost "ls /"sshpass在centos无法直接安装cd /etc/yum.repos.d/wget http://download.o... 阅读全文
posted @ 2015-03-03 18:50 高兴的博客 阅读(6636) 评论(0) 推荐(0)
clions的使用
摘要：最近无聊玩了下CLion这个IDE,顺便学习了下CMAKE怎么使用。话说CLion的CMAKE的支持还不是特别的完好,和命令行模式还有有区别，有如下几个问题： 1：CMAKE的编译目录不能指定，而是IDE自己设置的一个随机目录，在setting设置也没有用， "C:\Program Files (x 阅读全文
posted @ 2015-02-26 17:37 高兴的博客 阅读(1118) 评论(0) 推荐(0)
python的远程调试（使用pycharm）
摘要：测试环境描述1：c++调用python,操作系统环境是linux 2：pycharm安装在windows 安装步骤 1：把pycharm-debug.egg上传到linux上面。 2：使用easy_install pycharm-debug.egg安装 3：设置pycharm的edit config 阅读全文
posted @ 2015-02-02 17:49 高兴的博客 阅读(4733) 评论(0) 推荐(0)
使用paramiko连接EC2主机
摘要：在亚马逊云上建的主机没有密码，只有一个PEM文件。所以paramiko需要通过该PEM文件登录云主机进行管理 有两种方式，第一种被我注解了 注意，使用PEM文件登录时需要安装一个python的模块，https://pypi.python.org/packages/source/e/ecdsa/ecd 阅读全文
posted @ 2015-01-29 09:57 高兴的博客 阅读(676) 评论(0) 推荐(0)
使用IDEA编译netty4
摘要：本来计划一天一篇博文的，结果周末加班加的不亦乐乎，对整个项目重构添加国际化的功能，不停的使用native2ascii工具 使用IDEA编译原有的netty4要报错，我修改了下pom.xml，编译成功了，同时把example的依赖模块的scope改为compile ，项目地址如下，我边看代码，边添加了 阅读全文
posted @ 2015-01-25 21:04 高兴的博客 阅读(3648) 评论(0) 推荐(0)