05 2017 档案

Git修改IP重新定位的方法
摘要：进入已clone项目的.git文件夹，打开config文件 打开config，如图显示，修改url中的IP为192.168.6.102，然后保存 在项目上右击选择属性（R）,然后选择Git，即可看到当前项目的跟踪远端网址： 阅读全文
posted @ 2017-05-31 11:25 一心行走 阅读(5369) 评论(0) 推荐(0)
JVM技术部分总结
摘要：1、JVM内存模型 1.1 JVM内存模型图解 Java虚拟机在执行Java程序的过程中，会把它所管理的内存划分为若干个不同的数据区。这些区域有各自的用途，以及创建和销毁的时间，有的区域随着虚拟机进程的启动而存在，有的区域则依赖用户线程的启动和结束而建立和销毁，我们可以将这些区域统称为Java运行时 阅读全文
posted @ 2017-05-31 11:08 一心行走 阅读(1459) 评论(0) 推荐(0)
Spark Streaming的样本demo统计
摘要：废话不多说，直接上代码 阅读全文
posted @ 2017-05-25 09:02 一心行走 阅读(2380) 评论(0) 推荐(0)
压缩软件Snappy的安装
摘要：1、下载源码，通过编译源码安装 tar -zxvf /home/zfll/soft/snappy-1.1.2.tar.gz cd snappy-1.1.2 ./configure make sudo make install（输入root的密码）2、安装hadoop-snappy包 解压 unzip 阅读全文
posted @ 2017-05-24 20:55 一心行走 阅读(5992) 评论(0) 推荐(0)
ElasticSearch和Hive做整合
摘要：1、上传elasticsearh-hadoop的jar包到server1-hadoop-namenode-01上 在server1-hadoop-namenode-01上执行： cp /home/dinpay/soft/elasticsearch-hadoop-2.3.4.jar /home/din 阅读全文
posted @ 2017-05-24 20:20 一心行走 阅读(2499) 评论(0) 推荐(0)
Linux下ntp时间同步
摘要：在root用户下执行 先安装同步时间软件，每台机器执行 yum install -y ntp 然后执行以下命令： crontab -e */10 * * * * /usr/sbin/ntpdate -u time.nist.gov 然后保存退出 esc :wq service crond resta 阅读全文
posted @ 2017-05-24 20:18 一心行走 阅读(350) 评论(0) 推荐(0)
通过Java的Domain类构建ElasticSearch的mapping
摘要：通过给定一个Java的class类自行创建ElasticSearch的mapping Order的domain类 用于构建elasticsearch的mapping启动类 关于elasticsearch mapping字段手动增加 curl -XPUT http://192.168.46.165:9 阅读全文
posted @ 2017-05-24 17:45 一心行走 阅读(3606) 评论(0) 推荐(0)
ntp时间服务同步
摘要：第一种方式：同步到网络时间服务器 # ntpdate time.windows.com将硬件时间设置为当前系统时间。 #hwclock –w 加入crontab： 30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8 阅读全文
posted @ 2017-05-23 21:56 一心行走 阅读(642) 评论(0) 推荐(0)
Hadoop一些问题总结
摘要：1、运行mr程序出错 connecting to resoucemanager retrying .... retrying ..... 原因是没有启动yarn或者启动失败 2、初始化工作目录结构 hdfs namenode -format 只是初始化了namenode的工作目录 而datanode 阅读全文
posted @ 2017-05-23 21:52 一心行走 阅读(371) 评论(0) 推荐(0)
Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6
摘要：Maven引入Hadoop依赖报错：Missing artifact jdk.tools:jdk.tools:jar:1.6 原因是缺少tools.jar的依赖，tools.jar在jdk的安装目录中提供了，所以改成如下形式解决此问题：添加依赖 阅读全文
posted @ 2017-05-23 21:47 一心行走 阅读(1706) 评论(0) 推荐(0)
HDFS冗余数据块的自动删除
摘要：HDFS冗余数据块的自动删除 在日常维护hadoop集群的过程中发现这样一种情况： 某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的 阅读全文
posted @ 2017-05-23 21:43 一心行走 阅读(479) 评论(0) 推荐(0)
Hadoop本地调试
摘要：windows上先调试该程序，然后再转到linux下。 程序运行的过程中， 报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executabl 阅读全文
posted @ 2017-05-23 21:38 一心行走 阅读(263) 评论(0) 推荐(0)
Hadoop部署启动异常问题排查
摘要：hadoop的日志目录（/home/hadoop/app/hadoop-2.6.4/logs） 1、hadoop启动不正常用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里： a、在服务器的终端命令行使用jps查看相关进程 （namenode1个节点 datanode3个节点 阅读全文
posted @ 2017-05-23 21:31 一心行走 阅读(724) 评论(0) 推荐(0)
hadoop datanode节点超时时间设置
摘要：datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * 阅读全文
posted @ 2017-05-23 21:24 一心行走 阅读(1376) 评论(0) 推荐(0)
解决"libc.so.6: version `GLIBC_2.14' not found"问题
摘要：试图运行程序，提示"libc.so.6: version `GLIBC_2.14' not found",原因是系统的glibc版本太低，软件编译时使用了较高版本的glibc引起的：问题Centos 自动更新glibc-2.14 2.查看系统glibc支持的版本： strings /lib64/li 阅读全文
posted @ 2017-05-18 20:47 一心行走 阅读(2210) 评论(0) 推荐(0)
redis参数配置
摘要：redis.conf配置文件 配置项 值 说明 slave-read-only yes slave是否只读 slave-serve-stale-data yes 当slave与master断开连接，slave是否继续提供服务 appendonly yes 开启aof daemonize yes 守护 阅读全文
posted @ 2017-05-18 20:42 一心行走 阅读(501) 评论(0) 推荐(0)
redis集群搭建
摘要：一、redis集群说明 集群采用一主三从，总共3主9从，总共12台，每个机房中放置一主三从 每个机房中放置其他机房的一从，达到高可用性 二、集群搭建 1.redis集群的搭建 1.1修改系统参数 1.使用root账户修改 /etc/security/limits.conf 添加 * soft nof 阅读全文
posted @ 2017-05-18 20:40 一心行走 阅读(310) 评论(0) 推荐(0)
Zookeeper安装
摘要：（1）解压 tar -zxvf zookeeper-3.4.5.tar.gz（2）重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹 zookeeper-3.4.5为zookeeper）（3）修改环境变量 vi ~/.bash_profile 添加内容： export Z 阅读全文
posted @ 2017-05-18 20:37 一心行走 阅读(173) 评论(0) 推荐(0)
Codis的了解和操作
摘要：1、Codis的基本架构 2、Codis各组件 Codis-server:就是redis服务，可以使用codis修改的reids和原生的redis Codis-proxy:客户端连接的代理服务，客户端可以直接连 Codis-dashboard:集群管理工具，对codis-proxy,和codis-s 阅读全文
posted @ 2017-05-18 20:35 一心行走 阅读(1870) 评论(0) 推荐(0)
Codis的安装
摘要：其他环境准备： 安装JDK，安装Zookeeper 1、创建codis账户 useradd codis passwd codis 2、解压codis3.1.3-go1.7.4-linux.tar.gz到/home/codis/目录下 进入bin目录下 (1)、启动dashboard 1) 初始化生成 阅读全文
posted @ 2017-05-18 20:04 一心行走 阅读(3786) 评论(0) 推荐(1)
Codis的源码编译生成tar包
摘要：一、Go环境的安装 1、下载地址 https://golang.org/dl/2、解压 tar -zxvf go1.7.1.linux-amd64.tar.gz -C /usr/local 3、修改配置文件 vi /etc/profile export GOROOT=/usr/local/go ex 阅读全文
posted @ 2017-05-18 17:29 一心行走 阅读(548) 评论(0) 推荐(0)
Jenkins安装war版本
摘要：Jenkins的war包安装很简单： 下载jenkins的war包地址：https://jenkins.io/download/ 选择对应的版本 然后放入tomcat启动就好，其他根据提示来就好，比较重要的步骤 1、安装插件 需要安装maven插件才能构建maven项目 2、需要安装自己的git客户 阅读全文
posted @ 2017-05-18 13:10 一心行走 阅读(3784) 评论(0) 推荐(0)
Eclipse中src/main/resources配置文件启动问题
摘要：项目pom文件有做修改如下的时候，还没有进行mvn clean install 启动test项目中的appcontext会 可以手动清空 然后就可以了。 出现如下问题的原因是 配置文件默认输出到target/classes 下 项目启动默认也会找该目录下的配置文件 其实这里pom文件拷贝配置文件只是 阅读全文
posted @ 2017-05-16 08:18 一心行走 阅读(1203) 评论(0) 推荐(0)
关于Web项目的pom文件处理
摘要：pom文件的方式需要修改的是 <packaging>war</packaging> 这里需要将那个web.xml拷贝到相应的目录下 该插件有待后续研究 阅读全文
posted @ 2017-05-15 09:54 一心行走 阅读(1763) 评论(0) 推荐(0)
maven使用过程中打包的构建方式
只有注册用户登录后才能阅读该文。
posted @ 2017-05-14 18:50 一心行走
spark streaming的理解和应用
摘要：1、Spark Streaming简介 官方网站解释：http://spark.apache.org/docs/latest/streaming-programming-guide.html 该博客转载于：http://www.cnblogs.com/shishanyuan/p/4747735.ht 阅读全文
posted @ 2017-05-10 09:53 一心行走 阅读(13719) 评论(0) 推荐(1)
Azkaban安装
摘要：1、Azkaban安装部署 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz 2、安装 将安装文件上传到集群,最好上传到安装 spark，hive、 阅读全文
posted @ 2017-05-09 19:35 一心行走 阅读(2222) 评论(0) 推荐(0)
Mysql安装
摘要：1、上传文件并进行解压 cd /usr/local tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz 2、重命名 mv mysql-5.6.33-linux-glibc2.5-x86_64 mysql 3、添加用户和用户组 groupadd my 阅读全文
posted @ 2017-05-09 08:46 一心行走 阅读(163) 评论(0) 推荐(0)