摘要: test Java虚拟机内存机制 测试部分 第一条 test 阅读全文
posted @ 2016-10-14 12:47 于辰 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 1. -----------自动代码-------- 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 例如要输入for(User user : users)只需输入user.for+Tab 再比如,要输入Date birthday = user.getBirthday();只需输入user.getBirthday... 阅读全文
posted @ 2016-02-25 23:12 于辰 阅读(715) 评论(0) 推荐(0) 编辑
摘要: 修改配置文件:/etc/sysconfig/network-scripts/ifcfg-eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 在里面添加上dns解析的配置即可: 重新network: service network restart 阅读全文
posted @ 2016-01-30 21:37 于辰 阅读(352) 评论(0) 推荐(0) 编辑
摘要: 一、说明: 本文的目的是实现在windows机器上利用远程桌面连接来访问远程的linux桌面。 这里使用的是阿里云服务器,操作系统为Centos6.5。 二、基本步骤: 1、首先保证服务器已经安装完毕。 2、安装桌面环境,使用下述的命令: yum groupinstall "Desktop" 3、安装xrdp服务器,使用如下命令: yum install xrdp ... 阅读全文
posted @ 2016-01-30 20:48 于辰 阅读(5001) 评论(1) 推荐(0) 编辑
摘要: 一、概述: 在实际使用hadoop的过程中,由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时,快速定位到错误出现的地方尤为重要。 在排查错误的过程中,基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。 二、Java heap: hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态,就是需要检测的一个... 阅读全文
posted @ 2016-01-27 16:46 于辰 阅读(1239) 评论(0) 推荐(0) 编辑
摘要: 一、概述: 在实际的生产环境中,一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件: #agent1 name agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory... 阅读全文
posted @ 2016-01-24 11:46 于辰 阅读(981) 评论(0) 推荐(0) 编辑
摘要: 一、概述: 本节首先提供一个基于netcat的source+channel(memory)+sink(logger)的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件: 下面的配置文件netcat.conf中定义了source使用netcat,它会监听44444端口。 # Name the components on this agent ... 阅读全文
posted @ 2016-01-22 21:54 于辰 阅读(5553) 评论(0) 推荐(1) 编辑
摘要: 上一节搭建了flume的简单运行环境,并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图: 下面这个图基本说明了flume的作用,以及flume中的基本组件:source、channel、sink。 Source:完成对日志数据的收集,分成transtion 和 event 打入到channel之中。 Channel:主要提... 阅读全文
posted @ 2016-01-22 17:42 于辰 阅读(709) 评论(0) 推荐(0) 编辑
摘要: 一、概述: Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。 先来看几张数据流图: 从上面的图大致可以知道,flume就是将sou... 阅读全文
posted @ 2016-01-20 20:02 于辰 阅读(485) 评论(0) 推荐(0) 编辑
摘要: 在使用ntpdate同步时间时出现上述错误: ntpdate[46700]: no server suitable for synchronization found 没有找到好的解决方案,只能换另外一个工具来完成时间同步。 这里使用的Centos6.5,yum源使用的是阿里云的镜像。 yum install -y rdate 安装完毕后,使用下述命令即可。 rdat... 阅读全文
posted @ 2016-01-20 11:13 于辰 阅读(10968) 评论(0) 推荐(0) 编辑
摘要: 一、安装模式介绍: Hive官网上介绍了Hive的3种安装方式,分别对应不同的应用场景。 1、内嵌模式(元数据保村在内嵌的derby种,允许一个会话链接,尝试多个会话链接时会报错) 2、本地模式(本地安装mysql 替代derby存储元数据) 3、远程模式(远程安装mysql 替代derby存储元数据) 二、安装环境以及前提说明: 首先,Hi... 阅读全文
posted @ 2016-01-07 00:25 于辰 阅读(16419) 评论(0) 推荐(0) 编辑
摘要: 此种方式不能直接在eclipse中调试代码。 首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml 1、在本地直接调用,执行过程在服务器上(真正企业运行环境) a、首先把MR程序打包(jar),直接放到本地,比如C:\\Users\\Administrator\\Des... 阅读全文
posted @ 2016-01-05 12:35 于辰 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 本文的目的是实现在windows环境下实现模拟运行Map/Reduce程序。最终实现效果:MapReduce程序不会被提交到实际集群,但是运算结果会写入到集群的HDFS系统中。 一、环境说明: 操作系统:win7 eclipse:Version: Mars Release (4.5.0) hadoop:2.5.1 二、预备文档(仅是说明,以第三步为准): Sys... 阅读全文
posted @ 2016-01-05 12:14 于辰 阅读(6251) 评论(3) 推荐(0) 编辑
摘要: 一、环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本:java version "1.7.0... 阅读全文
posted @ 2016-01-04 19:35 于辰 阅读(293) 评论(0) 推荐(0) 编辑
摘要: 一、环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本:java version "1.7.0_79" hadoop版本:Apache hadoop-2.5.2... 阅读全文
posted @ 2016-01-01 12:19 于辰 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 一、环境说明: 操作系统:Centos-6.5_x86_64 keepalived软件安装在node2和node3机器上。 实际安装之前,先关闭keepalived节点(node2,node3)上的防火墙。 [root@node2 ~]# service iptables stop 二、软件安装: 这里需要安装的软件是keepalived。node... 阅读全文
posted @ 2015-12-28 18:26 于辰 阅读(304) 评论(0) 推荐(0) 编辑
摘要: 这个标题其实有些让人费解,因为会想这个提交是动词还是名称? 提交动作是通过git commit命令来实现的,提交之后会在对象库中新增一个提交对象。提交过程中会发生哪些变化,在上一篇笔记里面已经介绍过,看下那几张过程图就可以了。 需要明确的是,在Git中,版本库的变更和提交是一一对应的关系,也就是说,提交是将变更引入到版本库的唯一方法。 Git在提交时,会记录索... 阅读全文
posted @ 2015-12-05 21:43 于辰 阅读(1054) 评论(0) 推荐(0) 编辑
摘要: 可以认为使用Git时,我们会遇到3个空间:工作目录、索引、版本库。我们关心的,就是在新建、修改等操作时,这三者之间发生了怎样的变化。 笼统的讲,就是在工作目录下编辑,在索引中积累修改,然后把索引中累计的修改作为一次性的变更提交给版本库。 这就意味着,可以在最终提交前添加、删除、移动或者重复编辑文件,只有在提交后才会在版本库里实现累计的变更。 本章将介绍如何管理... 阅读全文
posted @ 2015-12-02 22:31 于辰 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 为了更近一步的学习和理解Git的理念,这一节介绍一下Git中的一些基本概念。 基本概念 对象库图示 Git在工作时的概念 一、基本概念: 1、版本库: Git的版本库就是一个简单的数据库,其中包含所有用来维护和管理项目的修订版本和历史的信息。 Git不仅提供版本库中所有文件的副本,还提供了版本库本身的副本。 Git在每个版本库里维护... 阅读全文
posted @ 2015-11-30 22:38 于辰 阅读(430) 评论(0) 推荐(0) 编辑
摘要: 最近经常遇myEclipse以debug方式启动tomcat的错误提示如下: 直接run方式启动没有问题。 一般这个问题等一会就不再出现,如果有耐心的话,就等几分钟再启动。如果没有耐心,可以试试下面的两个办法。 解决办法一: 在win下使用 netsh winsock reset 可以解决此问题 解决办法二: 用360安全卫士里面的修复网络功能修复了一下。 阅读全文
posted @ 2015-11-30 14:17 于辰 阅读(298) 评论(0) 推荐(0) 编辑