平野大荒

摘要： test Java虚拟机内存机制 测试部分 第一条 test 阅读全文

摘要： 1. -----------自动代码-------- 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 例如要输入for(User user : users)只需输入user.for+Tab 再比如，要输入Date birthday = user.getBirthday();只需输入user.getBirthday... 阅读全文

摘要： 修改配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 在里面添加上dns解析的配置即可： 重新network： service network restart 阅读全文

摘要： 一、说明： 本文的目的是实现在windows机器上利用远程桌面连接来访问远程的linux桌面。 这里使用的是阿里云服务器，操作系统为Centos6.5。 二、基本步骤： 1、首先保证服务器已经安装完毕。 2、安装桌面环境，使用下述的命令： yum groupinstall "Desktop" 3、安装xrdp服务器，使用如下命令： yum install xrdp ... 阅读全文

摘要： 一、概述： 在实际使用hadoop的过程中，由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时，快速定位到错误出现的地方尤为重要。 在排查错误的过程中，基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。 二、Java heap： hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态，就是需要检测的一个... 阅读全文

摘要： 一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 name agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory... 阅读全文

摘要： 一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44444端口。 # Name the components on this agent ... 阅读全文

摘要： 上一节搭建了flume的简单运行环境，并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图： 下面这个图基本说明了flume的作用，以及flume中的基本组件：source、channel、sink。 Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。 Channel:主要提... 阅读全文

摘要： 一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。 先来看几张数据流图： 从上面的图大致可以知道，flume就是将sou... 阅读全文

摘要： 在使用ntpdate同步时间时出现上述错误： ntpdate[46700]: no server suitable for synchronization found 没有找到好的解决方案，只能换另外一个工具来完成时间同步。 这里使用的Centos6.5，yum源使用的是阿里云的镜像。 yum install -y rdate 安装完毕后，使用下述命令即可。 rdat... 阅读全文

摘要： 一、安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） 2、本地模式（本地安装mysql 替代derby存储元数据） 3、远程模式（远程安装mysql 替代derby存储元数据） 二、安装环境以及前提说明： 首先，Hi... 阅读全文

摘要： 此种方式不能直接在eclipse中调试代码。 首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml 1、在本地直接调用，执行过程在服务器上（真正企业运行环境） a、首先把MR程序打包（jar），直接放到本地,比如C:\\Users\\Administrator\\Des... 阅读全文

摘要： 本文的目的是实现在windows环境下实现模拟运行Map/Reduce程序。最终实现效果：MapReduce程序不会被提交到实际集群，但是运算结果会写入到集群的HDFS系统中。 一、环境说明： 操作系统：win7 eclipse：Version: Mars Release (4.5.0) hadoop：2.5.1 二、预备文档(仅是说明，以第三步为准)： Sys... 阅读全文

摘要： 一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0... 阅读全文

摘要： 一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0_79" hadoop版本：Apache hadoop-2.5.2... 阅读全文

摘要： 一、环境说明： 操作系统：Centos-6.5_x86_64 keepalived软件安装在node2和node3机器上。 实际安装之前，先关闭keepalived节点（node2,node3）上的防火墙。 [root@node2 ~]# service iptables stop 二、软件安装： 这里需要安装的软件是keepalived。node... 阅读全文

摘要： 这个标题其实有些让人费解，因为会想这个提交是动词还是名称？ 提交动作是通过git commit命令来实现的，提交之后会在对象库中新增一个提交对象。提交过程中会发生哪些变化，在上一篇笔记里面已经介绍过，看下那几张过程图就可以了。 需要明确的是，在Git中，版本库的变更和提交是一一对应的关系，也就是说，提交是将变更引入到版本库的唯一方法。 Git在提交时，会记录索... 阅读全文

摘要： 可以认为使用Git时，我们会遇到3个空间：工作目录、索引、版本库。我们关心的，就是在新建、修改等操作时，这三者之间发生了怎样的变化。 笼统的讲，就是在工作目录下编辑，在索引中积累修改，然后把索引中累计的修改作为一次性的变更提交给版本库。 这就意味着，可以在最终提交前添加、删除、移动或者重复编辑文件，只有在提交后才会在版本库里实现累计的变更。 本章将介绍如何管理... 阅读全文

摘要： 为了更近一步的学习和理解Git的理念，这一节介绍一下Git中的一些基本概念。 基本概念 对象库图示 Git在工作时的概念 一、基本概念： 1、版本库： Git的版本库就是一个简单的数据库，其中包含所有用来维护和管理项目的修订版本和历史的信息。 Git不仅提供版本库中所有文件的副本，还提供了版本库本身的副本。 Git在每个版本库里维护... 阅读全文

摘要： 最近经常遇myEclipse以debug方式启动tomcat的错误提示如下： 直接run方式启动没有问题。 一般这个问题等一会就不再出现，如果有耐心的话，就等几分钟再启动。如果没有耐心，可以试试下面的两个办法。 解决办法一: 在win下使用 netsh winsock reset 可以解决此问题 解决办法二： 用360安全卫士里面的修复网络功能修复了一下。 阅读全文