随笔分类 -  攻城狮在路上

1 2 3 4 下一页
解决Linux不能上网ping:unknown host的问题
摘要：修改配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0 在里面添加上dns解析的配置即可： 重新network： service network restart 阅读全文
posted @ 2016-01-30 21:37 于辰 阅读(411) 评论(0) 推荐(0)
阿里云服务器上开启linux远程桌面连接
摘要：一、说明： 本文的目的是实现在windows机器上利用远程桌面连接来访问远程的linux桌面。 这里使用的是阿里云服务器，操作系统为Centos6.5。 二、基本步骤： 1、首先保证服务器已经安装完毕。 2、安装桌面环境，使用下述的命令： yum groupinstall "Desktop" 3、安装xrdp服务器，使用如下命令： yum install xrdp ... 阅读全文
posted @ 2016-01-30 20:48 于辰 阅读(5332) 评论(1) 推荐(0)
Hadoop中的问题排查思路
摘要：一、概述： 在实际使用hadoop的过程中，由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时，快速定位到错误出现的地方尤为重要。 在排查错误的过程中，基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。 二、Java heap： hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态，就是需要检测的一个... 阅读全文
posted @ 2016-01-27 16:46 于辰 阅读(1408) 评论(0) 推荐(0)
Flume（4）实用环境搭建：source(spooldir)+channel(file)+sink(hdfs)方式
摘要：一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 name agent1.sources=source1 agent1.sinks=sink1 agent1.channels=channel1 #Spooling Directory... 阅读全文
posted @ 2016-01-24 11:46 于辰 阅读(1067) 评论(0) 推荐(0)
Flume（3）source组件之NetcatSource使用介绍
摘要：一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44444端口。 # Name the components on this agent ... 阅读全文
posted @ 2016-01-22 21:54 于辰 阅读(5859) 评论(0) 推荐(1)
Flume（2）组件概述与列表
摘要：上一节搭建了flume的简单运行环境，并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图： 下面这个图基本说明了flume的作用，以及flume中的基本组件：source、channel、sink。 Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。 Channel:主要提... 阅读全文
posted @ 2016-01-22 17:42 于辰 阅读(861) 评论(0) 推荐(0)
Flume（1）使用入门
摘要：一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。 先来看几张数据流图： 从上面的图大致可以知道，flume就是将sou... 阅读全文
posted @ 2016-01-20 20:02 于辰 阅读(546) 评论(0) 推荐(0)
解决虚拟机中使用ntpdate报错：ntpdate[46700]: no server suitable for synchronization found
摘要：在使用ntpdate同步时间时出现上述错误： ntpdate[46700]: no server suitable for synchronization found 没有找到好的解决方案，只能换另外一个工具来完成时间同步。 这里使用的Centos6.5，yum源使用的是阿里云的镜像。 yum install -y rdate 安装完毕后，使用下述命令即可。 rdat... 阅读全文
posted @ 2016-01-20 11:13 于辰 阅读(11274) 评论(0) 推荐(0)
Hive的三种安装方式（内嵌模式，本地模式远程模式）
摘要：一、安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） 2、本地模式（本地安装mysql 替代derby存储元数据） 3、远程模式（远程安装mysql 替代derby存储元数据） 二、安装环境以及前提说明： 首先，Hi... 阅读全文
posted @ 2016-01-07 00:25 于辰 阅读(17902) 评论(0) 推荐(1)
攻城狮在路上（陆）-- 提交运行MapReduce程序到hadoop集群运行
摘要：此种方式不能直接在eclipse中调试代码。 首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml 1、在本地直接调用，执行过程在服务器上（真正企业运行环境） a、首先把MR程序打包（jar），直接放到本地,比如C:\\Users\\Administrator\\Des... 阅读全文
posted @ 2016-01-05 12:35 于辰 阅读(364) 评论(0) 推荐(0)
攻城狮在路上（陆）-- 配置hadoop本地windows运行MapReduce程序环境
摘要：本文的目的是实现在windows环境下实现模拟运行Map/Reduce程序。最终实现效果：MapReduce程序不会被提交到实际集群，但是运算结果会写入到集群的HDFS系统中。 一、环境说明： 操作系统：win7 eclipse：Version: Mars Release (4.5.0) hadoop：2.5.1 二、预备文档(仅是说明，以第三步为准)： Sys... 阅读全文
posted @ 2016-01-05 12:14 于辰 阅读(6382) 评论(3) 推荐(0)
攻城狮在路上（陆）-- hadoop分布式环境搭建(HA模式)
摘要：一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0... 阅读全文
posted @ 2016-01-04 19:35 于辰 阅读(345) 评论(0) 推荐(0)
攻城狮在路上（陆）-- hadoop单机环境搭建（一）
摘要：一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0_79" hadoop版本：Apache hadoop-2.5.2... 阅读全文
posted @ 2016-01-01 12:19 于辰 阅读(267) 评论(0) 推荐(0)
攻城狮在路上（伍）How tomcat works（四）Tomcat的默认连接器
摘要：在第4章中将通过剖析Tomcat4的默认连接器的代码，讨论需要什么来创建一个真实的Tomcat连接器。 注意：本章中提及的“默认连接器”是指Tomcat4的默认连接器。即使默认的连机器已经被弃用，被更快的，代号为Coyote的连接器所代替，它仍然是一个很好的学习工具。 Tomcat连接器是一个可以... 阅读全文
posted @ 2014-09-14 23:48 于辰 阅读(178) 评论(0) 推荐(0)
攻城狮在路上（肆）How tomcat works（三） 连接器：Connector
摘要：在介绍中提到，Catalina中有两个主要的模块：连接器和容器。本章中你将会写一个可以创建更好的请求和响应对象的连接器，用来改进第2章中的程序。一个符合Servlet 2.3和2.4规范的连接器必须创建javax.servlet.http.HttpServletRequest和javax.servl... 阅读全文
posted @ 2014-09-14 01:34 于辰 阅读(308) 评论(0) 推荐(0)
攻城狮在路上（肆）How tomcat works（二） 一个简单的servlet容器
摘要：该节在上一节的基础上增加了所谓对静态资源和动态资源访问的不同控制流程。示例里面采用的是对路径“/servlet/”进行了特殊处理。　一、　主要还是从HttpServer1中的main方法开始，先解析出Request和Response对象，然后如果请求路径中包含/servlet/路径的话，就进入Ser... 阅读全文
posted @ 2014-09-13 23:50 于辰 阅读(148) 评论(0) 推荐(0)
攻城狮在路上（肆）How tomcat works（一） 简单的web服务器
摘要：该节总共三个类：Request\Response\HttpServer---user.dir 该节的目的是实现简单web服务器对静态文件的访问。需要对请求头、请求体的格式有所了解，不然就没有办法解析。 1、Request： 主要的方法是parse，该方法的主要逻辑是解析Socket的In... 阅读全文
posted @ 2014-09-13 23:37 于辰 阅读(181) 评论(0) 推荐(0)
攻城狮在路上（肆）How tomcat works（零） 前言说明
摘要：最近几篇是关于How tomcat works一书的读书笔记。通过数个章节逐渐实现一个tomcat的功能。源码下载地址：http://zhidao.baidu.com/share/7007af0fe074347e7c88d8c0a11c1f2b.html 阅读全文
posted @ 2014-09-13 23:19 于辰 阅读(113) 评论(0) 推荐(0)
攻城狮在路上（叁）Linux（三十一）--- vim程序编辑器
摘要：本篇主要介绍vim编辑器的使用方式，具体内容后续补充。 阅读全文
posted @ 2014-08-21 22:25 于辰 阅读(147) 评论(0) 推荐(0)
攻城狮在路上（叁）Linux（三十）--- 光盘写入工具
摘要：一、基本步骤： 1、用mkisofs命令将所需备份的数据构建成镜像文件。 2、用cdrecord命令将镜像文件刻录至光盘或者DVD中。二、mkisofs：新建镜像文件 mkisofs [-0 镜像文件] [-rv] [-m file] 待备份文件... [-V vol] graft -poin... 阅读全文
posted @ 2014-08-20 22:37 于辰 阅读(312) 评论(0) 推荐(0)

1 2 3 4 下一页