摘要：
一、规划（一）硬件资源10.171.29.191 master10.173.54.84 slave110.171.114.223 slave2（二）基本资料用户： jediael目录：/opt/jediael/二、环境配置（一）统一用户名密码，并为jediael赋予执行所有命令的权限#passwd#... 阅读全文
随笔档案-2014年08月
Linux上安装JDK
2014-08-29 15:12 by jediael, 134 阅读, 收藏,
摘要：
1、下载rpm文件并安装rpm -ivh jdk-7u51-linux-x64.rpm2、修改/etc/profile文件，增加以下配置export JAVA_HOME=/usr/java/jdk1.7.0_51export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JA... 阅读全文
改变HTML中超链接的显示样式
2014-08-27 10:11 by jediael, 216 阅读, 收藏,
摘要：
更详细的内容请参考：http://www.w3school.com.cn/tags/tag_a.aspHTML中的代码如下：可以通过以下方式来改变其默认的显示样式：.news_title { font: normal 18px/28px "Microsoft YaHei"; font-s... 阅读全文
【Nutch2.2.1源代码分析之5】索引的基本流程
2014-08-25 14:18 by jediael, 176 阅读, 收藏,
摘要：
一、各个主要类之间的关系SolrIndexerJob extends IndexerJob1、IndexerJob：主要完成2、SolrIndexerJob：主要完成3、IndexUtil：主要只有一个方法public NutchDocument index(String key, WebPage ... 阅读全文
【Nutch2.2.1源代码分析之4】Nutch加载配置文件的方法
2014-08-22 21:57 by jediael, 162 阅读, 收藏,
摘要：
小结：（1）在nutch中，一般通过ToolRunner来运行hadoop job，此方法可以方便的通过ToolRunner.run(Configuration conf,Tool tool,String[] args)来加载配置文件。（2）conf参数会通过NutchConfiguration.c... 阅读全文
java生成UUID通用唯一识别码 (Universally Unique Identifier)
2014-08-22 16:09 by jediael, 318 阅读, 收藏,
摘要：
转自：http://blog.csdn.net/carefree31441/article/details/3998553UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Fou... 阅读全文
使用ToolRunner运行Hadoop程序基本原理分析
2014-08-22 11:03 by jediael, 399 阅读, 收藏,
摘要：
为了简化命令行方式运行作业，Hadoop自带了一些辅助类。GenericOptionsParser是一个类，用来解释常用的Hadoop命令行选项，并根据需要，为Configuration对象设置相应的取值。通常不直接使用GenericOptionsParser，更方便的方式是：实现Tool接口，... 阅读全文
Hadoop入门经典:WordCount
2014-08-20 14:43 by jediael, 234 阅读, 收藏,
摘要：
以下程序在hadoop1.2.1上测试成功。本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。一、源代码package org.jediael.hadoopdemo.wordcount;import java.io.IOException;import java.util.S... 阅读全文
Hadoop配置文件
2014-08-19 12:48 by jediael, 173 阅读, 收藏,
摘要：
部分内容参考：http://www.linuxqq.net/archives/964.html Hadoop有三个重要的配置文件：core-site.xml,hdfs-site.xml,mapred-site.xml，但这三个文件默认情况下均为空，其默认值保存在core-default.xml,... 阅读全文
【Nutch2.2.1基础教程之3】Nutch2.2.1配置文件
2014-08-18 16:33 by jediael, 262 阅读, 收藏,
摘要：
nutch-site.xml在nutch2.2.1中，有两份配置文件：nutch-default.xml与nutch-site.xml。其中前者是nutch自带的默认属性，一般情况下不要修改。如果需要修改默认属性，可以在nutch-site.xml中增加一个同名的属性，并修改其值。nutch-sit... 阅读全文
8大排序算法图文讲解
2014-08-18 15:36 by jediael, 151 阅读, 收藏,
摘要：
排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。本文将依次介绍上述八大排序算法。算法一：插... 阅读全文
Hadoop基本原理之一：MapReduce
2014-08-17 19:26 by jediael, 172 阅读, 收藏,
摘要：
1、为什么需要Hadoop 目前，一块硬盘容量约为1TB，读取速度约为100M/S，因此完成一块硬盘的读取需时约2.5小时（写入时间更长）。若把数据放在同一硬盘上，且全部数据均需要同一个程序进行处理，此程序的处理时间将主要浪费在I/O时间上。 在过去几十年，硬盘的读取速度并未明显增长，而网络传输... 阅读全文
Hadoop1.2.1伪分布模式安装指南
2014-08-17 10:52 by jediael, 155 阅读, 收藏,
摘要：
一、前置条件1、操作系统准备（1）Linux可以用作开发平台及产品平台。（2）win32只可用作开发平台，且需要cygwin的支持。2、安装jdk 1.6或以上3、安装ssh，并配置免密码登录。$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa$ cat ~/.ss... 阅读全文
【Nutch2.2.1基础教程之6】Nutch2.2.1抓取流程
2014-08-15 21:39 by jediael, 219 阅读, 收藏,
摘要：
一、抓取流程概述1、nutch抓取流程当使用crawl命令进行抓取任务时，其基本流程步骤如下：（1）InjectorJob开始第一个迭代（2）GeneratorJob（3）FetcherJob（4）ParserJob（5）DbUpdaterJob（6）SolrIndexerJob开始第二个迭代（2）... 阅读全文
【Nutch2.2.1基础教程之1】nutch相关异常
2014-08-08 21:46 by jediael, 199 阅读, 收藏,
摘要：
1、在任务一开始运行，注入Url时即出现以下错误。InjectorJob: Injecting urlDir: urlsInjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.... 阅读全文
javascript的全局变量
2014-08-07 11:03 by jediael, 211 阅读, 收藏,
摘要：
javascipt是一门面向对象的编程语言。由于存在一些全局属性及全局函数，因此可以认为存在一个全局变量，这些全局属性及全局函数均是其属性或函数。在js核心中，并没有定义一个具体的全局变量，因此，js核心中的全局属性（三个：NaN）与全局函数（如eval())均可以直接调用。而在客户端js中，定义了... 阅读全文
javascript中定义事件的三种方式
2014-08-07 10:27 by jediael, 187 阅读, 收藏,
摘要：
在javascript中，可以为某个元素指定事件，指定的方式有以下三种：1、在html中，使用onclick属性2、在javascript中，使用onclick属性3、在javascipt中，使用addEvenListener()方法三种方法的比较（1）在第二、三种方法中，可以向函数传入一个even... 阅读全文
window.onload，<body onload="function()">, document.onreadystatechange, httpRequest.onreadystatechang
2014-08-06 16:47 by jediael, 193 阅读, 收藏,
摘要：
部分内容参考：http://www.aspbc.com/tech/showtech.asp?id=1256在开发的过程中，经常使用window.onload和body onload两种，很少使用document.onreadystatechange，但这次写了一个js，使用window.onload... 阅读全文
javascript中0级DOM和2级DOM事件模型浅析
2014-08-06 15:22 by jediael, 150 阅读, 收藏,
摘要：
Javascript程序使用的是事件驱动的设计模式，为一个元素添加事件监听函数，当这个元素的相应事件被触发那么其添加的事件监听函数就被调用：当上面的button被点击后，会弹出一个框显示“Button Click”.在javascript中添加事件监听函数有多种方法，比如：在html元素上[xhtm... 阅读全文
JavaScript中的一些细节
2014-08-05 16:45 by jediael, 104 阅读, 收藏,
摘要：
1、设置id / class等属性用 setAttribute 设置一些常规属性如 id ，className 的时候经常不起作用，只能用 object.id = value 这样来设置news_item.id="news"+i;2、DOM的一个实用功能是几乎所有Document对象实现的搜索方法同... 阅读全文
将HTML格式的String转化为HTMLElement
2014-08-05 12:01 by jediael, 661 阅读, 收藏,
摘要：
代码如下：Insert title here1、若将script放到head元素中，则加载脚本时，尚未加载div元素，此时会出现“document.getElementById(...) 为空或者不是对象”。2、以上代码在chrome中正常支行，输出结果为5，但在IE中输出结果为0.3、注意在js中... 阅读全文
浙公网安备 33010602011771号