yyyyyyyyyyyyyyyyyyyy

摘要： 介绍如何在CentOs6.2下面使用YUM配置安装LAMP环境，一些兄弟也很喜欢使用编译的安装方法，个人觉得如果不是对服务器做定制，用yum安装稳定简单，何必去download&make&make install呢。 Step1. 为centos配置rpmforge及epel源。centos官方的源 阅读全文

摘要： 1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本：jdk-6u31-windows-... 阅读全文

摘要： 1）Cygwin相关资料 （1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ （2）windows2003+cygwin+s... 阅读全文

摘要： 1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0... 阅读全文

摘要： macOS中Vim基本配置 Vim的初始化配置 .vimrc 存放位置 macOS 环境下 vim 的初始化配置文件为 .vimrc , 通常有两个（系统版本和用户版本），一个位于 /usr/share/vim/vimrc，是整个系统vim的默认配置；另一个位于 ~/.vimrc，是当前用户的 vi 阅读全文

摘要： 2、MapReduce与MySQL交互 MapReduce技术推出后，曾遭到关系数据库研究者的挑剔和批评，认为MapReduce不具备有类似于关系数据库中的结构化数据存储和处理能力。为此，Google和MapReduce社区进行了很多努力。一方面，他们设计了类似于关系数据中结构化数据表的技术（Go... 阅读全文

摘要： 1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。... 阅读全文

摘要： 1、MapReduce理论简介1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoo... 阅读全文

摘要： 1、SecureCRT简介 SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CR... 阅读全文

摘要： 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网... 阅读全文