摘要: 【本文均为个人观点,不喜勿看】 楼主最近在研究大数据,当然要想真正的了解大数据或者是处理大数据仅凭我们自己会的这些三脚猫的功夫是不够的,遂本人就开始学习一些技术和方法,当然最重要的还是技术背后的思维。Hadoop,一头勇猛的大象,我看了几个星期的书,发现要想真正的去学习Hadoop就要去读Google的那三篇比较著名的论文。当然,在这里我才刚刚把今天的主角请了出来——Google。 最近不知怎么了,发现自己已经深深的被Google所吸引。可是学校不给力,要想连接Google的香港服务器要等上半年,当然这要归功于我们国家日益发达的防火墙和学校无限多的路由交换机。可是这还是阻挡不了我去Goog.. 阅读全文
posted @ 2013-04-16 18:47 二手产品经理 阅读(2249) 评论(13) 推荐(3) 编辑
摘要: 【注:本人菜鸟一枚,喜欢Hadoop方向的大数据处理,现在正在研读Google影响世界的三篇论文,遂一边阅读一边翻译,错误在所难免,希望大家给予批评,我会增加学习的动力】2 Programming Model The computation takes a set of input key/value pairs,and produces a set of output key/value pairs.The user of the MapReduce library expresses the computation as two functions:Mapand Reduce. Map.. 阅读全文
posted @ 2013-03-24 20:46 二手产品经理 阅读(1278) 评论(0) 推荐(0) 编辑
摘要: 【注:本人菜鸟一枚,喜欢Hadoop方向的大数据处理,现在正在研读Google影响世界的三篇论文,遂一边阅读一边翻译,错误在所难免,希望大家给予批评,我会增加学习的动力】1 Introduction Over the past five years,the authors and many others at Google have implemented hundreds of special-purpose computations that process large amounts of raw data,such as crawled documents,web request l. 阅读全文
posted @ 2013-03-21 20:37 二手产品经理 阅读(581) 评论(0) 推荐(0) 编辑
摘要: 【注:本人菜鸟一枚,喜欢Hadoop方向的大数据处理,现在正在研读Google影响世界的三篇论文,遂一边阅读一边翻译,错误在所难免,希望大家给予批评,我会增加学习的动力】MapReduce:Simplified Data Processing on Large ClustersAuthor:Jeffrey Dean and Sanjay GhemawatAbstract MapReduce is a programming model and an associated implementation for processing and generating large data sets.. 阅读全文
posted @ 2013-03-20 22:41 二手产品经理 阅读(1853) 评论(3) 推荐(0) 编辑
摘要: 本人使用的是Ubuntu12.10版本,所以有些软件不用安装(Ubuntu12.10侧边栏居然还添加了亚马逊网站,略微让我感到失望),但是在这里我会告诉大家需要安装那些必要的东西。下面我们言归正传,搭建Hadoop伪分布式集群:1.必备的的软件包或者程序:ssh、jdk、eclipse、Hadoop,如果您的Ubuntu没有SSH Server,则可以使用:$sudo apt-get install ssh2.安装java开发环境(由于Hadoop的大部分应用开发都是使用java的,所以一定要有java开发环境),虽然Ubuntu中自带openjdk,但是《Hadoop权威指南》不推荐使用,所 阅读全文
posted @ 2013-03-08 16:56 二手产品经理 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 我所用的操作系统是Ubuntu12.10版本(说实话这个版本貌似不是很稳定),还是老样子,安装软件或者应用库只需要用apt-get就可以了,下面我介绍一下具体操作步骤:1.sudo apt-get install build-essential 确保编译器等库已经被安装2.sudoapt-getinstalllibgl1-mesa-dev 安装Mesa OpenGL库3.sudoapt-getinstalllibglu1-mesa-dev 安装Mesa OpenGL增强库4.sudo apt-get install freeglut3-dev 安装OpenGL增强库这样就基本就把安装环境装完了 阅读全文
posted @ 2013-03-08 13:51 二手产品经理 阅读(915) 评论(0) 推荐(0) 编辑
摘要: 1)下载apache与tomcat的连接器mod_jk2:http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/linux/jk-1.2.25/i386/mod_jk-1.2.25-httpd-2.2.4.so重命名为mod_jk.so.一会有用的。安装成功jdk和tomcat后再安装apache2(建议不要用apt-get install安装jdk和tomcat,先下载jdk的.bin文件和tomcat的tar.gz文件,然后安装并配制)jdk1.6下载:http://192.18.108.239/ECom/EComT 阅读全文
posted @ 2012-02-27 22:17 二手产品经理 阅读(184) 评论(0) 推荐(0) 编辑
摘要: 所谓LAMP网站就是Linux+MySql+Apache+php,我这里亲身实践过的是ubuntu11.10版本(当然服务器最后还是用Red Hat个人观点),Apache2,PHP5. 然后就是为网站架构做准备,首先是对ubuntu的配置,一般我们喜欢在windows下将网站做好,那么我们如何将网站放入Linux中呢,当然可以用移动设备导入(有的设备可能需要用mount挂载,u盘linux貌似可以自己识别,当然最好还是用的时候挂载不用的时候用命令行卸载),我这里用的是ssh服务器,那么必须在ubuntu下安装ssh,口令如下:$sudo apt-get install ssh 这条口令当中. 阅读全文
posted @ 2012-02-26 21:14 二手产品经理 阅读(1182) 评论(2) 推荐(2) 编辑
摘要: 我这样写道,犹如挽留青春 每一个人都有属于自己的一片森林,也许我们不曾走过,但他一直在那里,迷失的人迷失,相逢的人会在次相逢。 ————题记 我的题记摘自川端康成的作品《挪威的森林》,我知道自己走过这样一片森林,尽管走过,却是匆匆而过,我没有来得及观望,就被自己的急迫催促的慌乱不堪,走出森林,以为阳光明媚,可谁知这是我遇到的最后一片森林。对于森林的记忆少之又少,对于的森林的怀念却在不经意间发生着,或许怀念的越久故事就越加完美,而自己的失落似乎可以... 阅读全文
posted @ 2012-02-25 10:37 二手产品经理 阅读(746) 评论(2) 推荐(1) 编辑
摘要: linux磁盘分区详解在学习 Linux 的过程中,安装 Linux 是每一个初学者的第一个门槛。在这个过程中间,最大的困惑莫过于给硬盘进行分区。虽然,现在各种发行版本的 Linux 已经提供了友好的图形交互界面,但是很多的人还是感觉无从下手。这其中的原因主要是不清楚 Linux 的分区规定,以及它下面最有效的分区工具― Fdisk 的使用方法。 首先我们要对硬盘分区的基本概念进行一些初步的了解,硬盘的分区主要分为基本分区(primary partion)和扩充分区(extension partion)两种,基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分 阅读全文
posted @ 2012-01-21 21:12 二手产品经理 阅读(287) 评论(0) 推荐(0) 编辑