12 2014 档案

3 类和对象
摘要：1 类定义：class ChecksumAccumulator{// class definition goes here}你就能创建 ChecksumAccumulator 对象：new CheckSumAccumulator注：1scala类中成员默认是public类型，若设为私有属性则必须加p... 阅读全文
posted @ 2014-12-31 15:54 白大虾 阅读(227) 评论(0) 推荐(0)
2 Scala基本语法
摘要：1 变量和函数变量：Scala 有两种变量， val 和 var。val：常量，类似于 Java 里的 final 变量。一旦初始化了， val 就不能再赋值了。va： 如同 Java 里面的非 final 变量。var在生命周期中可以被多次赋值。下面是一个 val 的定义：eg:val x:T v... 阅读全文
posted @ 2014-12-28 23:18 白大虾 阅读(405) 评论(0) 推荐(0)
1 Scala基本概念 +IDE
摘要：Scala基本概念 +IDE 推荐：《Scala编程》1 基本概念 在Spark开发中，Scala被认为是目前和Spark兼容最好的语言。 Scala运行在标准的java平台，可以与java无缝交互。 Scala是一种把面向对象和函数式编程加入静态类型语言的混合体。 特点： 面向对象 Sc... 阅读全文
posted @ 2014-12-28 14:41 白大虾 阅读(1841) 评论(0) 推荐(0)
（转）park1.0.0生态圈一览
摘要：转自博客：http://www.tuicool.com/articles/FVBJBjNSpark1.0.0生态圈一览Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大... 阅读全文
posted @ 2014-12-27 20:37 白大虾 阅读(472) 评论(0) 推荐(0)
YARN
摘要：YARN Hadoop2.0与HAdoop1.0的区别： Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS 、Hadoop YARN和Hadoop MapReduce2.0构成。 Hadoop1.0更多是在于离线的数据处理，Hadoop2.0可以支持MapReduce计算框架之外，可以支持Spark、St... 阅读全文
posted @ 2014-12-18 14:20 白大虾 阅读(320) 评论(2) 推荐(0)
java IO
摘要：java IO 主要内容java.io.File类的使用IO原理及流的分类文件流FileInputStream / FileOutputStream / FileReader / FileWriter缓冲流BufferedInputStream / BufferedOutputStream / Bu... 阅读全文
posted @ 2014-12-17 22:22 白大虾 阅读(14472) 评论(10) 推荐(38)
（转） 基于MapReduce的ItemBase推荐算法的共现矩阵实现（一）
摘要：转自：http://zengzhaozheng.blog.51cto.com/8219051/1557054一、概述这2个月为公司数据挖掘系统做一些根据用户标签情况对用户的相似度进行评估，其中涉及一些推荐算法知识，在这段时间研究了一遍《推荐算法实践》和《Mahout in action》，在这里主要... 阅读全文
posted @ 2014-12-15 19:45 白大虾 阅读(1085) 评论(1) 推荐(0)
java 环境变量设定
摘要：​ 1 新建系统环境 新建 弹出“新建系统变量”对话框，分别输入变量名“JAVA_HOME”和变量值（java安装路径）“C:\Java\jdk1.7.0_03”，其中变量值是笔者的JDK安装路径，。单击“确定”按钮，关闭“新建系统变量”对话框。 2 在“环境变量”对话框中双击Path变量对其... 阅读全文
posted @ 2014-12-14 18:12 白大虾 阅读(159) 评论(0) 推荐(0)
Ubuntu14.04 安装中文输入法
摘要：1 安装fcitx sudo apt-get install fcitx-table-py 这里py是拼音的意思，安装关依赖库和框架都会自动安装2 把Ubuntu的系统环境改成中文安装英文版ubuntu，在打开含有中文字符文件时会乱码，有需要给UbuntuServer装中文环境1、安装中文语言包ap... 阅读全文
posted @ 2014-12-12 23:21 白大虾 阅读(454) 评论(0) 推荐(0)
vmware10上三台虚拟机的Hadoop2.5.1集群搭建
摘要：由于官方版本的Hadoop是32位，若在64位Linux上安装，则必须先重新在64位环境下编译Hadoop源代码。本环境采用编译后的hadoop2.5.1 。安装参考博客：1 http://www.micmiu.com/bigdata/hadoop/hadoop2x-cluster-setup/2 ... 阅读全文
posted @ 2014-12-11 21:06 白大虾 阅读(660) 评论(0) 推荐(0)
windows远程连接Ubuntu12.04 （Ubuntu14.0连接方式不一样）
摘要：参考 http://www.cnblogs.com/jerome-rong/archive/2012/08/16/2642035.html有两种方式：Vnc方式（优缺点）和xrdp模式中提到的Vnc远程桌面的缺点，我们采用第二种方法xrdp，该方法支持多用户登录并远程桌面。进入GNOME界面，在左上... 阅读全文
posted @ 2014-12-11 15:45 白大虾 阅读(277) 评论(0) 推荐(0)
在Ubuntu下编译hadoop2.5.x
摘要：在Ubuntu下编译hadoop2.5.x 参考博客：http://www.aboutyun.com/thread-8130-1-1.html 1 下载hadoop源码： （1） http://www.aboutyun.com/thread-8130-1-1.html wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoo... 阅读全文
posted @ 2014-12-10 14:13 白大虾 阅读(630) 评论(0) 推荐(0)
Windows下Eclipse连接hadoop
摘要：hadoop在虚拟机上（远程连接也是一样只需要知道master的ip和core-site.xml配置即可。 Vmware上搭建了hadoop分布式平台： 192.168.11.134 master 192.168.11.135 slave1 192.168.11.136 slave2 core-site.xml 配置文件： fs.d... 阅读全文
posted @ 2014-12-09 23:05 白大虾 阅读(12634) 评论(1) 推荐(0)
1 Spring4 之环境搭建和HelloWorld
摘要：1 Spring 是什么？ 具体描述 Spring: 轻量级：Spring 是非侵入性的- 基于 Spring 开发的应用中的对象可以不依赖于 Spring 的 API 依赖注入(DI --- dependency injection、IOC) 面向切面编程(AOP --- aspect orien... 阅读全文
posted @ 2014-12-02 22:20 白大虾 阅读(1899) 评论(0) 推荐(0)
误改sudoers的访问权限后的修复
摘要：sudo: /etc/sudoers is mode 0777, should be 0440"问题的解决方法 ubuntu进入单用户模式，修改sudoers权限，修改root密码 1、重启ubuntu，随即长按shift进入grub菜单；2、选择recovery mode（恢复模式），按"e"键进入编辑页面；（注意这里不要回车，直接按e）3、将ro recovery nomodese... 阅读全文
posted @ 2014-12-02 20:38 白大虾 阅读(327) 评论(0) 推荐(0)
通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试
摘要：VMware虚拟机配置Ubuntu桥接方式（Bridged）使虚拟机和宿主机能互相ping通， 通过win下的eclipse连接虚拟机中伪分布的hadoop进行调试 1、设置Bridged上网方式 Vmware菜单栏VM->settings->Network Adapter或者Ctrl+D 2、查看... 阅读全文
posted @ 2014-12-02 20:34 白大虾 阅读(1180) 评论(0) 推荐(0)