摘要：1、伴生对象形如： 有一个类 class Test{ } 一个object和该类同名 object Test{ }object Test的作用类似于静态类（工具类），其中的所有成员都是静态的，在object Test中可以直接访问class Test的成员；反之，class Tes... 阅读全文
摘要：概要：随着电子商务的高速发展和普及应用，个性化推荐的推荐系统已成为一个重要研究领域。 个性化推荐算法是推荐系统中最核心的技术，在很大程度上决定了电子商务推荐系统性能的优劣，决定着是否能够推荐用户真正感兴趣的信息，而面对用户的不断提升的需求，推荐系统不仅需要正确的推荐，还要实时地根... 阅读全文
摘要：之前的几篇博客中记录的Hadoop、Spark和Hbase部署过程虽然看起来是没多大问题，但是之后在上面跑任务的时候出现了各种各样的配置问题。庆幸有将问题记录下来，可以整理出这篇部署整合篇。确保集群的每台机器用户名都为cloud（或者一样）为了避免过多重复的解释，这里仅仅示意了怎么... 阅读全文
摘要：由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行 碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过）于是就准备在Docker上搭建Spark集群 由于是Doc... 阅读全文
摘要：本篇中将会使用开源工具FigFig是什么？ 简单的说就是对Docker的封装，从而方便我们构建应用的运行环境 它所做的事情是协调Docker上的各个Container之间的联系，并通过服务发现的方式将它们有机的组合成一个完整的系统Fig使用Docker自带的link来实现服务发现，... 阅读全文
摘要：在本篇中将介绍Dockerfile的编写除了通过修改Image，创建Container，在打包成Image来创建我们需要的Image之外 我们还可以编写Dockerfile文件，通过build来创建我们需要的ImageDockerfile是一个文件名，Docker规定必须是这样子来... 阅读全文
摘要：上一篇中，我们对Docker有了一个基本的了解 下面将讨论Docker中Image，Container的相关实际操作Image管理：镜像的命名和版本管理：普通镜像的命名规范 {namespace}/{repository}:{tag}namespace是docker hub的用户名... 阅读全文
摘要：Container技术：传统的虚拟化技术： 通过对硬件层模拟，从而实现了能够在一套硬件上面运行多个操作系统，因为通过硬件虚拟化，使得操作系统认为在它之下就是硬件层但是实际情况是这样的：虚拟机中的OS对硬件发出的请求都交给了虚拟的硬件，OS认为指令已经下达了，只要等待硬件返回信息即可... 阅读全文
摘要：Spark On Yarn：从0.6.0版本其，就可以在在Yarn上运行Spark 通过Yarn进行统一的资源管理和调度 进而可以实现不止Spark，多种处理框架并存工作的场景部署Spark On Yarn的方式其实和Standalone是差不多的，区别就是需要在spark-env... 阅读全文
摘要：本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统，以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下： 1.某电影网站拥有可观的电影资源和用户数，通过各个用户对各个电影的评分，汇总得到了海量的用户-电影-评分数据 2.我在一个电... 阅读全文