时间不早了,快睡吧

摘要： 实验三spark和hadoop的安装 hadoop的安装在之前的随笔中已经介绍过，此处传送门：https://www.cnblogs.com/heiyang/p/11293969.html 接着介绍，spark的安装，不是很难，唯一需要注意的是不同的hadoop版本都有对应的spark版本，下载的时 阅读全文

摘要： 实验二Scala 语言基础 实验一是对于linux系统的安装和常用命令，在之前的博客园随笔中已经有了记录，所以便不再赘述，直接开始第二章关于scala语言的学习 对于scala语言，今天并没有完全学习完，只是完成了实验内容，在下面会总结一下，自己在完成实验过程中的总结的几个刚接触的易错点 1. 计算 阅读全文

摘要： 测试题目： 1、 数据清洗：按照进行数据清洗，并将清洗后的数据导入hive数据库中。 2、数据处理： ·统计最受欢迎的视频/文章的Top10访问次数 （video/article） ·按照地市统计最受欢迎的Top10课程 （ip） ·按照流量统计最受欢迎的Top10课程 （traffic） 3、数据 阅读全文

摘要： 复习关于Hadoop的操作语句以及重点 Shell版 启动Hadoop： 注意：Hadoop实际上有三种shell命令方式：hadoop fs/hadoop dfs/hdfs dfs，hadoop fs适用于任何不同的文件系统，比如本地文件系统和HDFS文件系统，hadoop dfs只能适用于HDF 阅读全文

摘要： 简单学习数据仓库HIVE HIVE是一个构建于Hadoop顶端的数据仓库工具 支持大规模数据存储，分析，具有良好的可扩展性 某种程度上可以看做是用户编程接口，本身不存储和处理数据 依赖分布式系统HDFS存储数据 定义了简单的类似SQL的查询语言——HIVEQL 用户可以通过编写的HIVEQL语句运行 阅读全文

摘要： 简单学习MapReduce并进行WordCount实践 分布式并行编程： MapReduce设计的一个理念就是“计算向数据靠拢”，将复杂的，运行于大规模集群上的并行计算过程高度地抽象到两个函数：Map和Reduce，框架采用Master/Slave架构，包括一个Master和若干个Slave，Mas 阅读全文

摘要： 简单学习云数据库系统架构(以UMP系统为例） 一.UMP系统概述 低成本和高性能的MySQL云数据库方案 二.UMP系统架构 架构设计遵循以下原则： 保持单一的系统对外入口，并且为系统内部维护单一的资源池 消除单点故障，保证服务的高可用性 报站系统具有良好的可伸缩性，能够动态地增加，删除计算与储存节 阅读全文

摘要： 简单学习NoSQL数据库理论知识 NoSQL数据库具有以下几个特点： 1.灵活的可扩展性（支持在多个节点上进行水平扩张） 2.灵活的数据模型（与关系数据库中严格的关系模型相反，显得较为松散） 3.与与计算机密融合（可以充分利用与计算机设施来降低或提高负载） NoSQL数据库的十大类型：文档数据库,图 阅读全文

摘要： 一.简单视频学习Hadoop的处理架构 二.简单视频学习分布式文件系统HDFS并进行简单的实践操作 简单操作教程：http://dblab.xmu.edu.cn/blog/290-2/ 注意：在建立HDFS和JAVA交互的过程中，需要添加大量的jar包，需要注意！ 同时需要注意我们需要把Hadoop 阅读全文

摘要： 本次配置主要使用的教程：http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/ 以下是自己在配置中的遇到的一些问题和解决方法，或者提示 一.使用虚拟机安装centos7并设置图形界面 在安装的过程中，由于自己还是熟悉图形界面，所以还是在安装之后又 阅读全文