摘要：
单机架构 优点： 易于测试 便于集成 ⼩型项⽬友好 缺点： 开发速度慢 启动时间⻓ 依赖庞⼤ 分布式架构 SOA ：Service Oriented Architecture ⾯向服务的架构 其中包含多个服务， 服务之间通过相互依赖最终提供⼀ 系列的功能, ⼀个服务 通常以独⽴的形式存在与操作系 统 阅读全文
摘要：
简单梳理一下这次vue项目的知识点 utils request.js 主要是封装axios模块用得 非组件模块可以这样加载使用 element 的 message 提示组件 import { Message } from 'element-ui' // 创建一个 axios 实例，说白了就是复制了一 阅读全文
摘要：
linux的两种硬盘类型，一种IDE，一种SCSI 一块硬盘最多有四个主分区（扩展分区算一个分区），即主分区和扩展分区总数不超过4， 扩展分区上有逻辑分区，总数不超过12 linux的分区命名，xxyN xx：硬盘类型，hd为IDE，sd为SCSI yy：表示第几块硬盘（a,b,c...) N：表示 阅读全文
摘要：
RDD(弹性分布式数据集，里面并不存储真正要计算的数据，你对RDD的操作，他会在Driver端转换成Task，下发到Executor计算分散在多台集群上的数据) RDD是一个代理，你对代理进行操作，他会生成Task，帮你计算你操作这个代理，就像操作本地集合一样，不用关心任务调度，容错等 RDD的属性 阅读全文
摘要：
spark和mapreduce差不多，都是一种计算引擎，spark相对于MapReduce来说，他的区别是，MapReduce会把计算结果放 在磁盘，spark把计算结果既放在磁盘中有放在内存中，mapreduce把可能会把一个大任务分成多个stage，瓶颈发生在IO，spark有一个叫DAG（有向 阅读全文
摘要：
学习scala的原因主要是因为以后要学习spark。 scala是运行在java虚拟机上的，它是一种面向对象和函数式编程结合的语言，并兼容java程序 相对于java更简单 安装scala前提你要保证你已经安装好了jdk 然后 下载这个msi版本的，下载完直接下一步下一步傻瓜安装 然后下载个IDEA 阅读全文
摘要：
Hive的用处，就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理 ，并不是真正的在数据库里进行了操作。 而那些表的定义则是储存在了mysql数据库中，他只是记录相应表的定义 所以你的集群中要有一台机器装了mysql 装 阅读全文
摘要：
zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey：是以路径的形式表示的，那就意味着，各key之间有父子关系，比如/ 是顶层key用户建的key只能在/ 下作为子节点，比如建一个key： /aa 这个key可以带value数据也可以建一个key： /bb也 阅读全文
摘要：
使用HABSE之前，要先安装一个zookeeper 我以前写的有https://www.cnblogs.com/wpbing/p/11309761.html 先简单介绍一下HBASE HBASE是一个数据库 可以提供数据的实时随机读写 他是一个nosql数据库，并不是结构化的，他只能粗略的进行一些查 阅读全文
摘要：
关于mapreduce的一些注意细节 如果把mapreduce程序打包放到了liux下去运行， 命令java –cp xxx.jar 主类名 如果报错了，说明是缺少相关的依赖jar包 用命令hadoop jar xxx.jar 类名因为在集群机器上用 hadoop jar xx.jar mr.wc. 阅读全文