随笔分类 -  大数据

上一页 1 2
Spark安装及环境配置
摘要：一、学习资源 https://www.bilibili.com/video/BV1yD4y1U73C?p=8 二、步骤 1、下载安装包 根据自己hadoop的版本下载相应的安装包 https://spark.apache.org/downloads.html 2、放到虚拟机中，进行解压和安装 解压压 阅读全文
posted @ 2021-01-12 22:23 阡陌祁画 阅读(1205) 评论(0) 推荐(0)
SSH免密登录
摘要：一、学习资料 https://www.bilibili.com/video/BV1JT4y1g7nM?p=13 https://www.cnblogs.com/thousfeet/p/8618696.html 二、原理 1、需要先在B节点配置A节点的公钥 2、A节点请求B节点要求登录 3、B节点使用 阅读全文
posted @ 2021-01-11 17:38 阡陌祁画 阅读(79) 评论(0) 推荐(0)
大数据集群linux环境搭配
摘要：一、学习资源 https://www.bilibili.com/video/BV1JT4y1g7nM?p=7 二、收获和进度 今天根据视频重新搭建了虚拟机并且成功连接内网和外网 三、遇到的问题 1、自动生成MAC地址失败 解决方法：重新在主界面进入虚拟机的设置界面更改：https://blog.cs 阅读全文
posted @ 2021-01-10 22:55 阡陌祁画 阅读(95) 评论(0) 推荐(0)
数据导入hive仓库
摘要：1.打开虚拟机，使用命令start-all.sh启动虚拟机 2.使用hive命令，进入hive命令层 3.在hive中创建数据库 4.使用命令查看数据库的中所有存在的表 5.创建新表的结构 6.查看已经创建具体表的结构 7.将数据库信息txt文件导入到指定表中，并且显示全部信息 阅读全文
posted @ 2020-11-12 20:06 阡陌祁画 阅读(232) 评论(0) 推荐(0)
大数据Zookeeper
摘要：一、基础介绍 1.Zookeeper概念 Zookeeper是一个分布式的，开放源代码的分布式应用程序协调服务，它提供了简单的功能，例如分布式同步，配置管理，集群管理，命名惯例，队列管理。Zookeeper是集群的管理者，监视着集群中各个节点的状态，根据节点提供的反馈进行操作。 2.Zookeepe 阅读全文
posted @ 2020-08-24 22:17 阡陌祁画 阅读(160) 评论(0) 推荐(0)
Spark基础学习
摘要：学习视频 https://www.bilibili.com/video/BV1d441127uU?from=search&seid=528108915857989527 一、基础简介 1.生态系统 2.Spark生态系统组件的应用场景 3.Spark运行架构 二、基本流程图和特点 1.为应用构建起基 阅读全文
posted @ 2020-08-22 13:03 阡陌祁画 阅读(162) 评论(0) 推荐(0)
数据仓库Hive基础学习
摘要：学习视频 https://www.bilibili.com/video/av66130637?p=2 一、基础介绍 Hive本身并不支持数据存储和处理。而是提供了一种编程的语言 1.Hive两个方面特性 ·采用批处理方式处理海量数 Hive会把HIveQL语句转换成MapReduce任务进行运行 数 阅读全文
posted @ 2020-08-21 20:42 阡陌祁画 阅读(229) 评论(0) 推荐(0)
MapReduce基础介绍
摘要：视频学习 https://www.bilibili.com/video/BV1Q441127SH?from=search&seid=16519722762646066419 详细编程实践 http://dblab.xmu.edu.cn 一、基础介绍 1.MapReduce是一种分布并行编程框架 2. 阅读全文
posted @ 2020-08-19 18:41 阡陌祁画 阅读(165) 评论(0) 推荐(0)
NoSQL数据库基础概述
摘要：1.NoSQL数据库特点 优点： ·灵活的可扩展性：具有非常好的水平可扩展性，可通过节点方式扩大性能 ·灵活的数据模型：可以存储非常多类型的数据 ·和云计算的紧密结合 ·具有非常好的可用性：能够在短时间内迅速返回所需的结果 不足： ·未构建面向复杂查询的索引查询性能 ·不能实现完整性约束 ·没有成熟 阅读全文
posted @ 2020-08-18 20:56 阡陌祁画 阅读(227) 评论(0) 推荐(0)
HBase编程实践
摘要：视频学习：（HBase安装和配置，编程实践） https://www.bilibili.com/video/BV1r441127Pw?p=6 一、要求 二、代码编写 Configuration是对信息管理的一个类 Connection是对连接进行管理的一个类 Admin对数据库进行管理的一个类用于管 阅读全文
posted @ 2020-08-16 11:17 阡陌祁画 阅读(163) 评论(0) 推荐(0)
HBase简要介绍
摘要：学习视频： https://www.bilibili.com/video/BV1r441127Pw?from=search&seid=5789167709889426875 一、HBase的概念简介 1.概念 分布式数据库：可以用来存储非常结构化和半结构化的松散数据 2.元素 行键、列族、列限定符、 阅读全文
posted @ 2020-08-13 21:34 阡陌祁画 阅读(411) 评论(0) 推荐(0)
分布式文件系统HDFS
摘要：学习视频： https://www.bilibili.com/video/BV1r441127QE?from=search&seid=8254268135953422887 一、HDFS的相关概念 1.块：整个HDFS当中最核心的概念 2.两大组件 名称节点：整个HDFS集群的管家（数据目录） 数据 阅读全文
posted @ 2020-08-11 22:54 阡陌祁画 阅读(146) 评论(0) 推荐(0)
Hadoop基础安装和使用
摘要：视频学习： https://www.bilibili.com/video/BV1z441127qT?p=1 一、应用现状 一、项目结构 二、安装和使用 安装教程：https://www.bilibili.com/video/BV1z441127qT?p=5 阅读全文
posted @ 2020-08-10 23:11 阡陌祁画 阅读(189) 评论(0) 推荐(0)
大数据的学习基础
摘要：学习路线概括： https://www.php.cn/faq/418462.html 安装虚拟机VMVirtualBox: https://www.virtualbox.org/wiki/Downloads 视频技术学习： 大数据技术原理与应用 虚拟机配置所应用的环境 一、大数据 1.大数据对于系统 阅读全文
posted @ 2020-08-09 21:32 阡陌祁画 阅读(159) 评论(0) 推荐(0)

上一页 1 2