12 2019 档案

大数据学习笔记——HBase与其他大数据组件的整合
摘要：HBase与其他大数据组件的整合 HBase作为一个以列作为存储形式的大数据组件，具有查询快，存储的数据量大等特点，那么，该组件是如何与Hadoop生态圈中的其他组件进行整合并进行数据的各种导入导出的呢，这篇博客会就这个问题做一个详细的整理，那么废话不多说，我们直接开始吧！ 1. Hbase与Hiv 阅读全文
posted @ 2019-12-21 22:12 终极菜鸡 阅读(745) 评论(0) 推荐(0)
MariaDB修改配置文件允许远程访问
摘要：MariaDB修改配置文件允许远程访问 最近在使用MariaDB数据库配置用户的远程访问的时候，遇到了一个坑，费了些功夫解决了一下，特此写一下博客，以防下次再遇到的时候忘了解决方案，废话不多说，我们直接开始！ 1. 问题描述 当我们使用mysql数据库作为一个外部数据的统一接口时，需要在mysql中 阅读全文
posted @ 2019-12-19 17:50 终极菜鸡 阅读(2371) 评论(0) 推荐(0)
pycharm安装第三方包问题解决
摘要：pycharm安装第三方包问题解决 pycharm是一个基于python的非常好用的集成开发环境，而python有许多非常不错的开源第三方库，这就需要将一些这样的第三方库导入到我们的项目中去了。然而，有时会出现各种问题导致无法下载或导入这些包，那么，今天本人就在这儿对出现的一些问题及解决方案做一个整 阅读全文
posted @ 2019-12-18 13:24 终极菜鸡 阅读(16582) 评论(0) 推荐(0)
大数据学习笔记——Spark工作机制以及API详解
摘要：Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客，会先对RDD编程中常见的API进行一个整理，接着再结合源代码以及注释详细地解读spark的作业提交流程，调度机制以及shuffle的过程，废话不多说，我们直接开始吧！ 1. Spark基本API解读 首先我 阅读全文
posted @ 2019-12-17 22:26 终极菜鸡 阅读(1385) 评论(0) 推荐(1)
大数据学习笔记——Spark完全分布式完整部署教程
摘要：Spark完全分布式完整部署教程 继Mapreduce之后，作为新一代并且是主流的计算引擎，学好Spark是非常重要的，这一篇博客会专门介绍如何部署一个分布式的Spark计算框架，在之后的博客中，更会讲到Spark的基本模块的介绍以及底层原理，好了，废话不多说，直接开始吧！ 1. 安装准备 部署Sp 阅读全文
posted @ 2019-12-14 12:24 终极菜鸡 阅读(3265) 评论(0) 推荐(1)
大数据学习笔记——Hadoop编程实战之Mapreduce
摘要：Hadoop编程实战——Mapreduce基本功能实现 此篇博客承接上一篇总结的HDFS编程实战，将会详细地对mapreduce的各种数据分析功能进行一个整理，由于实际工作中并不会过多地涉及原理，因此，掌握好mapreduce框架将会有助于了解sql语句在大数据场景下的底层实现原理，从而能够帮助开发 阅读全文
posted @ 2019-12-05 21:14 终极菜鸡 阅读(1889) 评论(0) 推荐(0)