摘要：
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 阅读全文
posted @ 2020-05-08 23:40
Q1Zhen
阅读(92)
评论(0)
推荐(0)
摘要：
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 阅读全文
posted @ 2020-05-07 22:17
Q1Zhen
阅读(156)
评论(0)
推荐(0)
摘要：
安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。 当集群启动的时候，会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数（即参数dfs.replication）是5，那么在datanode上就应该有5个副本存在，假设只存在3个副本，那么比例就是3/ 阅读全文
posted @ 2020-05-07 19:53
Q1Zhen
阅读(501)
评论(0)
推荐(0)
摘要：
Hbase API删除数据详解 一：代码实现如下： 二：分析和实践 ==javaAPI删除Hbase的数据有三种方式，hbase删除数据，并不是马上删掉，只是对数据打一个删除标记，真正删除数据是等到下一次major_compact（除非KEEP_DELETED_CELLS=true）。== 1) 删 阅读全文
posted @ 2020-05-07 19:15
Q1Zhen
阅读(467)
评论(0)
推荐(0)
摘要：
写操作 1.客户端提交业务请求，会先向ZK请求meta表所在的RegionServer（meta位于hbase命名空间的一张表，记录其他表所处的位置） 2.ZK返回meta表所在RegionServer，客户端到指定位置请求，返回对应表的meta（并缓存下来，下次请求就不用再经过ZK了），获取对应的 阅读全文
posted @ 2020-05-07 00:58
Q1Zhen
阅读(128)
评论(0)
推荐(0)
摘要：
https://www.jianshu.com/p/eff2df3984e1 阅读全文
posted @ 2020-05-06 13:14
Q1Zhen
阅读(146)
评论(0)
推荐(0)
摘要：
问题描述 一开始是直接用 pip install Shapely 命令安装的，但之后发现会有如下问题： 解决方案 先将位于Anaconda3\Lib\site packages的shapely文件删除 然后去https://www.lfd.uci.edu/~gohlke/pythonlibs/ sh 阅读全文
posted @ 2020-05-05 19:56
Q1Zhen
阅读(527)
评论(0)
推荐(0)
摘要：
1. scikit learn PCA类介绍 在scikit learn中，与PCA相关的类都在sklearn.decomposition包中。最常用的PCA类就是sklearn.decomposition.PCA，我们下面主要也会讲解基于这个类的使用的方法。 除了PCA类以外，最常用的PCA相关类 阅读全文
posted @ 2020-05-03 18:53
Q1Zhen
阅读(491)
评论(0)
推荐(0)
摘要：
线性回归 下面是线性回归的公式推导，没有加上 L2 正则化因子。 假设 y^=Xw\hat y = Xwy^=Xw，因为 L(w)=∣∣y^−y∣∣22=∣∣Xw−y∣∣22=(Xw−y)T(Xw−y)=wTXTXw−yTXw−wTXTy+yTy, \begin{aligned} L(w) &am 阅读全文
posted @ 2020-05-02 14:27
Q1Zhen
阅读(344)
评论(0)
推荐(0)
摘要：
1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == 阅读全文
posted @ 2020-04-26 00:57
Q1Zhen
阅读(95)
评论(0)
推荐(0)
浙公网安备 33010602011771号