摘要： 由于我Spark采用的是Hortonworks公司的HDP，安装的时候是使用Ambair做离线部署的。下面主要是介绍一下如何通过SparkSQL读取HIVE中的数据。 下面我主要介绍一下我使用的情况： 1、为了让Spark能够连接到Hive的原有数据仓库，我们需要将Hive中的hive-site.x 阅读全文

摘要： Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。 一、概述 1-1 数据仓库概念 数据仓库（Data War 阅读全文

摘要： 由于官网和其他教程里面都是以Linux为平台演示tensorboard使用的，而在Windows上与Linux上会有一些差别，因此我将学习的过程记录下来与大家分享（基于tensorflow1.2.1版本）。 最简单的tensorboard应用 tensorboard是为了将复杂的计算图可视化的工具， 阅读全文

摘要： 1、关于Tensorflow 国际惯例，先来个总体的简要介绍，摘自一个很强大的TensorFlow中文学习网站（http://www.tensorfly.cn/）的简介 TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中 阅读全文

摘要： 转载自：http://www.infoq.com/cn/articles/hdfs-centralized-cache/ HDFS集中式的缓存管理原理与代码剖析 转载自：http://www.infoq.com/cn/articles/hdfs-centralized-cache/ HDFS集中式的 阅读全文

摘要： 转载自：http://www.cnblogs.com/lzrabbit/p/3734850.html#f2 LRU Cache的LinkedHashMap实现 LRU Cache的链表+HashMap实现 LinkedHashMap的FIFO实现 调用示例 LRU是Least Recently Us 阅读全文

摘要： 转载自：http://www.cnblogs.com/muzili-ykt/p/muzili_ykt.html 在HBase读写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定 阅读全文

摘要： 以下的介绍是基于Apache Hbase 0.94版本： 从HBase的架构图上可以看出，HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等，本篇文章统一介绍他们的作用即存储结构。 以下是HBas 阅读全文

摘要： 众所周知，HBase 是天生就是架设在 HDFS 上，在这个分布式文件系统中，HBase 是怎么去构建自己的目录树的呢？ 这里只介绍系统级别的目录树: 一、0.94-cdh4.2.1版本 系统级别的一级目录如下，用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hba 阅读全文

摘要： 中位数（Median） 1、定义：一组数据按从小到大（或从大到小）的顺序依次排列，处在中间位置的一个数（或最中间两个数据的平均数，注意：和众数不同，中位数不一定在这组数据中）。 注：当个数为基数时，取最中间位置的数；当个数为偶数时，取最中间两个数的平均数。 2、从小到大排序，可以先用冒泡排序，然后取 阅读全文