hadoop学习摘要
参考链接：https://www.zhihu.com/question/333417513 https://www.oschina.net/p/hbase hadoop环境搭建：https://blog.csdn.net/hliq5399/article/details/78193113/ goog ...
Elasticsearch必知必会的干货知识一：ES索引文档的CRUD
若在传统DBMS 关系型数据库中查询海量数据，特别是模糊查询，一般我们都是使用like %查询的值%，但这样会导致无法应用索引，从而形成全表扫描效率低下，即使是在有索引的字段精确值查找，面对海量数据，效率也是相对较低的，所以目前一般的互联网公司或大型公司，若要查询海量数据，最好的办法就是使用搜索 ...
hive内置方法一览
引用 https://www.cnblogs.com/qingyunzong/p/8744593.html#_label0 官方文档 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 目录 数学函数 集合函数 类型 ...
hdfs/hbase 程序利用Kerberos认证超过ticket_lifetime期限后异常
问题描述 业务需要一个长期运行的程序，将上传的文件存放至HDFS，程序启动后，刚开始一切正常，执行一段时间（一般是一天，有的现场是三天），就会出现认证错误，用的JDK是1.8,hadoop client，对应的版本是2.5.1，为什么强调这个版本号，因为错误的根本原因就在于版本问题 错误日志 业务程 ...
【自考】数据结构第六章查找，期末不挂科指南，第10篇
查找的一些基本概念 查找表 是由同一类型的 数据元素 构成的集合，它是一种以查找为“核心”，同时包括其他运算的非常灵活的数据结构。 上面概念中的集合和数学上的定义是一致的，简单地说就是由任意一些可分辨的对象构成的整体 作为一个数学概念，集合的元素是没有任何限制。 作为一种数据结构，查找表的逻辑结构是 ...
【自考】数据结构第五章图，期末不挂科指南，第9篇
图的基本概念 首先，你要明确图是什么样子的，就是下面这个样子的 图的定义与术语 有向图和无向图 直接对比图就可以看出来，有向图和无向图的区别了，这个没有什么难的。 有向图和无向图的表示法有略微的区别，注意看 G1有箭头，有向图，表示方法是 G2无箭头，无向图，表示方法是 弧、弧头、弧尾：有向图的边称 ...
【自考】数据结构第四章判定树和哈夫曼树，期末不挂科指南，第8篇
判定树和哈夫曼树 分类与判定树 这个小节有个比较重要的概念，就是 记住即可 哈夫曼树与哈夫曼算法 首先了解一下什么是哈夫曼树 给定一组值p~1~,...p~k~，如何构造一棵有k个叶子且分别以这些值为权的判定树，使得其平均比较次数最小。满足上述条件的判定树称为哈夫曼树。 哈夫曼率先给出了一个求哈夫曼 ...
kettle：The tablename is not defined (empty)
报错误The tablename is not defined (empty) 去掉表输出中的“表分区数据” ...
基于GPS北斗卫星授时系统和NTP网络授时服务器的设计与开发
准确的时间是天文观测所必需的。天文望远镜在特定时间内的准确指向、CCD曝光时间的控制以及不同波段观测数据所进行的高精度同步比对等应用需要系统至少有亚毫秒的时间准确度。然而就目前来看，一般的计算机和嵌入式设备所使用的晶体振荡器的精度为几个或者几十个ppm(百万分之一秒)，并且会受温度漂移的影响，使得每... ...
【自考】数据结构第四章树和森林，期末不挂科指南，第7篇
树和森林 这篇博客继续我们的《数据结构导论》课程，今天重点说说树和森林怎么备考自考和通过期末考试。 在开始之前，上篇博客最后其实还有一点没有写完，就是如何通过已知序列，恢复一棵二叉树 看例题吧 假设一棵二叉树的中序序列与后序序列分别为：BACDEFGH 和 BCAEDGHF 建立该二叉树 这种题目的 ...
【自考】数据结构第四章树和二叉树，期末不挂科指南，第6篇
章节简介 前5篇博客写的都是线性结构，对于有层级结构的数据需要用树形结构来描述 本章的重要知识点 1. 理解有关树的基本概念和二叉树的基本概念 2. 掌握二叉树的存储结构以及遍历方法 3. 掌握树的存储结构以及树、森林、二叉树的相互转换方法 4. 梳理掌握哈夫曼树构造方法和哈夫曼编码的设计方法 树的 ...
Flink入门（五）——DataSet Api编程指南
Apache Flink Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。 DataSet API 首先要想运行Flink，我们需要下载并解压F ...
HDFS的HA集群原理分析
1.简单hdfs集群中存在的问题 不能存在两个NameNode 单节点问题 单节点故障转移 2.解决单节点问题 找额外一个NameNode备份原有的数据 会出现脑裂 脑裂：一个集群中多个管理者数据不一致 这种情况称之为脑裂 3.如何解决启动多个NameNode时保证同一时刻只有一个NameNode工 ...
大数据-HDFS 集群搭建的配置文件
1.HDFS简单版集群搭建相关配置文件 1.core-site.xml文件 1 <property> 2 <name>fs.defaultFS</name> 3 <value>hdfs://hadoop2:9000</value> 4 </property> 5 6 <property> 7 <na ...
Mac 终端 Tomcat 环境配置过程
Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问 ...
Kafka 集群在马蜂窝大数据平台的优化与应用扩展
规模增长之后，性能问题无颖是非常重要的，但重要的从来不只是性能。 ...
禧云数芯大数据平台技术白皮书
白皮书首次完整介绍了我司数据中台的数据资产管理、数据开放共享、开发协作调度、数据采集与迁移管理、数据可视化及自助分析、平台运维管控六大技术领域，并从抽象出来的平台支撑、数据管理和数据产品三大体系逐一拆开讲解。 ...
