深圳私塾

摘要： 又搞事了，发生了啥事呢；生产分区数暴了，What? 目前的情况： 前提：单Region Server分区上限设置为１０００； 目前A表的数据量半年达到25E，20G一分区，达到了900多个分区，这是要搞事情呀，咋办： 查了下原因：这个表居然没有开启压缩，这是。。。 果断在大晚上对表进行变更：开启Sn 阅读全文

摘要： rpc是远端过程调用，其调用协议通常包含传输协议和序列化协议。 传输协议包含: 如著名的 [gRPC](grpc / grpc.io) 使用的 http2 协议，也有如dubbo一类的自定义报文的tcp协议。 序列化协议包含: 如基于文本编码的 xml json，也有二进制编码的 protobuf 阅读全文

摘要： SciKit learn的简称是SKlearn，是一个python库，专门用于机器学习的模块。 SKlearn包含的机器学习方式： 分类，回归，无监督，数据降维，数据预处理等等，包含了常见的大部分机器学习方法。 SKlearn给出了如何选择正确的方法： 官网清晰图：（太棒了~~~） 图表对于什么样的 阅读全文

摘要： Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个 阅读全文

摘要： 初次接触 Elasticsearch 的同学经常会遇到分词相关的难题，比如如下这些场景： １.为什么明明有包含搜索关键词的文档，但结果里面就没有相关文档呢？ ２.我存进去的文档到底被分成哪些词(term)了？ ３.我自定义分词规则，但感觉好麻烦呢，无从下手 1.从一个实例出发，如下创建一个文档： 然 阅读全文

摘要： Presto 的平均查询性能是 Hive 的 10 倍！ 由于 Presto 的数据源具有完全解耦、高性能，以及对 ANSI SQL 的支持等特性，使得 Presto 在 ETL、实时数据计算、 Ad-Hoc 查询和实时数据流分析等多个业务场景中均能发挥重要的作用。 由于 Presto 卓越的性能表 阅读全文

摘要： Round One: 平局：共同点就是吃内存; Round Two: Impala胜 Impala查询性能稍领先于presto Round Three: presto胜 presto在数据源支持上非常丰富，包括hive、图数据库、传统关系型数据库、Redis等 Round Four: 平局： 这两种 阅读全文

摘要： 基本概念 首先我们要明确ZKFC 是什么，有什么作用： zkfc是什么？ ZooKeeperFailoverController 它是什么？是Hadoop中通过ZK实现FC功能的一个实用工具。 主要作用：作为一个ZK集群的客户端，用来监控NN的状态信息。 谁会用它？每个运行NN的节点必须要运行一个z 阅读全文

摘要： HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。 ③ 适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64 阅读全文

摘要： Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 阅读全文