我的随笔

web暴力破解之burpsuite——本质上就是中间人攻击通过拦截伪造爆破的登录数据

bonelee 2020-03-15 11:46 阅读:2110 评论:1 推荐:0

都是 HBase 上的 SQL 引擎，Kylin 和 Phoenix 有什么不同？——Kylin 利用 MapReduce/Spark 将原始数据进行聚合计算，转成了 OLAP Cube 并加载到 HBase 中，以 Key-Value 的形式存储。Cube 按照时间范围划分为多个 segment，每个 segment 是一张 HBase 表，每张表会根据数据大小切分成多个 region

bonelee 2020-03-08 15:53 阅读:507 评论:0 推荐:0

sparkSQL原理和使用——一般在生产中，基本都是使用hive做数据仓库存储数据，然后用spark从hive读取数据进行处理

bonelee 2020-03-08 15:41 阅读:4599 评论:0 推荐:1

spark sql架构和原理——和Hive类似 dataframe无非是内存中的table而已底层原始数据存储可以是parquet hive json avro等

bonelee 2020-03-08 15:31 阅读:849 评论:0 推荐:0

Hive架构和工作原理

bonelee 2020-03-08 12:01 阅读:3722 评论:0 推荐:0

一文弄懂Hive基本架构和原理——Hive元数据信息存储在Hive MetaStore中，Hive 中所有的数据都存储在 HDFS 中，Hive 中数据模型：Table，External Table，Partition，Bucket;最后将一个SQL变成hadoop MapReduce作业

bonelee 2020-03-08 11:52 阅读:1947 评论:0 推荐:0

大数据不就是写sql吗？—— Hive：把sql解析后用MapReduce跑 SparkSQL：把sql解析后用Spark跑，比hive快点 Drill/Impala/Presto：交互式查询OLAP Druid/Kylin：强调预计算，同样是OLAP

bonelee 2020-03-08 11:32 阅读:693 评论:0 推荐:0

数据倾斜

bonelee 2020-03-08 11:27 阅读:764 评论:0 推荐:0

python 合并k个有序链表

bonelee 2020-02-28 20:13 阅读:1634 评论:0 推荐:0

wireshark 仅抓取 DNS 报文——直接在过滤器抓包里写 udp port 53 即可

bonelee 2020-02-18 16:41 阅读:1573 评论:1 推荐:0