上一页 1 ··· 106 107 108 109 110 111 112 113 114 ··· 274 下一页
2020年3月8日
一文弄懂Hive基本架构和原理——Hive元数据信息存储在Hive MetaStore中，Hive 中所有的数据都存储在 HDFS 中，Hive 中数据模型：Table，External Table，Partition，Bucket;最后将一个SQL变成hadoop MapReduce作业
摘要： 一文弄懂Hive基本架构和原理from：https://blog.csdn.net/oTengYue/article/details/91129850文章目录 概述 Hive架构 Hive数据模型 Hive SQL的编译 Hive执行计划 Hive Sql的MapReduce实现原理 Join的实现 阅读全文
posted @ 2020-03-08 11:52 bonelee 阅读(1943) 评论(0) 推荐(0)
大数据不就是写sql吗？—— Hive：把sql解析后用MapReduce跑 SparkSQL：把sql解析后用Spark跑，比hive快点 Drill/Impala/Presto：交互式查询OLAP Druid/Kylin：强调预计算，同样是OLAP
摘要： 应届生小祖参加了个需求分析会回来后跟我说被产品怼了一句： "不就是写SQL吗，要那么久吗" 我去，欺负我小弟，这我肯定不能忍呀，于是我写了一篇文章发在了公司的wiki： 贴出来给大家看看，省略了一些敏感的内容。 当然内部版言辞也会温和一点，嘻嘻 在哪里写SQL？ 这个问题高级点的问法是用哪种SQL引 阅读全文
posted @ 2020-03-08 11:32 bonelee 阅读(693) 评论(0) 推荐(0)
数据倾斜
摘要： 大数据 “数据倾斜”的问题 大数据首席数据师 0.7862018.11.13 11:21:28字数 897阅读 4,411 一、Hadoop中的数据倾斜： 什么是数据倾斜？（见下图） 简单来说数据倾斜就是数据的key 的分化严重不均，造成一部分数据很多，一部分数据很少的局面。 举个 word cou 阅读全文
posted @ 2020-03-08 11:27 bonelee 阅读(759) 评论(0) 推荐(0)
2020年2月28日
python 合并k个有序链表
摘要： from heapq import heappush, heappop class Solution: def mergeKLists(self, lists): q = [] for i,head in enumerate(lists): if head: heappush(q, (head.va 阅读全文
posted @ 2020-02-28 20:13 bonelee 阅读(1634) 评论(0) 推荐(0)
2020年2月18日
wireshark 仅抓取 DNS 报文——直接在过滤器抓包里写 udp port 53 即可
摘要： 阅读全文
posted @ 2020-02-18 16:41 bonelee 阅读(1572) 评论(1) 推荐(0)
wireshark 查找 DNS 域名——编辑里查找 选择分组详情里去按照字符串搜索即可
摘要： 阅读全文
posted @ 2020-02-18 16:32 bonelee 阅读(839) 评论(0) 推荐(0)
开源EDR(OSSEC)
摘要： 开源EDR(OSSEC)基础篇- 01 -设计定位与能力输出 前言 介绍OSSEC之前，不得不提到当前比较热门的技术EDR，近几年随着大数据SIEM系统的发展，EDR(端点威胁检测与响应)技术成为了安全界万众宠爱的骄子，广泛用于威胁检测、攻击溯源和响应处理的安全场景。 而OSSEC是一款开源的跨平台 阅读全文
posted @ 2020-02-18 15:40 bonelee 阅读(1916) 评论(0) 推荐(0)
2020年1月14日
利用栈实现四则运算表达式求值----先将中缀表达式转换成后缀表达式，然后再求后缀表达式的值
摘要： 利用栈实现四则运算表达式求值，附Python代码中缀表达式和后缀表达式 平时用到的标准的四则运算表达式就叫做中缀表达式，例如“9 +（3 - 1) * 3 + 10 / 2)”,特点是运算符在数字中间； 后缀表达式就是一种把运算符放在数字后面的形式，“9 3 1 - 3 * + 10 2 / +”即 阅读全文
posted @ 2020-01-14 11:18 bonelee 阅读(2155) 评论(2) 推荐(0)
2020年1月6日
NOSQL 注入
摘要： 冷门知识 — NoSQL注入知多少 研究起因 接触NoSQL已经近两年了，最近在研究NoSQL注入，写下这篇文章输出我的一些沉淀。翻阅NoSQL注入资料发现这方面的文章很少，尤其是中文资料，又去搜一下MongoDB相关的漏洞，大约300多条记录，绝大多数是「未授权访问」，NoSQL注入寥寥无几。这就 阅读全文
posted @ 2020-01-06 20:35 bonelee 阅读(5114) 评论(0) 推荐(1)
2019年12月28日
pytest-mock mock的高层封装
摘要： pytest-mock pytest-mock是一个pytest的插件，安装即可使用。 它提供了一个名为mocker的fixture，仅在当前测试function或method生效，而不用自行包装。 object mock一个object，是最常见的需求。 由于function也是一个object， 阅读全文
posted @ 2019-12-28 11:08 bonelee 阅读(1844) 评论(0) 推荐(0)
上一页 1 ··· 106 107 108 109 110 111 112 113 114 ··· 274 下一页