摘要：
Union的语法格式如下： Union用于将多个SELECT语句的查询结果合并到一个结果集中，目前Hive只支持UNION ALL，也就是结果集中的重复记录不会被删除。SELECT语句返回列的数目和名称必须相同，否则会报schema错误。Union语句还可以嵌套在FROM子句中： 在Hive-0.1 阅读全文
posted @ 2017-09-13 19:12
天~宇~翱~翔
阅读(2495)
评论(0)
推荐(0)
摘要：
1. defmulti 宏defmulti 和defmethod 经常被用在一起来定义 multimethod. 宏defmulti 的参数包括一个方法名以及一个dispatch函数，这个dispatch函数的返回值会被用来选择到底调用哪个重载的函数。宏defmethod 的参数则包括方法名，dis 阅读全文
posted @ 2017-08-20 21:11
天~宇~翱~翔
阅读(957)
评论(0)
推荐(0)
摘要：
1. 单箭头( -> ) 单箭头操作符会把其参数form迭代式地依次插入到相邻的下个一个form中作为该form的第一个参数。这就好像把这些form串起来了，即线性化（Threading）。 由于它总是把前一个参数作为接下来的form的第一个参数插入，这种操作也叫 thread-first 。注意， 阅读全文
posted @ 2017-08-20 15:58
天~宇~翱~翔
阅读(602)
评论(0)
推荐(0)
摘要：
1. storm 事务 对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统计tuple的数量 阅读全文
posted @ 2017-08-07 19:42
天~宇~翱~翔
阅读(1110)
评论(0)
推荐(0)
摘要：
1. 核心原理 一个运行中的拓扑是由什么组成的：worker进程，executors和tasks。Storm是按照下面3种主要的部分来区分Storm集群中一个实际运行的拓扑的：Worker进程、Executors (线程) 以及真正实施计算的Tasks(任务)，先简单回顾一下storm几个核心概念： 阅读全文
posted @ 2017-08-02 15:29
天~宇~翱~翔
阅读(560)
评论(0)
推荐(0)
摘要：
高级用法： （1）作攻击程序用，例子： 格式1：type.exe c:\exploit.txt|nc -nvv 192.168.x.x 80 格式2：nc -nvv 192.168.x.x 80 < c:\exploit.txt 讲解：连接到192.168.x.x的80端口，并在其管道中发送’c:\ 阅读全文
posted @ 2017-08-01 20:22
天~宇~翱~翔
阅读(670)
评论(0)
推荐(0)
摘要：
netcat被誉为网络安全界的’瑞士军刀’，相信没有什么人不认识它吧……一个简单而有用的工具，透过使用TCP或UDP协议的网络连接去读写数据。它被设计成一个稳定的后门工具，能够直接由其它程序和脚本轻松驱动。同时，它也是一个功能强大的网络调试和探测工具，能够建立你需要的几乎所有类型的网络连接，还有几个 阅读全文
posted @ 2017-08-01 20:02
天~宇~翱~翔
阅读(397)
评论(0)
推荐(0)
摘要：
1. kafka整体结构图 Kafka名词解释和工作方式 Producer ：消息生产者，就是向kafka broker发消息的客户端。 Consumer ：消息消费者，向kafka broker取消息的客户端 Topic ：咋们可以理解为一个队列。 Consumer Group （CG）：这是ka 阅读全文
posted @ 2017-08-01 18:19
天~宇~翱~翔
阅读(1070)
评论(0)
推荐(0)
摘要：
1. 编程模型 DataSource：外部数据源 Spout：接受外部数据源的组件，将外部数据源转化成Storm内部的数据，以Tuple为基本的传输单元下发给Bolt Bolt:接受Spout发送的数据，或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。 阅读全文
posted @ 2017-08-01 13:58
天~宇~翱~翔
阅读(316)
评论(0)
推荐(0)
摘要：
1. 客户端运行storm nimbus时，会调用storm的python脚本，该脚本中为每个命令编写一个方法，每个方法都可以生成一条相应的java命令。 命令格式如下：java -server xxxx.ClassName -args 2. nibums启动之后，接受客户端提交任务 命令格式：st 阅读全文
posted @ 2017-08-01 13:49
天~宇~翱~翔
阅读(931)
评论(0)
推荐(0)
浙公网安备 33010602011771号