cwxtop

摘要： 在SparkStreaming中统计了数据之后，我们需要将结果写入外部文件系统。 本文，以向Hbase中写数据，为例，说一下，SparkStreaming怎么向Hbase中写数据。 首先，需要说一下，下面的这个方法。 foreachRDD(func) 最通用的输出操作，把func作用于从stream 阅读全文

摘要： 大家都知道，TCP与UDP不同，它是基于连接的，也就是说：为了在服务端和客户端之间传送TCP数据，必须先建立一个虚拟电路，也就是TCP连接，建立TCP连接的标准过程是这样的： 首先，请求端（客户端）发送一个包含SYN标志的TCP报文，SYN即同步（Synchronize），同步报文会指明客户端使用的 阅读全文

摘要： 一 ：sql select的执行顺序 顺序为：from， where， group by， having， order by， limit 二：存储过程的好处 1、存储过程因为SQL语句已经预编绎过了，因此运行的速度比较快。 2、允许模块化程序设计，类似方法的复用 3、存储过程主要是在服务器上运行， 阅读全文

摘要： 背景 何为hive on spark hive现在已经成为各大公司进行大数据分析处理的宠儿了。由于hive对SQL语法更全面的支持，数据分析人员可以很容易地把原有数据分析应用方便地迁移到hive上并进行大数据量的计算。Hive最初的计算引擎为MapReduce，受限于其自身的Map+Reduce计算 阅读全文