bitbitbyte - 博客园

2020年6月28日

摘要： pox.xml文件 4.0.0 org.scala-lang scala-library 2.11.8 org.apache.kafka kafka-clients 1.0.... 阅读全文

posted @ 2020-06-28 16:28 bitbitbyte 阅读(343) 评论(0) 推荐(0) 编辑

摘要： flume版本: 1.5.2 source:netcat 查看flume监听端口是否打开: netstat -tunlp | grep 44444 # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.... 阅读全文

posted @ 2020-06-28 14:51 bitbitbyte 阅读(234) 评论(0) 推荐(0) 编辑

shell:ps awk杀死进程

摘要： ps -ef | awk '/进程名/ && !/awk/{print $2}'| xargs kill -9 && !/awk/ : 并且不匹配"awk" {print $2}: 打印按空格分割的第二个字符串 xargs: kill不支持管道, 是使用xargs读取数据阅读全文

posted @ 2020-06-28 10:51 bitbitbyte 阅读(648) 评论(0) 推荐(0) 编辑

2020年6月27日

scala的maven项目中的pom文件

摘要：如果没有添加以下依赖, 那么maven则无法编译scala文件 org.scala-lang scala-library 2.11.8 net.alchim31.maven ... 阅读全文

posted @ 2020-06-27 20:01 bitbitbyte 阅读(554) 评论(0) 推荐(0) 编辑

2020年6月25日

hive开窗函数进阶

摘要：概述开窗函数的理解参见: 理解hive中的开窗函数 over()中除了可以使用partition by选择分组字段外, 还有以下函数 order by 排序指定聚合行的范围, 配合order by使用 current row：当前行 n PRECEDING：往前 n 行数据 n FOLLOWING：往后 n 行数据 UNBOUNDED PRECEDING 表示从前面的起点 UN... 阅读全文

posted @ 2020-06-25 20:59 bitbitbyte 阅读(593) 评论(0) 推荐(0) 编辑

理解hive中的开窗函数

摘要：开窗函数简单介绍与聚合函数一样，开窗函数也是需要对行进行分组, 然后使用聚合算子. 可是它不像普通聚合函数那样每组只返回一个值，而是每一行返回一个窗口的聚合结果. 举例说明数据如下 hive (default)> select * from over_test; open_test.name o 阅读全文

posted @ 2020-06-25 19:02 bitbitbyte 阅读(1364) 评论(0) 推荐(0) 编辑

kafka中的端到端一致性(exactly-one)

摘要：端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不会被重复写入幂等写入根据key去重, 比如k-v数据库: hbase, redis事务写入能够在失败... 阅读全文

posted @ 2020-06-25 18:07 bitbitbyte 阅读(461) 评论(0) 推荐(0) 编辑

SparkSQL & Spark on Hive & Hive on Spark[转载]

摘要： SparkSQL & Spark on Hive & Hive on SparkSpark On Hive, 将Hive做为数据库, 获得表数据后, 使用Spark SQL对表操作.Hive On Spark, 将Hive的计算引擎替换Spark RDD操作. 阅读全文

posted @ 2020-06-25 15:59 bitbitbyte 阅读(125) 评论(0) 推荐(0) 编辑

hive常用的日期函数(转载)

摘要：转载: hive常用的日期函数 ## 当前日期和时间 SELECT current_timestamp(); -- 2018-04-28 11:46:03.136 ## 获取当前日期，当前是 2018-04-28 SELECT current_date; OR SELECT current_date(); -- 2018-04-28 ## 获取unix系统下的时间戳 SELECT UNIX_... 阅读全文

posted @ 2020-06-25 11:37 bitbitbyte 阅读(203) 评论(0) 推荐(0) 编辑

2020年6月23日

flink底层API:KeyedProcessFunction

摘要： KeyedSteam可以调用process方法, 该方法可以接受一个KeyedProcessFunction类型的参数. KeyedProcessFunction类型的上层父类是RichFunction, 对分流后每一个元素调用一次KeyedProcessFunction中的elementProcess方法，可以通过Context调用timeServier, 注册定时器, 获得当前水位线... 阅读全文

posted @ 2020-06-23 19:51 bitbitbyte 阅读(1048) 评论(0) 推荐(0) 编辑

公告