摘要: <?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--Licensed under the Apache License, Version 2.0 (t 阅读全文
posted @ 2022-08-26 22:20 Avery_rainys 阅读(101) 评论(0) 推荐(0)
摘要: 切分计划 set [0,6) 1 2 3 4 5 6 [6,13) 7 8 9 10 11 12 13 [13,20) 14 15 16 17 18 19 20 [floor((n-1)*(N/P)), floor(n*N/P)) file [0, 6] 1,2,3,4 [7, 12] 5,6,7 阅读全文
posted @ 2022-08-26 21:55 Avery_rainys 阅读(43) 评论(0) 推荐(0)
摘要: 一、常用日期函数 1. unix_timestamp:返回当前或指定时间的时间戳 select unix_timestamp();select unix_timestamp("2020-10-28",'yyyy-MM-dd'); 2. from_unixtime:将时间戳转为日期格式select f 阅读全文
posted @ 2022-08-14 16:21 Avery_rainys 阅读(70) 评论(0) 推荐(0)
摘要: 行转列 ① CONCAT(string A/col, string B/col…):返回输入字符串连接后的结果,支持任意个输入字符串; ② CONCAT_WS(separator, str1, str2,...): ·它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。 ·分隔符可以 阅读全文
posted @ 2022-08-14 16:16 Avery_rainys 阅读(226) 评论(0) 推荐(0)
摘要: 先过滤后联表。 from 和 join支持子查询的嵌套, where中不支持子查询嵌套, having不支持子查询。 where 不能使用select中的别名,having可以。 HQL中select distinct不能和group by 共用 = 不推荐使用distinct去重,因为distin 阅读全文
posted @ 2022-08-12 20:24 Avery_rainys 阅读(56) 评论(0) 推荐(0)
摘要: kafka在生产者发送完一个消息之后,要求broker在规定的时间内Ack应答;如果没有在规定时间内ack;生产者会尝试n次重新发送消息。 acks=1 (默认)Leader会将Record写在其本地日志中;但不会等待所有Follower的完全确认的情况下做出响应,这种情况下,如果Leader在确认 阅读全文
posted @ 2022-08-12 19:32 Avery_rainys 阅读(1124) 评论(0) 推荐(0)
摘要: Kafka定义 KafKa传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。 2.8以后的最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming Platform),被数千家公司用于高性能数据管道、流 阅读全文
posted @ 2022-08-12 18:54 Avery_rainys 阅读(356) 评论(0) 推荐(0)
摘要: Pandas概述 pandas介绍 2008年WesMckinney开发出的库 专门用于数据挖掘的开源python库 以numpy为基础,接力Numpy模块在计算方面性能高的优势 基于matplotlib,能够简便的画图 独特数据结构 Pandas的作用 相比于Numpy在处理数据方面的优势,结合m 阅读全文
posted @ 2021-12-09 20:07 Avery_rainys 阅读(206) 评论(0) 推荐(0)
摘要: numpy概述 numpy介绍 # 一个开源的Python科学计算库 # 计算起来要比python简洁高效 # Numpy使用ndarray对象来处理多维数组 # NumPy提供了一个N维数组类型ndarray,它描述了相同类型的“items”的集合 # 生成numpy对象:np.array() n 阅读全文
posted @ 2021-12-08 23:32 Avery_rainys 阅读(65) 评论(0) 推荐(0)
摘要: 1 from collections import deque 2 3 4 class Tree(object): 5 class TreeNode(object): 6 def __init__(self, data): 7 self.data = data 8 self.lchild = Non 阅读全文
posted @ 2021-12-07 16:56 Avery_rainys 阅读(41) 评论(0) 推荐(0)