jsqup

2022年12月7日

posted @ 2022-12-07 15:53 jsqup 阅读(67) 评论(0) 推荐(0)

SQL中使用JOIN时，过滤条件的位置

摘要： sql语句 (SELECT * FROM t1 WHERE {subquery_where_condition}) a JOIN (SELECT * FROM t2 WHERE {subquery_where_condition}) b ON {on_condition} WHERE {where_ 阅读全文

posted @ 2022-12-07 15:25 jsqup 阅读(229) 评论(0) 推荐(0)

2022年12月2日

行式存储和列式存储的区别

摘要： 1. 什么是行式存储和列式存储？ 2. 行式存储分析？缺点： -- 行式在读取数据的时候，所查询的目标只涉及少数几项属性，但由于这些目标数据埋藏在各行数据单元中，而行单元又特别大，必须读取每一条完整的行记录，从而使得读取效率大大降低。 -- 可以加索引或给表分区进行优化。优点： -- 1. 适合阅读全文

posted @ 2022-12-02 15:05 jsqup 阅读(135) 评论(0) 推荐(0)

2022年9月20日

hosts(修改ip配置C:\Windows\System32\drivers\etc\hosts)

摘要：路径 C:\Windows\System32\drivers\etc\hosts 注意 HDFS可视化界面上如果要下载某一个，必须配置主机和ip的映射关系阅读全文

posted @ 2022-09-20 11:42 jsqup 阅读(191) 评论(0) 推荐(0)

kafka页面可视化(OffsetExplorer)

摘要：上传，解压 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz cd kafka-eagle-bin-3.0.1 tar -zxvf efak-web-3.0.1-bin.tar.gz mv efak-web-3.0.1 /opt/app/ 配置文件system-confi 阅读全文

posted @ 2022-09-20 10:26 jsqup 阅读(607) 评论(0) 推荐(0)

2022年9月15日

6.道路卡口车流量统计

摘要： import java.util.Properties import org.apache.spark.SparkConf import org.apache.spark.sql.{SaveMode, SparkSession} object DayFlow { def main(args: Arr 阅读全文

posted @ 2022-09-15 11:40 jsqup 阅读(283) 评论(0) 推荐(0)

3.采集数据(将模拟好的数据采集到HDFS上)

摘要： fileToHdfs.conf文件 #sources别名:r1 a1.sources = r1 #sink别名:k1 a1.sinks = k1 #channel别名：c1 a1.channels = c1 # 定义flume的source数据源文件 a1.sources.r1.type = ex 阅读全文

posted @ 2022-09-15 10:26 jsqup 阅读(86) 评论(0) 推荐(0)

5.道路卡口摄像头的异常状态统计

摘要： package camera import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession // 摄像异常状态的功能代码 object CameraAbnormality { def main(args: Arr 阅读全文

posted @ 2022-09-15 10:19 jsqup 阅读(140) 评论(0) 推荐(0)

4.项目中要引入的资源

摘要： pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance 阅读全文

posted @ 2022-09-15 10:17 jsqup 阅读(30) 评论(0) 推荐(0)

2.模拟数据

摘要：日期模拟 import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import java.util.Random; public class DataUtil { public stat 阅读全文

posted @ 2022-09-15 10:13 jsqup 阅读(39) 评论(0) 推荐(0)

公告