时间的往事

摘要： #1 清空表数据 # truncate会把表分区也清除掉 truncate 'namespace:tableName' # truncate_preserve只清除数据 truncate_preserve 'namespace:tableNam #2 删除具体数据 # 删除emp表中特定的单元格数据 阅读全文

摘要： 1. 获取当前时间 --hive hive select from_unixtime(unix_timestamp()); --> 2021-01-06 22:53:16 --精确到今天的时分秒 select from_unixtime(unix_timestamp('2021-12-07 13:0 阅读全文

摘要： 递归 WITH RECURSIVE t(n) AS ( values(1) UNION ALL SELECT (n + 1) as n FROM t WHERE n in (1,2,3) ) select * from t; 传参： PREPARE myquery FROM SELECT userK 阅读全文

摘要： 1. 问题 (1)、max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 每个进程最大同时打开文件数太小，可通过下面2个命令查看当前数量 (2). max numb 阅读全文

摘要： 1. Trino集群安装 1.1 说明 1.1.1 安装说明 之前安装过Presto版本，但是由于需要连接Phoenix+hbase，Phoenix版本是5.1.2，而Presto已有的版本只支持Phoenix4.16.1，对应的hbase的1.X版本，所以切换到Trino版本。 需要注意的是tri 阅读全文

摘要： PrestoSQL新的版本更名为trino。 老版本 Presto下载地址（这个版本用的比较多吧）： https://repo1.maven.org/maven2/io/prestosql/presto-server/ 新版本（要求ddk11以上） https://repo1.maven.org/m 阅读全文

摘要： hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du 阅读全文

摘要： 01_尚硅谷大数据技术之Linux 视频连接：https://www.bilibili.com/video/BV1tv411q7dr 02_尚硅谷大数据技术之Shell 视频连接：https://www.bilibili.com/video/BV1gt4y1X7Ni 03_尚硅谷大数据技术之Hado 阅读全文

摘要： 面试大保健 链接：https://pan.baidu.com/s/1duUHb4AwOnW9jycDnUCRVA 提取码：undf 尚硅谷大数据技术之 StarRocks 链接：https://pan.baidu.com/s/1mrW115g6fp_rb-BK9e1lcg 提取码：yrh7 尚硅谷大 阅读全文

摘要： #1. 拷贝hbase的配置文件到resources目录 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase. 阅读全文

摘要： ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.s 阅读全文

摘要： 1. 功能说明 通过自定义拦截器实现使用数据中的时间字段作为分区。 比如如下数据： { "type":"token_transfer", "token_address":"0x4774fed3f2838f504006be53155ca9cbddee9f0c", "from_address":"0xf 阅读全文

摘要： Flink在窗口中使用aggregate聚合函数时，提示 Cannot resolve overloaded method 'aggregate'错误 这里可能有2个地方引起的问题： 1. 导入WindowFunction包问题： 下面包是错误的，因为我们是基于scala的开发。 import or 阅读全文

摘要： 分类 名称 地址 备注 软件 PDF文档下载地址 https://www.xz577.com/ Java SpringSecurity https://www.bilibili.com/video/BV1mm4y1X7Hc?p=1https://www.bilibili.com/video/BV1Q 阅读全文

摘要： 1. nginx的安装 1.1 下载上传 http://nginx.org/en/download.html 1.2 linux上安装c++编译环境 yum install -y zlibyum install gcc-c++ openssl openssl-devel zlib-devel pcr 阅读全文

摘要： 说明 本篇文章整个操作都是在root账号下进行，所有操作步骤完成后，可以根据实际的需求，更改目录权限。 整个操作的目的有两个： 安装snappy包，安装完成后所在路径是/usr/local/lib/ 安装hadoop依赖的snappy包，安装完成后所在路径是 $HADOOP_HOME/lib/nat 阅读全文

摘要： 将要调试的程序打包，上传到服务器目录，/home/hadoop/test/test.jar 然后在脚本中指定--jars参数为该目录。 spark-shell --master yarn \ --queue prod \ --driver-memory 10G --executor-memory 1 阅读全文

摘要： cluster模式： spark-submit \ --conf spark.dynamicAllocation.enabled=false \ --name pool_liquidity_info \ --master yarn \ --deploy-mode cluster \ --queue 阅读全文

摘要： 需求：一个topic包含很多个表信息，需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。 发送到Kafka中的数据原本最外层原本没有pkDay和project，只有data和name。因为担心data里面会空值，所以根同事商量，让他们在最外层添加了project和pkDay字段 阅读全文

摘要： yt-dlp -F https://www.youtube.com/watch?v=RMH8Xv2siYM yt-dlp -f 140 https://www.youtube.com/watch?v=RMH8Xv2siYM --write-thumbnail --merge-output-forma 阅读全文