摘要: 01_尚硅谷大数据技术之Linux 视频连接:https://www.bilibili.com/video/BV1tv411q7dr 02_尚硅谷大数据技术之Shell 视频连接:https://www.bilibili.com/video/BV1gt4y1X7Ni 03_尚硅谷大数据技术之Hado 阅读全文
posted @ 2022-06-14 23:27 硅谷工具人 阅读(17) 评论(0) 推荐(1) 编辑
摘要: 面试大保健 链接:https://pan.baidu.com/s/1duUHb4AwOnW9jycDnUCRVA 提取码:undf 尚硅谷大数据技术之 StarRocks 链接:https://pan.baidu.com/s/1mrW115g6fp_rb-BK9e1lcg 提取码:yrh7 尚硅谷大 阅读全文
posted @ 2022-06-14 23:15 硅谷工具人 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 分类 名称 地址 备注 软件 PDF文档下载地址 https://www.xz577.com/ Java SpringSecurity https://www.bilibili.com/video/BV1mm4y1X7Hc?p=1https://www.bilibili.com/video/BV1Q 阅读全文
posted @ 2022-05-12 12:06 硅谷工具人 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1. 问题 (1)、max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] 每个进程最大同时打开文件数太小,可通过下面2个命令查看当前数量 (2). max numb 阅读全文
posted @ 2022-06-24 16:12 硅谷工具人 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 1. Trino集群安装 1.1 说明 1.1.1 安装说明 之前安装过Presto版本,但是由于需要连接Phoenix+hbase,Phoenix版本是5.1.2,而Presto已有的版本只支持Phoenix4.16.1,对应的hbase的1.X版本,所以切换到Trino版本。 需要注意的是tri 阅读全文
posted @ 2022-06-23 02:34 硅谷工具人 阅读(10) 评论(0) 推荐(0) 编辑
摘要: PrestoSQL新的版本更名为trino。 老版本 Presto下载地址(这个版本用的比较多吧): https://repo1.maven.org/maven2/io/prestosql/presto-server/ 新版本(要求ddk11以上) https://repo1.maven.org/m 阅读全文
posted @ 2022-06-22 16:37 硅谷工具人 阅读(0) 评论(0) 推荐(0) 编辑
摘要: hdfs dfs -du -s -h /user/hive/warehouse/xy_ods.db/ods_test/pk_year=2021/pk_month=2021-12/pk_day=2021-12-30 如果需要截取前面的文件大小413.0G,还需要添加截取功能。 hdfs dfs -du 阅读全文
posted @ 2022-06-21 19:51 硅谷工具人 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 将博客搬至CSDN 阅读全文
posted @ 2022-06-21 13:45 硅谷工具人 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 01_尚硅谷大数据技术之Linux 视频连接:https://www.bilibili.com/video/BV1tv411q7dr 02_尚硅谷大数据技术之Shell 视频连接:https://www.bilibili.com/video/BV1gt4y1X7Ni 03_尚硅谷大数据技术之Hado 阅读全文
posted @ 2022-06-14 23:27 硅谷工具人 阅读(17) 评论(0) 推荐(1) 编辑
摘要: 面试大保健 链接:https://pan.baidu.com/s/1duUHb4AwOnW9jycDnUCRVA 提取码:undf 尚硅谷大数据技术之 StarRocks 链接:https://pan.baidu.com/s/1mrW115g6fp_rb-BK9e1lcg 提取码:yrh7 尚硅谷大 阅读全文
posted @ 2022-06-14 23:15 硅谷工具人 阅读(35) 评论(0) 推荐(0) 编辑
摘要: #1. 拷贝hbase的配置文件到resources目录 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hbase. 阅读全文
posted @ 2022-06-05 11:17 硅谷工具人 阅读(3) 评论(0) 推荐(0) 编辑
摘要: ERROR 726 (43M10): Inconsistent namespace mapping properties. Cannot initiate connection as SYSTEM:CATALOG is found but client does not have phoenix.s 阅读全文
posted @ 2022-06-05 10:56 硅谷工具人 阅读(2) 评论(0) 推荐(0) 编辑
摘要: 1. 功能说明 通过自定义拦截器实现使用数据中的时间字段作为分区。 比如如下数据: { "type":"token_transfer", "token_address":"0x4774fed3f2838f504006be53155ca9cbddee9f0c", "from_address":"0xf 阅读全文
posted @ 2022-06-01 12:50 硅谷工具人 阅读(4) 评论(0) 推荐(0) 编辑
摘要: Flink在窗口中使用aggregate聚合函数时,提示 Cannot resolve overloaded method 'aggregate'错误 这里可能有2个地方引起的问题: 1. 导入WindowFunction包问题: 下面包是错误的,因为我们是基于scala的开发。 import or 阅读全文
posted @ 2022-05-29 20:43 硅谷工具人 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 分类 名称 地址 备注 软件 PDF文档下载地址 https://www.xz577.com/ Java SpringSecurity https://www.bilibili.com/video/BV1mm4y1X7Hc?p=1https://www.bilibili.com/video/BV1Q 阅读全文
posted @ 2022-05-12 12:06 硅谷工具人 阅读(12) 评论(0) 推荐(0) 编辑
摘要: 1. nginx的安装 1.1 下载上传 http://nginx.org/en/download.html 1.2 linux上安装c++编译环境 yum install -y zlibyum install gcc-c++ openssl openssl-devel zlib-devel pcr 阅读全文
posted @ 2022-05-11 14:32 硅谷工具人 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 说明 本篇文章整个操作都是在root账号下进行,所有操作步骤完成后,可以根据实际的需求,更改目录权限。 整个操作的目的有两个: 安装snappy包,安装完成后所在路径是/usr/local/lib/ 安装hadoop依赖的snappy包,安装完成后所在路径是 $HADOOP_HOME/lib/nat 阅读全文
posted @ 2022-05-07 17:34 硅谷工具人 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 将要调试的程序打包,上传到服务器目录,/home/hadoop/test/test.jar 然后在脚本中指定--jars参数为该目录。 spark-shell --master yarn \ --queue prod \ --driver-memory 10G --executor-memory 1 阅读全文
posted @ 2022-05-03 11:18 硅谷工具人 阅读(8) 评论(0) 推荐(0) 编辑
摘要: spark-submit \ --conf spark.dynamicAllocation.enabled=false \ --name pool_liquidity_info \ --master yarn \ --deploy-mode cluster \ --queue prod \ --dr 阅读全文
posted @ 2022-05-02 22:59 硅谷工具人 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 需求:一个topic包含很多个表信息,需要自动根据json字符串中的字段来写入到hive不同的表对应的路径中。 发送到Kafka中的数据原本最外层原本没有pkDay和project,只有data和name。因为担心data里面会空值,所以根同事商量,让他们在最外层添加了project和pkDay字段 阅读全文
posted @ 2022-05-02 22:42 硅谷工具人 阅读(5) 评论(0) 推荐(0) 编辑
摘要: yt-dlp -F https://www.youtube.com/watch?v=RMH8Xv2siYM yt-dlp -f 140 https://www.youtube.com/watch?v=RMH8Xv2siYM --write-thumbnail --merge-output-forma 阅读全文
posted @ 2022-05-02 22:11 硅谷工具人 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 阵列卡的作用: 可以给硬盘组件磁盘阵列 RAID1 通过磁盘数据镜像实现数据冗余,两组硬盘上的数据一致。 RAID5 通过奇偶校验信息存储的方式实现数据冗余,兼顾存储性能,数据安全,存储成本的一种方案。 当RAID5中的一个硬盘数据损坏时,系统能够利用剩下的数据和相应的奇偶校验信息来计算出已经损坏的 阅读全文
posted @ 2022-05-01 10:52 硅谷工具人 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 今天在DBVeaver中是使用hive运行sql正常,到了sparksql中运行,就变成了+8小时。 为了解决时区问题,需要在spark的配置中添加以下设置,具体时区根据实际情况来。 conf.set("spark.sql.session.timeZone","UTC") 阅读全文
posted @ 2022-04-23 17:57 硅谷工具人 阅读(44) 评论(0) 推荐(0) 编辑
成功之道,在于每个人生阶段都要有不同的目标,并且通过努力实现自己的目标,毕竟人生不过百年! 所有奋斗的意义在于为个人目标实现和提升家庭幸福,同时能推进社会进步和国家目标! 正如古人讲的正心诚意格物致知,修身齐家治国平天下。