摘要: 安装scrapyd服务 pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple 官方文档 安装 pip install scrapyd-client 官方文档 scrapy-deploy 部署建setup.py from set 阅读全文
posted @ 2023-12-31 15:03 堕落先锋 阅读(4) 评论(0) 推荐(0) 编辑
摘要: insertInto必须保证源表字段顺序和hive表字段顺序一致,不然会插入乱序,如果字段数不一致,会报错 saveAsTable append模式下,如果字段数不一致,会报错,overwrite模式下,会重建表 如果是外部表,已经存在了数据,saveAsTable会报错 org.apache.sp 阅读全文
posted @ 2023-12-23 16:15 堕落先锋 阅读(35) 评论(0) 推荐(0) 编辑
摘要: 本地调用三方包,日志信息很关键,log4j有多种日志级别 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局)。这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出。综合使用这三个组件可以轻松地记录信息的类型和级别,并可以在运行时控制 阅读全文
posted @ 2023-11-30 17:07 堕落先锋 阅读(8) 评论(0) 推荐(0) 编辑
摘要: Oracle表字段和备注信息获取 select a.OWNER as table_schema, a.TABLE_NAME as table_name, d.COMMENTS as tale_comments, a.COLUMN_NAME as column_name, a.COLUMN_ID as 阅读全文
posted @ 2023-11-30 14:55 堕落先锋 阅读(14) 评论(0) 推荐(0) 编辑
摘要: javac是编译命令 javac A.java -d dirclass -encoding utf-8 javac -classpath/-cp 依赖包的路径,需要用:拼接起来,例如 eg javac -cp spark_2.11.jar;flink_1.12.jar B.java -d /test 阅读全文
posted @ 2023-10-26 11:44 堕落先锋 阅读(12) 评论(0) 推荐(0) 编辑
摘要: #### 固定套路总结输出吧 hutool和apache的httpclient ``` import cn.hutool.http.HttpRequest; import cn.hutool.http.HttpResponse; import cn.hutool.http.HttpUtil; imp 阅读全文
posted @ 2023-08-22 09:33 堕落先锋 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 目的是为了解析视图中的表名,构建血缘关系,下面是入门的demo Calcite解析 有不能解析出来的情况,需要进一步了解javacc, Jsqparser解析,都能正常解析,然而面对复杂子查询,效率很低 ``` 使用Calcite解析 package sqlparser; import org.ap 阅读全文
posted @ 2023-07-20 10:13 堕落先锋 阅读(577) 评论(0) 推荐(0) 编辑
摘要: ##### 解析SQL中的底表 主要目标是获取出StarRocks雾化中的底表和字段备注,之后给字段赋予备注值,存入库表,可以动态生成数据字典,web可以利用该表 实现mybatis的动态sql拼接,动态化的excel导出导入,魔板等功能。尝试使用了Jsqlparser解析sql语句,发现遇到部分 阅读全文
posted @ 2023-07-19 11:02 堕落先锋 阅读(84) 评论(0) 推荐(0) 编辑
摘要: ##### 在动态sql解析过程,#{}与${}有本质差别 ``` 1. #{} 是基于JDBC的preparedStaement ,${} 是基于JDBC的Statement 2. #{} 表示的是预编译的参数,就是 替代在SQL语句中的占位符‘?’,并会将参数作为字符串处理;如果要动态传入 表名 阅读全文
posted @ 2023-07-12 23:23 堕落先锋 阅读(114) 评论(0) 推荐(0) 编辑
摘要: #### 1、错误: 找不到或无法加载主类 删除META-INFO下的 .DSA和 .SF文件即可 ![](https://img2023.cnblogs.com/blog/1619161/202305/1619161-20230526094324418-78092035.png) 来源 [csdn 阅读全文
posted @ 2023-05-26 14:05 堕落先锋 阅读(38) 评论(0) 推荐(0) 编辑