摘要: 发布的问题 mvn clean package project -am -Pcdp -DskipTests=true 之后将打包好的包上传到相关路径 提交任务与Kerberos文件配置 spark-submit \ --master yarn \ --deploy-mode cluster \ -- 阅读全文
posted @ 2022-04-16 13:53 堕落先锋 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 近期遇到的maven问题 1.多数据源配置,始终只有一个maven库下载 2.打包过程中遇到的问题 多数据源配置,以及IDEA上的配置 每打开一个项目请先确认,setting>maven>设置是本地maven配置还是 自带的配置,如果是自带的配置,请修改为你自己配置过的配置文件目录。 看一下sett 阅读全文
posted @ 2022-04-16 13:16 堕落先锋 阅读(1524) 评论(0) 推荐(0) 编辑
摘要: md文件学习 1.主要学习什么? 标题 段落,分割线 code格式 引用(链接,图片) 表格(基本不用) 字体(美化工具) 其余部分依据个人喜好进行学习,初入门1-3点基本够用了,先玩起来 2.学进行时 标题 关于标题,## 就是一个二级标题 # 是一个一级标题,几个#表示html里面的 h几,共1 阅读全文
posted @ 2022-04-16 11:00 堕落先锋 阅读(710) 评论(0) 推荐(0) 编辑
摘要: 这是参数定义为字典类型的传入报错 def content_split(**kargs): print(kargs) if __name__=='__main__': content={'a':'b','c':'d'} content_split(**content)# 这样才不会报错 content 阅读全文
posted @ 2022-01-18 10:16 堕落先锋 阅读(162) 评论(0) 推荐(0) 编辑
摘要: window窗口句柄只能到该窗口的最大页码处,之后再点击下一页会返回到第一页的问题。 这个问题,可以理解为窗口句柄被写死不能刷新,要解决这个,先得保存句柄,搞两个句柄, 一个句柄用来翻页的,一个句柄用来窗口操作的,试了好久解决的。 while True: driver.implicitly_wait 阅读全文
posted @ 2022-01-11 15:31 堕落先锋 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 获取标签a元素,当不能点击时候,打印看下有没有href属性,我的就是没有href属性,导致不能点击 所以主动加入了,手动滑到页面底部的操作,就是项页面连续发送三个空格按键,即刻滑到底部。 保证获取元素时候,元素肯定是加载完成的,就不会出现缺失属性的问题 for i in range(3): driv 阅读全文
posted @ 2022-01-11 15:24 堕落先锋 阅读(2136) 评论(0) 推荐(0) 编辑
摘要: 1、 场景:爬取的是一个具有多个公告的网站,检索出来的信息以js渲染出来的数据,多个分页的场景。 首先用selenium获取了第一页的信息,之后对第一页的多个标题进去爬取数据,爬取每个分页,在第一页 所有信息界面爬取结束后,进行翻页爬取,如此到最后一页。 stale element referenc 阅读全文
posted @ 2021-12-17 09:35 堕落先锋 阅读(139) 评论(0) 推荐(0) 编辑
摘要: /** * 冒泡排序和插入排序,总体思路都是移动算法,外层循环没大差别,内层循环,插入排序是从当前临时比对元素开始,往前面进行排序 * 冒泡排序是从数组最后一个元素开始到当前临时元素之间进行移动,感觉上插入排序效率应该更一点,插入一个有序一个。 * * 数组的核心是移动过程,冒泡排序,遍历每个元素, 阅读全文
posted @ 2021-12-15 16:09 堕落先锋 阅读(20) 评论(0) 推荐(0) 编辑
摘要: /* * 二叉树节点 */ public class Node { //数据项 public long data; //左子节点 public Node leftChild; //右子节点 public Node rightChild; /** * 构造方法 * @param data */ pub 阅读全文
posted @ 2021-12-15 16:09 堕落先锋 阅读(197) 评论(0) 推荐(0) 编辑
摘要: 底层的存储结构划分成两种类型,一种是链表构成,一种就是数组。 第一种,底层是由数组构成 1、数据实体 public class Info { private String key; private String name; public Info(String key, String name) { 阅读全文
posted @ 2021-12-15 11:06 堕落先锋 阅读(23) 评论(0) 推荐(0) 编辑