摘要: awesome_app部署: www-21-05-18_12.19.42/ update mysql.user set authentication_string=PASSWORD('111111'), plugin='mysql_native_password' where user='root' 阅读全文
posted @ 2021-05-30 13:17 食蚁兽 阅读(63) 评论(0) 推荐(0) 编辑
摘要: import os L=[] def delete_file(file): if os.path.isdir(file): files=os.listdir(file) for x in files: x=os.path.join(file,x) if os.path.isfile(x): prin 阅读全文
posted @ 2021-05-08 00:47 食蚁兽 阅读(34) 评论(2) 推荐(0) 编辑
摘要: 代码引用 detail_lists = response.xpath('//section[@class="section board-list board-list-collapse"]/ul/li') #'//section[@class="section board-list board-li 阅读全文
posted @ 2020-12-26 13:26 食蚁兽 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 爬虫内容总结 用git提交项目到github的方法 git init git add . git commit -m 'first commit' git remote add origin https://... git push -u origin master # (第一次提交到远程库中) g 阅读全文
posted @ 2020-12-16 12:59 食蚁兽 阅读(68) 评论(0) 推荐(0) 编辑
摘要: docker参考博客 https://www.cnblogs.com/eden-libinglin/p/13803729.html https://www.lixian.fun/3812.html https://www.warlock.live/archives.html nginx参考博客 ht 阅读全文
posted @ 2020-11-23 23:53 食蚁兽 阅读(103) 评论(0) 推荐(0) 编辑
摘要: everything-is-local Author:Shine Version:9.0.2 一、引言 在单人开发过程中,需要进行版本管理,以利于开发进度的控制。 在多人开发过程中,不仅需要版本管理,还需要进行多人协同控制。 二、介绍 Git是一个开源的分布式版本控制系统,用于敏捷高效地处理任何或小 阅读全文
posted @ 2020-11-23 18:07 食蚁兽 阅读(53) 评论(0) 推荐(0) 编辑
摘要: 本项目中介绍 使用了selenium,需要添加匹配的chromedriver.exe的路径在webdriver.Chrome(executable_path='path') 请求视频详情页 如:https://www.pearvideo.com/video_1708124 , xpath 解析、获取 阅读全文
posted @ 2020-11-23 12:47 食蚁兽 阅读(592) 评论(0) 推荐(0) 编辑
摘要: 本项目简单介绍 爬取网易中的五大板块新闻:国内、国际、军事、航空、无人机 初始url是:https://news.163.com/,板块url类似:https://news.163.com/domestic/ 从初始url获取各个板块url地址,然后获得板块中系列新闻的标题 title 和详情 ur 阅读全文
posted @ 2020-11-23 12:27 食蚁兽 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 本项目中运用了相关技术 fake_useragent的随机ua http://www.goubanjia.com/中的动态代理ip time.sleep(delay)随机延迟数,来降低被反爬虫策略监控的风险 存储数据在mysql数据库中 经本人测试,可爬取阳光政务的 http://wz.sun076 阅读全文
posted @ 2020-11-23 11:57 食蚁兽 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 目录结构: wordpress_blog - docker-compose.yml docker-compose.yml中 version: '3.3' services: db: image: mysql:5.7 volumes: - db_data:/var/lib/mysql restart: 阅读全文
posted @ 2020-11-21 11:56 食蚁兽 阅读(124) 评论(0) 推荐(0) 编辑