上一页 1 ··· 5 6 7 8 9 10 11 下一页
摘要: Java基础: 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 基础概念: 注释 “//” 这是单行注释文字 /* 这是多行注释文字 这是多行注释文字 这是多行注释文字 */ 注意:多行注释不能嵌套使用。 关键字 特点:关键字的字母全部小写。 常量 - 整数常量 阅读全文
posted @ 2020-08-07 17:22 xbhog 阅读(137) 评论(0) 推荐(1) 编辑
摘要: 爬虫管理平台以及wordpress本地搭建 学习目标: 各爬虫管理平台了解 scrapydweb gerapy crawlab 各爬虫管理平台的本地搭建 Windows下的wordpress搭建 爬虫管理平台了解: scrapydweb: 用于Scrapyd实施管理的web应用程序,支持Scrapy 阅读全文
posted @ 2020-07-29 18:51 xbhog 阅读(884) 评论(0) 推荐(0) 编辑
摘要: scrapy分布式浅谈+京东示例: 学习目标: 分布式概念与使用场景 浅谈去重 浅谈断点续爬 分布式爬虫编写流程 基于scrapy_redis的分布式爬虫(阳关院务与京东图书案例) 环境准备: 下载redis-cli(客户端)以及redis-server(服务端) 安装Another Redis D 阅读全文
posted @ 2020-07-27 08:59 xbhog 阅读(419) 评论(0) 推荐(0) 编辑
摘要: 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 3)文章配套视频:http://www.bilibili.com/video/BV1aC4y1a7nR?share_medium=android&share_source=copy_link&bbid=XY1C29 阅读全文
posted @ 2020-07-25 16:29 xbhog 阅读(656) 评论(0) 推荐(0) 编辑
摘要: 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 一--在idea中配置git: 1. 更改git的安装路径:file-->settings,找到version control下的git选项;选择后点击Test按钮是否正确; 二--在工程中添加至git: 1. 工 阅读全文
posted @ 2020-07-25 16:04 xbhog 阅读(279) 评论(0) 推荐(0) 编辑
摘要: scrapyd+gerapy的项目部署: 简单学习,后续跟进完善 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 环境配置: scrapyd下载: pip install scrapyd -i https://pypi.com/simple scrapyd部署: 阅读全文
posted @ 2020-07-25 15:56 xbhog 阅读(709) 评论(0) 推荐(1) 编辑
摘要: scrapy框架的使用 前记:爬虫框架部分整理完成,后续慢慢完善, 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 创建工程: scrapy startproject name cd proName scrapy genspider spiderName url 阅读全文
posted @ 2020-07-21 15:35 xbhog 阅读(164) 评论(0) 推荐(0) 编辑
摘要: 拉钩重写: 1. 实现方式: scrapy+selenium 实现scrapy中的spider即可 2. 实现目标: 为实现对接之前的公司项目模板,实现统一化 3. 实现思路: 对关键字进行汉字转字母,进行URL拼接操作,然后请求; 通过selenium获取到网页源码,进行信息解析; yield返回 阅读全文
posted @ 2020-07-19 16:41 xbhog 阅读(163) 评论(0) 推荐(0) 编辑
摘要: 声明: 1)仅作为个人学习,如有冒犯,告知速删! 2)不想误导,如有错误,不吝指教! 1: 查看文件信息:ls ls常用参数: 参数含义 -a 显示指定目录下所有子目录与文件,包括隐藏文件 -l 以列表方式显示文件的详细信息 -h 配合 -l 以人性化的方式显示文件大小 注:也可以ls -lh组合 阅读全文
posted @ 2020-06-28 10:21 xbhog 阅读(315) 评论(0) 推荐(0) 编辑
摘要: 闭包内容: 匿名函数:能够完成简单的功能,传递这个函数的引用,只有功能 普通函数:能够完成复杂的功能,传递这个函数的引用,只有功能 闭包:能够完成较为复杂的功能,传递这个闭包中的函数以及数据,因此传递是功能+数据 对象:能够完成最复杂的功能,传递很多数据+很多功能,因此传递的是数据+功能 ————— 阅读全文
posted @ 2020-06-26 14:38 xbhog 阅读(352) 评论(0) 推荐(0) 编辑
上一页 1 ··· 5 6 7 8 9 10 11 下一页