Java基础总结

摘要: 基本类型及定义: 阅读全文
posted @ 2019-09-05 10:12 南华 阅读(94) 评论(0) 推荐(0) 编辑

scrapy爬取新浪新闻目录

摘要: 本项目主要爬取"http://news.sina.com.cn/guide/"网站下标题结构,然后在本地中新建对应的目录结构 scrapy startproject sina 新建项目sina scrapy genspider sinaSpider sina.com.cn 新建爬虫sinaUrl 编 阅读全文
posted @ 2019-08-07 19:15 南华 阅读(360) 评论(0) 推荐(0) 编辑

scrapy中Spider类与CrawlSpider类的使用比较

摘要: 创建爬虫时: scrapy genspider exampleSpider example.com 创建以scrapy.Spider为模板的爬虫类 scrapy genspider -t crawl exampleSpider example.com 创建以scrapy.spiders.CrawlS 阅读全文
posted @ 2019-08-01 15:18 南华 阅读(520) 评论(0) 推荐(0) 编辑

scrapy基础流程

摘要: scrapy框架运行时基本流程: scrapy crawl 爬虫名 在./biquge/biquge/spiders中找到爬虫名为指定爬虫名的爬虫类(以下简称本类); 开始向本类中starts_urls中的网址发送请求(scrapy.Request); 接收服务器的返回(response),调用pa 阅读全文
posted @ 2019-07-31 13:01 南华 阅读(93) 评论(0) 推荐(0) 编辑

scrapy基础用法(二)

摘要: 上次的可以爬取章节名与章节地址,本次的可以爬取小说内容,不过顺序不对 主要逻辑文件./biquge/biquge/spiders/Scrn 字段结构存储文件 ./biquge/biquge/items.py 存储逻辑文件./biquge/biquge/pipelines.py 设置管道文件 ./bi 阅读全文
posted @ 2019-07-29 21:39 南华 阅读(136) 评论(0) 推荐(0) 编辑

scrapy基础用法

摘要: 本次爬虫用来爬取http://www.xbiquge.la中的小说 scrapy startproject biquge(项目名) 创建一个爬虫项目 目录结构: ./biquge/ |____ scrapy.cfg 用以记录当前项目的基础设置,settings的位置,,调度,项目名等 |____ b 阅读全文
posted @ 2019-07-29 11:29 南华 阅读(226) 评论(0) 推荐(0) 编辑

Java基础(面向对象三)

摘要: 接口: 抽象方法本质上时是定义接口规范:规定高层的接口,保证所有子类都能通过相同的接口(方法名)实现,以此发挥多态的优势。 如果一个抽象类没有字段,所有方法都是抽象方法,就可以把该抽象方法定义成接口(interface)。 接口定义的类中不能有字段,接口中定义的所有的方法默认都是public abs 阅读全文
posted @ 2019-07-26 10:56 南华 阅读(94) 评论(0) 推荐(0) 编辑

Java基础(面向对象二)

摘要: 抽象类: 有时候由于子类必然覆写父类中的某些方法,所以父类中方法体的定义略显多余。 而如果去掉父类的方法体,会导致编译错误。 如果整个去掉父类的方法又使子类失去了多态的特性(继承自同一父类的子类在调用同一方法时执行不同的逻辑)。 因此可用abstract用来修饰父类及父类中的方法,此时方法不能写方法 阅读全文
posted @ 2019-07-26 09:29 南华 阅读(107) 评论(0) 推荐(0) 编辑

Java基础(面向对象一)

摘要: 方法重载: 方法名相同,接收参数不同(类型或数量),程序可根据调用方法时传入的参数类型跟数量判断究竟使用哪个方法。 封装: 使用private/protected使类的变量与方法不能在类外直接调用,同时定义部分API达到修改或获取目标变量的方法。 为了防止属性名与方法参数名重复,方法中访问属性名时可 阅读全文
posted @ 2019-07-25 12:07 南华 阅读(109) 评论(0) 推荐(0) 编辑

Java基础(面向对象之前)

摘要: 开发工具: JDK(JavaDevelopmentKit):Java开发工具包(包含JRE+开发工具) JRE(Java runtime Environment):Java运行环境,运行Java程序所必需的环境集合(若只需运行java程序可只下载JRE),包含JVM和Java的核心类库 JVM(Ja 阅读全文
posted @ 2019-07-22 09:48 南华 阅读(123) 评论(0) 推荐(0) 编辑