随笔分类 - Python
摘要:查询数据(截图不全) 用Navicat会有乱码,不知道什么原因,以后在慢慢研究吧 搞完以后发现贼鸡儿简单啊
阅读全文
摘要:装饰器这玩意挺有用,当时感觉各种绕,现在终于绕明白了,俺滴个大爷,还是要慢慢思考才能买明白各种的真谛,没事就来绕一绕 这里面需要注意的是: @outer和@outer()有区别,没有括号时,outer函数依然会被执行,这和传统的用括号才能调用函数不同,需要特别注意! 是OA这个函数名(而不是OA()
阅读全文
摘要:又看到这个玩意,顺手写下来 面向对象三大特征: 封装:本质是将事物相关的属性和方法封装在一个类里面,我们调用类创建实例的时候,不用关心类内部的代码细节 继承:子类需要复用父类里面的属性或者方法,当然子类也可以提供自己的属性和方法 多态:同一个方法不同对象调用同一个方法功能的表现形式不一样,例如:a、
阅读全文
摘要:初次学习scrapy ,觉得spider代码才是最重要的,越往后学,发现pipeline中的代码也很有趣, 今天顺便把pipeline中三种储存方法写下来,算是对自己学习的一点鼓励吧,也可以为后来者的学习提供 绵薄之力,写的不怎么好,谅解 爬虫7部曲,虽然我不知道其他人是规划的 1.创建工程 scr
阅读全文
摘要:为了把数据保存到mysql费了很多周折,早上再来折腾,终于折腾好了 安装数据库 1、pip install pymysql(根据版本来装) 2、创建数据 打开终端 键入mysql -u root -p 回车输入密码 create database scrapy (我新建的数据库名称为scrapy)
阅读全文
摘要:爬虫四部曲,本人按自己的步骤来写,可能有很多漏洞,望各位大神指点指点 1、创建项目 scrapy startproject xiaohuawang scrapy.cfg: 项目的配置文件xiaohuawang/: 该项目的python模块。之后您将在此加入代码。xiaohuawang/items.p
阅读全文
摘要:本不想使用这个玩意,奈何看到很多地方使用,随手整理下 urllib模块提供的urlretrieve()函数,urlretrieve()方法直接将远程数据下载到本地<!--5f39ae17-8c62-4a45-bc43-b32064c9388a:W3siYmxvY2tJZCI6IjIyNDYtMTUz
阅读全文
摘要:之所以写这个因为自己总是弄混了,容易弄错,记下来有事没事看看 序列化是指把变量从内存中变成可存储或传输的过程称之为序列化用(使用dump或者dumps),把变量内容从序列化的对象重新读到 内存里称之为反序列化(使用load或者loads) 如果我们要在不同的编程语言之间传递对象,就必须把对象序列化为
阅读全文
摘要:学了大概一个月Scrapy,自己写了些东东,遇到很多问题,这几天心情也不大好,小媳妇人也不舒服,休假了,自己研究了很久,有些眉目了 利用scrapy 框架爬取慕课网的一些信息 步骤一:新建项目 scrapy startproject muke 进入muke scrapy genspider muke
阅读全文
摘要:纪念我们闹过的矛盾,只想平淡如水import requestsimport reurl = 'http://www.xiaohuar.com/list-1-%s.html'for i in range(4): temp = url % i response =requests.get(temp) h
阅读全文

浙公网安备 33010602011771号