随笔分类 -  python3

摘要：提示：web开发已有php、java，而python在这方面，没有优势，python的优势在于：爬虫、人工智能、大数据分析等，python在web开发这方面，没必要掌握；版本：稳定版本：3.2（py3.6-3.10）、4.2（py3.9-3.10） 安装：最新版本：pip install -i ht 阅读全文

摘要：学习步骤：数据类型 》 数据类型函数 》控制流程语句 》类和对象 》标准库 》 网络爬虫 定义：Python 是强类型的动态脚本语言（php是弱类型动态脚本语言，java是强类型静态编译型语言）。1、强类型是指，一个变量被指定了数据类型，如果不经过强制转换，那么就一直是这个数据类型，不允许不同类型相 阅读全文

摘要：总结起来，有俩点最重要： 1）scrapy使用twisted异步网络框架，类似nodejs，性能高； 2）scrapy内置的selector比beautifulsoup效率要高很多； 阅读全文

摘要：1、json乱码： json.dumps转换对象，出现乱码，解决方法，json.dumps( data ,ensure_ascii=False ) 2、文件读写乱码： 1）写入：file = open(filename,'a',encoding='utf8') #指定写入编码为utf8 3、数据库乱 阅读全文

摘要：使用技巧： 1、编写爬虫时，如果起始链接不是固定的，而且包含很多个，建议使用start_requests方法，代替：start_urls列表。参考1 参考22、pipelines.py中， open_spider在爬虫开启的时候仅执行一次；close_spider在爬虫关闭的时候仅执行一次；这俩个方 阅读全文

摘要：1、在导入一个包的时候，Python 会根据目录只有包含一个叫做 __init__.py 的文件才会被认作是一个包，放一个空的 :file:__init__.py就可以了。 2、类的方法与普通的函数只有一个特别的区别——它们必须有一个额外的第一个参数名称, 按照惯例它的名称是 self，self代表 阅读全文