摘要： 前面介绍了 Anaconda 的安装，接下来介绍一下 简单使用，后续并实时更新。 常用操作命令： 环境操作 1.查看环境管理的全部命令帮助： conda env -h 2.查看当前系统下的环境： conda info -e 3.创建环境： conda create env_name (env_nam 阅读全文

摘要： Django - models.py 应用 编写 models.py 文件 字段类型 一般数据库中字段类型大概5种(字符串/数字/浮点型/时间类型/布尔类型)，但Django为了在后台admin中可以操作数据库，同时为了限制在admin中对数据库的无效操作，Model中设置了很多种数据类型。 执行命 阅读全文

摘要： python 爬虫利器 Beautiful Soup Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间. 这里不再介绍其安装过程， 阅读全文

摘要： 上篇已经介绍了 图片的爬取，后来觉得不太好，每次爬取的图片 都在一个文件下，不方便区分，且数据库中没有爬取的时间标识，不方便后续查看 数据时何时爬取的，所以这里进行了局部修改 修改一：修改爬虫执行方式 之前爬虫的执行 是通过在终端输入命令：scrapy crawl spiderName 执行 缺点： 阅读全文

摘要： 前面介绍了爬虫框架的一个实例，那个比较简单，这里在介绍一个实例 爬取 煎蛋网 妹子图，遗憾的是 上周煎蛋网还有妹子图了，但是这周妹子图变成了 随手拍， 不过没关系，我们爬图的目的是为了加强实战应用，管他什么图了先爬下来再说。 言归正传 这个实例，主要是讲将图片爬了下来，保存到本地，这个在上周已经实现 阅读全文

摘要： 关于pymysql 的增删改查，简单做个封装，方便后面使用直接拿来调用即可。 其中 增删改 的处理其实是一致的，本可以使用统一的方法，但是为了明显区分，这里分开来写了。 直接看代码就即可，如下： 查看执行结果 以上只是简单的样例，具体使用 还需要根据自己的实际情况就行 修改，比如 sql,这里写的简 阅读全文

摘要： 之前有介绍 scrapy 的相关知识，但是没有介绍相关实例，在这里做个小例，供大家参考学习。 注：后续不强调python 版本，默认即为python3.x。 爬取目标 这里简单找一个图片网站，获取图片的先关信息。 该网站网址： http://www.58pic.com/c/ 创建项目 终端命令行执行 阅读全文

摘要： Anaconda Anaconda（官方网站）就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。 前面介绍了 Anaconda 的安装，接下来介绍一下 简单使用，后续并实时更新。 安装后可以使用图 阅读全文

摘要： ImportError: No module named win32api 处理办法 windows系统上出现这个问题的解决需要安装Py32Win模块，但是直接通过官网链接装exe会出现几百个错误，更方便的做法是 执行scrapy 时 如果要将爬取得数据保存起来，可以 使用命令 scrapy cra 阅读全文

摘要： 在做数据测试时，会遇到数据库表里字段类型为json 的情况，而我们可能只关注该字段中的各别内容的信息，如下 比如我们只需要 get_json_object函数第一个参数填写json对象变量，第二个参数使用$表示json变量标识，然后用 . 或 [] 读取对象或数组； get_json_object函 阅读全文