zww1

摘要： 项目不那么忙了，更新一个小脚本。实现功能：通过爬取开源咨询的网站，然后获取每日最新的咨询，每天定时自动发送的微信群里面。 一、实现思路： 通过requests爬取网站“开源资讯”的当日最新新闻，然后组装信息后，通过itchat自动发送到指定的微信群。 二、用到的主要模块： 1、爬取数据和数据解析，用 阅读全文

摘要： 之前用过selenium和request爬取数据，但是感觉速度慢，然后看了下scrapy教程，准备用这个框架爬取试一下。 1、目的：通过爬取成都链家的二手房信息，主要包含小区名，小区周边环境，小区楼层以及价格等信息。并且把这些信息写入mysql。 2、环境：scrapy1.5.1 +python3. 阅读全文

摘要： 最近想通过爬取豆瓣数据来练习下爬虫，这次做一个爬取豆瓣书籍的信息。 需求：通过爬取豆瓣图书小说这一标签的数据，将数据存入csv或者数据库里面。 思路：先从网页上爬取数据，然后存到csv，然后读取csv的数据写到数据库中。（别问我为什么不直接写数据库，还要在csv中转一次。o(╯□╰)o。。。因为这个 阅读全文

摘要： 忙了一个月的项目，终于有时间更新了。。。。更一个用requests爬豆瓣歌曲评论的吧。 爬虫思路：通过歌曲的id和爬取的页数，爬取评论的用户名，星级，评论日期，评论内容，然后写进csv。 直接上代码吧： 爬取的过程： 爬取的结果： 这里遇到一个问题，我用excel打开的时候是乱码，用记事本打开是正常 阅读全文

摘要： 又是一个坑，自己埋的坑要自己来踩。。。。。 1、起因： 当前用的是python3，通过pip3安装scrapy。没注意到安装的过程中报错了。 然后直接在dos下面新建scrapy项目，是成功的，也可以成功运行。 2、导致的问题： 当我在eclipse里面建立scrapy项目，但是import scr 阅读全文

摘要： 记录一下坑爹的问题：之前系统弹出一个jdk升级的信息，然后手贱就更新了。更新后，发现jdk用不了了，eclipse打不开，cmd里面输入java也报错。 系统：win10 升级前jdk版本：1.8.0_171 升级后报错： Error: opening registry key 'Software\ 阅读全文

摘要： 1、解决的问题： 之前遇到过项目中需要大量的图书图片，自己没有就只有到大型网站抓取了。￣□￣｜｜ 2、解决的办法： 通过python+selenium到豆瓣抓取图片，可以直接把图片地址保存下来，也可以直接下载图片。 3、脚本解析：（这里没有弄成项目，直接写的一个脚本） 脚本包含2个类，一个是数据库操 阅读全文

摘要： 解决问题：迭代的时候，可能影响的接口很多，但是每一个都人工去回归比较浪费时间。 解决方法：写一个接口自动化测试框架，每次发正式环境前都自动跑一遍，看下是否都通过。 一、框架结构以及各种方法的说明： 二、各文件的方法： 1、emailHandler.py：发送邮件相关操作 2、ExcelHandle. 阅读全文

摘要： 解决问题：之前对数据库用Jmeter要做一个压力测试的时候，由于有多个Jmeter脚本且希望所有脚本都是在同一时间运行。 解决方法：所以用python写了一个多线程运行的小脚本来执行多个jmk脚本。 一、框架结构以及各种方法的说明： 二、各文件的方法： （1）TxtOperating.py,文件操作 阅读全文

摘要： 一、unittest主要属性介绍： unittest.TestCase：TestCase类，所有的测试用例类都继承的基类。 unittest.TestSuite()：TestSuite()类是用来创建测试套件的。（可以一个模块归为一个测试套件，方便执行和管理） unittest.main():将一个 阅读全文