mingruqi - 博客园

2021年5月17日

摘要：先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防阅读全文

posted @ 2021-05-17 18:36 mingruqi 阅读(419) 评论(0) 推荐(0)

Scrapy和Headless Chrome采集动态网站数据

摘要： Headless Chrome是无头Chrome浏览器，可以利用Chrome V8引擎的高效。可以代替phantomjs，Scrapy也不建议使用phantomjs了。启用无头Chrome，必须使用Chrome对应版本的WebDriver。准备windows10Anaconda3python 3. 阅读全文

posted @ 2021-05-17 17:37 mingruqi 阅读(385) 评论(0) 推荐(0)

爬虫框架Scrapy的安装与基本使用

摘要：一、简单实例，了解基本。 1、安装Scrapy框架这里如果直接pip3 install scrapy可能会出错。所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。安装pyOpenSSL：在官网下载wheel文件。安装Twisted：在官网下载wheel文件。安装阅读全文

posted @ 2021-05-17 10:07 mingruqi 阅读(395) 评论(0) 推荐(0)

2021年5月12日

Python Selenium库的使用

摘要：目录 Selenium的介绍、配置和调用 Selenium的配置 Selenium的调用 Selenium的使用定位定位元素的使用定位下拉标签元素在iframe框架之间切换上传文件 Webdriver模块的使用控制浏览器操作的一些方法鼠标事件键盘事件获取断言信息 Selenium的阅读全文

posted @ 2021-05-12 18:02 mingruqi 阅读(170) 评论(0) 推荐(0)

2021年5月11日

拦截器HandlerInterceptorAdapter使用方法

摘要：一、Interceptor定义：拦截器是在面向切面编程中应用的，就是在你的service或者一个方法前调用一个方法，或者在方法后调用一个方法。是基于JAVA的反射机制 1.拦截器（Interceptor）执行顺序：1. 请求到达 DispatcherServlet2. DispatcherServl 阅读全文

posted @ 2021-05-11 18:30 mingruqi 阅读(1875) 评论(0) 推荐(0)

Python多进程并发(multiprocessing)

摘要：由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。 Python提供了非常好用的多进程包multiprocessing，你只需要定义一个函数，Python会替你完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。 1、新建单一进程如果我们新阅读全文

posted @ 2021-05-11 15:07 mingruqi 阅读(1825) 评论(0) 推荐(0)

python 用 gevent 协程抓取海量网页

摘要： python作为爬虫利器，抓网页的方式简洁明了。爬成百上千的网页，都可以很快爬完，但是如果网页数量上万呢？速度就不能忍受了。这是一段爬取页面的函数，用了requests库: 12345 import requestsdef (url): req = requests.get(url,header 阅读全文

posted @ 2021-05-11 15:00 mingruqi 阅读(183) 评论(0) 推荐(0)

集成 Jenkins 和 TestNG 实现自助式自动化测试平台

摘要：摘要：本文介绍了如何使用 Jenkins 和 TestNG 实现满足复杂测试需求的”自助式”自动化测试平台。该方案以 Jenkins 作为平台的基础，结合功能强大的插件及系统配置，部署基于 TestNG 的自动化测试包，并提供了友好的 Web 访问界面。项目成员可以在任何时间和地点，通过浏览器访问阅读全文

posted @ 2021-05-11 10:35 mingruqi 阅读(492) 评论(0) 推荐(0)

TestNG和Junit的区别

摘要： TestNG和Junit 测试是检查应用程序的功能的过程是否按要求工作，以确保在开发层面，单元测试成图片。单元测试是单一实体（类或方法）的测试。单元测试是非常必要的，每一个软件公司向他们的客户提供高质量的产品。JUnit 带动开发人员了解测试的实用性，尤其是单元测试的时候比任何其他测试框架。凭借一个阅读全文

posted @ 2021-05-11 10:26 mingruqi 阅读(1182) 评论(0) 推荐(0)

2021年5月6日

Spring自带了13个视图解析器，能够将逻辑视图名转换为物理实现

摘要：首先将会介绍 InternalResourceViewResolver，这个视图解析器一般会用来解析JSP视图。 1. Spring提供了两种支持JSP视图的方式： InternalResourceViewResolver会将视图名解析为JSP文件。另外，如果在你的JSP页面中使用了JSP标准标阅读全文

posted @ 2021-05-06 18:27 mingruqi 阅读(381) 评论(0) 推荐(0)

ming

公告