ming

摘要： 1.随机生成 安装: pip install fake-useragent 使用: from fake_useragent import UserAgent ua = UserAgent() 调用指定ua: ua.ie Mozilla/5.0 (Windows; U; MSIE 9.0; Windo 阅读全文

摘要： 介绍： Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。 利用它可以驱动浏览器执行特 阅读全文

摘要： ## js获取窗口大小 #获取网页可见区域大小 client_width=self.driver.execute_script("return document.body.clientWidth") client_height = self.driver.execute_script("return 阅读全文

摘要： ''' selenium操作主要分两大类： -得到UI元素 -find_element_by_id -find_elements_by_name -find_elements_by_xpath -find_elements_by_link_text -find_elements_by_tag_nam 阅读全文

摘要： 先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防 阅读全文

摘要： Headless Chrome是无头Chrome浏览器，可以利用Chrome V8引擎的高效。可以代替phantomjs，Scrapy也不建议使用phantomjs了。启用无头Chrome，必须使用Chrome对应版本的WebDriver。 准备windows10Anaconda3python 3. 阅读全文

摘要： 一、简单实例，了解基本。 1、安装Scrapy框架 这里如果直接pip3 install scrapy可能会出错。 所以你可以先安装lxml：pip3 install lxml(已安装请忽略)。 安装pyOpenSSL：在官网下载wheel文件。 安装Twisted：在官网下载wheel文件。 安装 阅读全文

摘要： 目录 Selenium的介绍、配置和调用 Selenium的配置 Selenium的调用 Selenium的使用 定位 定位元素的使用 定位下拉标签元素 在iframe框架之间切换 上传文件 Webdriver模块的使用 控制浏览器操作的一些方法 鼠标事件 键盘事件 获取断言信息 Selenium的 阅读全文

摘要： 一、Interceptor定义：拦截器是在面向切面编程中应用的，就是在你的service或者一个方法前调用一个方法，或者在方法后调用一个方法。是基于JAVA的反射机制 1.拦截器（Interceptor）执行顺序：1. 请求到达 DispatcherServlet2. DispatcherServl 阅读全文

摘要： 由于Python设计的限制(我说的是咱们常用的CPython)。最多只能用满1个CPU核心。 Python提供了非常好用的多进程包multiprocessing，你只需要定义一个函数，Python会替你完成其他所有事情。借助这个包，可以轻松完成从单进程到并发执行的转换。 1、新建单一进程 如果我们新 阅读全文