wangshanglinju

摘要： selenium模块 超级鹰取验证码 1、登录超级鹰（http://www.chaojiying.com/），点击“用户登录”，输入用户名和密码登录。 2、点击左侧的“软件ID”栏目，点击“生成一个软件ID”，名称任意，软件ID请记住。 3、点击频道“开发文档”，选择“python”，点击“点击这里 阅读全文

摘要： selenium模块 一、无头浏览器 # 艺恩 https://www.endata.com.cn/BoxOffice/BO/Year/index.html 年度票房数据 # 带下拉列表 from selenium.webdriver import Chrome from selenium.webd 阅读全文

摘要： selenium模块 一、安装并设置 1、安装 pip install selenium 2、安装浏览器驱动 这里提供谷歌浏览器驱动下载，chrome驱动地址：https://npm.taobao.org/mirrors/chromedriver 找到适合本机浏览器的版本号下载。 下载的驱动可以放在 阅读全文

摘要： 进程是资源单位，线程是执行单位，每一个进程至少需要一个线程 一、多线程 1、单线程 def fun(): for i in range(1000): print("fun",i) if __name__ == '__main__': for i in range(1000): print("main 阅读全文

摘要： xpath模块解析 Xpath是一门在 XML 文档中查找信息的语言。 Xpath可用来在 XML文档中对元素和属性进行遍历。而我们熟知的HTML恰巧属于XML的一个子集。所以完全可以用xpath去查找html中的内容。 一、安装lxml模块 pip install lxml 用法：1、将要解析的h 阅读全文

摘要： BeautifulSoup 模块 一、安装 pip install bs4 二、使用 bs4在使用的时候需要参考一些html基本语法来进行，我们尝试抓取北京新发地时长的农产品价格。地址：http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml 步 阅读全文

摘要： 数据解析 一、正则表达式 Regular Expression，正则表达式是一种使用表达式的方式对字符串进行匹配的语法规则。 我们抓取到的网页源代码本质上就是一个超长的字符串， 想从里面提取内容。用正则再合适不过了。 正则的优点： 速度快， 效率高， 准确性高 正则的缺点： 新手上手难度有点高。 不 阅读全文

摘要： requests模块 在网页抓取中，有一个强大的requests库能够让你轻易地发送HTTP请求，这个库功能完善，而且操作非常简单。requests是第三方模块，我们相爱使用前必须安装该模块，安装方法： pip install requests 安装源服务器在国外，速度较慢，如果安装失败或提高安装速 阅读全文

摘要： 网络爬虫（Web Spider） 一、什么是网络爬虫 百度百科是这么说的：网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫最重要的应用就 阅读全文

摘要： python基础暂时搞一段落，后会有期！ 阅读全文