摘要: 前文 定义: 正则表达式是对字符串操作的一种逻辑公式,用事先定义好的一些特定字符、以及特定字符的组合,组成一个‘规则字符串’,‘规则字符串’用来表达对字符串的一种过滤逻辑 正则表达式非python独有,在python中,re模块实现正则表达式 在线正则表达式测试 使用在线正则表达式测试样例: 匹配模 阅读全文
posted @ 2018-06-10 10:54 RongHe 阅读(313) 评论(0) 推荐(0) 编辑
摘要: urllib库作为基本库,requests库也是在urllib库基础上发展的 但是urllib在使用上不如requests便利,比如上篇文章在写urllib库的时候,比如代理设置,处理cookie时,没有写,因为感觉比较繁琐,另外在发送post请求的时候,也是比较繁琐。 一言而代之,requests 阅读全文
posted @ 2018-06-09 15:35 RongHe 阅读(4149) 评论(0) 推荐(0) 编辑
摘要: urllib库是python内置的一个http请求库 其实urllib库不好用,没有requests库好用,下一篇文章再写requests库,requests库是基于urllib库实现的 作为最最基本的请求库,了解一下原理和用法还是很有必要的 包含的四个模块: urllib.request 请求模块 阅读全文
posted @ 2018-06-08 22:42 RongHe 阅读(2472) 评论(0) 推荐(0) 编辑
摘要: 爬虫定义 请求网站并提取数据的自动化程序 爬虫的基本流程 1、发起请求:通过http库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应 2、获取响应内容:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容 阅读全文
posted @ 2018-06-08 13:48 RongHe 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 请求库(requests,selenium)、解析库(beautifulsop)、存储库、工具库等 urelib re 上面这两个是python自带的库 需要自己安装额库: (在windows下,使用pip install 命令) requests selenium用来驱动浏览器,做自动化测试,一些 阅读全文
posted @ 2018-06-05 22:13 RongHe 阅读(203) 评论(0) 推荐(0) 编辑
摘要: 在cmd命令窗口,输入where python可以查看所有的python 可以分别到目录下将其名字改为python2.exe和python3.exe 或者可以修改环境变量的顺序也可以 对于别的一些多版本冲突也可以参照类似的方法来解决 在ubuntu下,使用如下命令: ln -s \usr\bin\p 阅读全文
posted @ 2018-05-30 00:13 RongHe 阅读(126) 评论(0) 推荐(0) 编辑
摘要: MongoDB和Redis是非关系型数据库 MySQL是一个关系型数据库,体积小巧,使用方便,在做一些网站开发或者数据存储的时候也非常简便易用 下载安装即可 可视化工具:mysql-front ubuntu下安装 :sudo apt-get install mysql-server mysql-cl 阅读全文
posted @ 2018-05-29 23:59 RongHe 阅读(73) 评论(0) 推荐(0) 编辑
摘要: 点击这里 安装resis的可视化界面:resis desktop Ubuntu下安装: sudo apt-get install redis-server 安装完成后 sudo vim /etc/redis/redis.conf 需要进行一些配置,如密码,是否允许远程连接 阅读全文
posted @ 2018-05-29 23:08 RongHe 阅读(90) 评论(0) 推荐(0) 编辑
摘要: 1、官网下载MongoDB安装包 2、打开安装路径,在bin目录的同级目录下,建立存放MongoDB数据的文件夹data,进入data文件夹,建立db文件夹 3、为了方便使用,将MongoDB配置成系统服务,在data文件夹下建立logs文件夹,进入logs文件夹,建立mongo.log文件 进入c 阅读全文
posted @ 2018-05-29 23:05 RongHe 阅读(95) 评论(0) 推荐(0) 编辑
摘要: __import__ 用于以字符串的形式导入模块 阅读全文
posted @ 2018-05-14 09:39 RongHe 阅读(110) 评论(0) 推荐(0) 编辑