2019年11月1日
滑动验证码
摘要： 目前仅前端实现，支持移动端滑动事件。版本V1.0.5 github文档地址： https://github.com/monoplasty/vue-monoplasty-slide-verify 安装 npm install --save vue-monoplasty-slide-verify使用方法 阅读全文
posted @ 2019-11-01 19:51 蔡文君 阅读(994) 评论(0) 推荐(1)
快速获取最新股票相关数据，并使用数据分析进行数据清洗，获取有效信息
摘要： 关键性python数据包的安装 pip3 install tushare 关键性python数据包的安装 pip3 install tushare import tushare as ts股票代码为code参数，start为收集该股票数据的开始日期df = ts.get_k_data(code='6 阅读全文
posted @ 2019-11-01 19:16 蔡文君 阅读(736) 评论(0) 推荐(1)
python数据分析pandas中的DataFrame数据清洗
摘要： pandas中的DataFrame中的空数据处理方法： 方法一：直接删除 1.查看行或列是否有空格（以下的df为DataFrame类型，axis=0,代表列，axis=1代表行，以下的返回值都是行或列索引加上布尔值）• isnull方法 • 查看行：df.isnull().any(axis=1) • 阅读全文
posted @ 2019-11-01 17:38 蔡文君 阅读(3312) 评论(0) 推荐(0)
当linux突然修改任何设置都没办法联网时的绝对有效解决办法
摘要： 以下操作为重新启动虚拟网卡的相关配置，初始化并重启虚拟网卡，对目前的配置不会有任何影响 打开终端，依次输入以下内容：– sudo service network-manager stop– sudo rm /var/lib/NetworkManager/NetworkManager.state– s 阅读全文
posted @ 2019-11-01 16:15 蔡文君 阅读(333) 评论(0) 推荐(1)
2019年10月31日
python数据分析三个重要方法之:numpy和pandas
摘要： 关于数据分析的组件之一：numpy 四.产生等差一维数组 五.产生等差n维数组 六.生成的一维数组里是随机数（size决定元素的数量） 七.nadarray(多为数组）的基本操作 八.数组的行列数组个数的转化 九.级联（多维数组的拼接） 进行级联, axis参数0表示列(纵向)拼接, 1表示行(橫向 阅读全文
posted @ 2019-10-31 21:33 蔡文君 阅读(1379) 评论(2) 推荐(0)
2019年10月30日
linux防火墙的相关命令
摘要： 一、iptables防火墙（需要安装防火墙sudo apt-get install firewalld命令查看插件）1、基本操作 # 查看防火墙状态 service iptables status # 停止防火墙 service iptables stop # 启动防火墙 service iptab 阅读全文
posted @ 2019-10-30 17:47 蔡文君 阅读(16291) 评论(1) 推荐(1)
2019年10月29日
Python网络爬虫之Scrapy框架（CrawlSpider）
摘要： 引入 提问：如果想要通过爬虫程序去爬取”糗百“全站数据新闻数据的话，有几种实现方法？ 方法一：基于Scrapy框架中的Spider的递归爬取进行实现（Request模块递归回调parse方法）。 方法二：基于CrawlSpider的自动爬取进行实现（更加简洁和高效）。 今日概要 CrawlSpide 阅读全文
posted @ 2019-10-29 21:47 蔡文君 阅读(305) 评论(0) 推荐(1)
在爬虫中使用单线程异步协程，包含单任务和多任务，以及数据解析使用回调函数
摘要： aiohttp简介 aiohttp可以实现单线程并发IO操作，用他来代替非异步模块request来发送请求，请求中的ua,headers,和参数都可以添加，添加方法如下： 环境安装 aiohttp使用 1.发起请求 2.添加请求参数的方法： 3.UA伪装的添加方法： 4.自定义cookies的方法： 阅读全文
posted @ 2019-10-29 21:36 蔡文君 阅读(320) 评论(0) 推荐(0)
使用线程池来进行发送爬取请求和存储数据
摘要： 基于multiprocessing.dummy线程池爬取梨视频的视频信息 总结：对应上例中的所面临的可能同时出现的上千甚至上万次的客户端请求，“线程池”或“连接池”或许可以缓解部分压力，但是不能解决所有问题。总之，多线程模型可以方便高效的解决小规模的服务请求，但面对大规模的服务请求，多线程模型也会遇 阅读全文
posted @ 2019-10-29 21:21 蔡文君 阅读(447) 评论(0) 推荐(0)
在linux和windows中使用selenium
摘要： 在linux和windows中使用selenium 一. selenium（浏览的人你们多大呀？是AI?） selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比 阅读全文
posted @ 2019-10-29 20:58 蔡文君 阅读(1943) 评论(5) 推荐(0)