随笔分类 -  python实战项目

将所学到的python知识运用到实战当中
爬虫之js破解 非常详细
摘要：前言 我们在写爬虫的时候经常会遇到各种反爬措施，比如现在各种大型网站越来越多的js加载令人十分头疼。 这些网站的数据不像简单的网站一样可以直接拿取，我们经常会找不到数据源头，难道只能使用selenium来模拟浏览器拿取吗?当然不是的。 本文就以如何破解有道翻译的参数为例来一步步完成js的破解。 网页 阅读全文
posted @ 2020-04-06 15:39 风，又奈何 阅读(8264) 评论(3) 推荐(6)
selenium cookie 登录
摘要：前言 爬虫方向的小伙伴们都知道网页爬虫经常遇到的问题就是登录账户，有些简单的网站我们可以简单的send key来输入账户密码就可以登录，但是有很多网站需要验证码之类的就不太好用了，这时候就体现到了cookie登录的优点了，前段时间网上搜了搜，发现没有什么完整的教程，本文就使用selenium来coo 阅读全文
posted @ 2019-10-16 15:37 风，又奈何 阅读(9770) 评论(6) 推荐(5)
python 手机App数据抓取实战二抖音用户的抓取
摘要：前言 什么？你问我国庆七天假期干了什么？说出来你可能不信，我爬取了cxk坤坤的抖音粉丝数据，我也不知道我为什么这么无聊。 本文主要记录如何使用appium自动化工具实现抖音App模拟滑动，然后分析数据得到粉丝用户信息。 环境准备 fiddler appium mitmproxy(mitmdump) 阅读全文
posted @ 2019-10-07 14:44 风，又奈何
scrapy爬取迅雷电影天堂最新电影ed2k
摘要：前言 几天没用scrapy爬网站了，正好最近在刷电影，就想着把自己常用的一个电影分享网站给爬取下来保存到本地mongodb中 项目开始 第一步仍然是创建scrapy项目与spider文件 切换到工作目录两条命令依次输入 scrapy startproject xunleidianying scrap 阅读全文
posted @ 2019-09-30 17:06 风，又奈何 阅读(2888) 评论(1) 推荐(2)
python 手机App数据抓取实战一
摘要：前言 当前手机使用成为互联网主流，每天手机App产生大量数据，学习爬虫的人也不能只会爬取网页数据，我们需要学习如何从手机 APP 中获取数据，本文就以豆果美食为例，讲诉爬取手机App的流程 环境准备 python3 fiddler 一款支持桥接模式的安卓虚拟机（本文使用夜神模拟器） 需要准备的知识有 阅读全文
posted @ 2019-09-23 14:05 风，又奈何 阅读(10875) 评论(0) 推荐(1)
python爬虫框架scrapy 豆瓣实战
摘要：Scrapy 官方介绍是 An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 意思就是 一个 阅读全文
posted @ 2019-09-11 18:40 风，又奈何 阅读(2401) 评论(8) 推荐(1)
python+爬虫+微信机器人 打造属于你的网购价格监督利器
摘要：写在最前 程序是为人类服务的，最近正好身边小伙伴们在做球衣生意，当然是去nikenba专区购买了，可是有些热门球衣发布几分钟就被抢完，有些折扣球衣也是很快就被抢售一空，那么我们只能靠自己的眼睛一直盯着网站吗？NoNoNo，作为计算机专业的学生，怎么能为这种事情浪费时间呢？那肯定想法就是写爬虫自动比对 阅读全文
posted @ 2019-08-19 18:43 风，又奈何 阅读(2168) 评论(4) 推荐(3)
python + pyinstaller 实现将python程序打包成exe文件直接运行
摘要：pyinstaller 我们在平常学习使用python的时候经常会自己编写一些小程序来使用，虽然python是跨平台的语言，但是如果我们想要在一个没有python以及很多库环境的电脑上使用我们的小程序该怎么办呢？ 我们想到，在Windows平台可以将程序打包成exe可执行文件，这样就可以放进U盘或者 阅读全文
posted @ 2019-07-20 10:51 风，又奈何 阅读(4523) 评论(0) 推荐(0)
python+socket实现网络信息交互及文件传输
摘要：Socket 网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。 Socket又称"套接字"，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。 Python 提供了两个级别访问的网络服务。： 低级别的网络服务 阅读全文
posted @ 2019-06-26 16:06 风，又奈何 阅读(11810) 评论(2) 推荐(3)
pythonweb django的学习
摘要：Django 环境搭建及创建项目 首先安装django包，我使用的是pycharm，所以直接在IDE中就可以直接安装，但是django还需要手动配置系统变量 找到python根目录下的django文件夹中的bin文件夹与python的Scripts文件夹并加入系统变量path中 如我的文件夹路径为： 阅读全文
posted @ 2019-06-13 00:02 风，又奈何 阅读(600) 评论(0) 推荐(0)
python3+opencv+tkinter开发简单的人脸识别小程序
摘要：学校里有门图像处理的课程最终需要提交一个图像处理系统， 正好之前对于opencv有些了解，就简单的写一个人脸识别小程序吧 效果图如下 笔者IDE使用Pycharm，GUI编程直接使用内置的tkinter 环境： python3.6 opencv4.1 首先导入需要使用的各个库 #-*- coding 阅读全文
posted @ 2019-05-29 16:27 风，又奈何 阅读(5186) 评论(6) 推荐(1)