Python研究者

摘要： 大家好，我是辰哥～ 今天给大家介绍一个可以获取当前系统信息的库——psutil 利用psutil库可以获取系统的一些信息，如cpu，内存等使用率，从而可以查看当前系统的使用情况，实时采集这些信息可以达到实时监控系统的目的。 psutil库 psutil的安装很简单 pip install psuti 阅读全文

摘要： 闲着无事逛逛招聘网站，无意看到了爬虫岗位的薪资，发现真香，今天决定爬取下来并进行分析 目录 1.开始 2.分析目标网站的标签，发现想要的字段（岗位、公司名称、城市、薪资）都在p标签里面,如下图 3.开始编写代码 4.存储到csv文件 5.分析数据并进行可视化 5.1.可视化1：爬虫岗位常用名称 5. 阅读全文

摘要： 大家好，我是辰哥~ 今天辰哥带大家分析一波当前热门手游《王者荣耀》英雄皮肤，比如皮肤上线时间、皮肤类型（勇者；史诗；传说等）、价格。 1.获取数据 数据来源于《王者荣耀官方网站》，网页数据如下： 所需内容： 英雄名称 英雄皮肤名称 上线时间 皮肤类型（勇者；史诗；传说等） 价格（这个在官方没有获取到 阅读全文

摘要： 01 前言 想着爬取****『豆瓣』的用户和电影数据进行『挖掘』****，分析用户和电影之间以及各自之间的关系，数据量起码是万级别的。 但是在爬取过程中遇到了反爬机制，因此这里给大家分享一下如何解决爬虫的反爬问题？（以豆瓣网站为例） 02 问题分析 起初代码 headers = { 'Host':' 阅读全文

摘要： 大家好，我是辰哥~ 今天就是七夕节，首先提前祝福有伴侣的小伙伴，七夕快乐，没有伴侣的小伙伴，今天就会找到伴侣，（给看到这句话的你好运加持，哈哈哈）。 作为会Python的我们必须做点好玩且有意义的东西。在本文中辰哥使用turtle库进行绘制，如果不清楚turtle的大概使用可以参考辰哥之前的一篇文章 阅读全文

摘要： 1. 前言 无论是学生还是工作，都会和ppt打交道，每次制作ppt都需要去找模板，有时候ppt模板还是收费的，这......,有点恶心，哈哈哈！！ 今天教大家如何使用python爬虫爬取1万份『ppt模板』，以后制作ppt再也不怕了没有模板了！！！ 2. 相关介绍 1.模板来源 https://sc 阅读全文

摘要： 大家好，我是辰哥~ 在辰哥看来，技术能够减少繁琐工作带来的枯燥，技术+实际=方便。最近辰哥也是在弄excel文件的时候发现手动去整理有点繁琐枯燥，想着技术可以代替我去处理这部分繁琐的工作那何乐而不为呢~~~ 三种场景： 多个同字段的excel文件合并成一个excel 多个不同字段的excel文件拼接 阅读全文

摘要： 大家好，我是辰哥~ 背景：看过辰哥往前文章的都知道，在可视化方面经常绘制词云图、折线图、柱状图等。所以为了方便绘制这些图表，辰哥就把这些可视化图的绘制做成可操作的过程。 最近辰哥也是在利用空闲时间做了一个在线制作词云网站（后面会慢慢补上其他的图表），废话不多说，先看一下演示视频 在线制作词云图(可视 阅读全文

摘要： 大家好，我是辰哥~ 辰哥最近利用空闲时间在写一个在线可视化平台，过程中也觉得一些技术还是比较有意思的，所以就以模块化的形式分享出来。如：从网页界面（前端）上传文件到服务器（后端）。 放一下该模块的界面图瞧一瞧： 点击上传excel文件按钮，选择excel文件后可以在线预览，并且后端接收保存到服务器， 阅读全文

摘要： 今天准备爬取网页时，遇到『JS逆向AES加密』反爬。比如这样的： 在发送请求获取数据时，需要用到参数params和encSecKey，但是这两个参数经过JS逆向AES加密而来。 既然遇到了这个情况，那么辰哥就教大家如何去解决这类反爬（JS逆向AES加密） 01 网页分析 在开始分析JS逆向AES加密 阅读全文