菜鸟初次体验python爬虫的流水账

今天上午本来在网上乱看调剂信息,看到https://zhuanlan.zhihu.com/p/498138975?utm_id=0这篇文章,发现之前只听过没接触过的爬虫在调剂中的实际应用。看看评论区感觉代码很完整,根本没学过python的我开始摸索。(看调剂时其他的一切都好玩了起来。。
1.环境搭建
我的电脑有visual studio,我打算直接在里面下载python的开发环境,打开installer一看,以前就已经下载了。我打开主面板想新建python程序,结果发现跳出来的默认程序名字是PythonApplication2,我退出来一看,竟然之前就新建过一个python程序。直接打开PythonApplication1,发现里面就是初始的程序。我不知道我的电脑里有没有python解释器,运行了一下这个初始程序,就直接弹出来让我去官网下载解释器。乖乖下载好之后,我安装在了d盘。我又开始运行那个初始程序,还是不对。问了chatGPT,它告诉我应该设置环境变量。我按提示找到环境变量,不知道要新建在系统环境变量里,傻傻地在用户环境变量里添加了。上次弄这些好像还是大三的操作系统课,唉,好怀念大学无忧无虑的日子,那么水,那么菜。被老师捞过时我心高气傲,出了校园找不到工作我生洗难料。。。
我不知道那样配是不对的,不知道为啥也没有继续实验那个初始程序。给自己埋了一个地雷。
2.下载相关模块

两个模块,requests和beautifulsoup4。其实代码开头的注释就给出了下载命令,但是我没有注意到,还是问chatGPT得来的。我不知道在哪里的控制台,在安装有python的文件夹下输入命令了半天都没反应,chatGPT也一直没想到我会犯这么低级的错误,给的解决方法都不行。后来我意识到不对,它说:

然后我终于win+r cmd打开了控制台,默认是C盘下,我不会退出,chatGPT告诉我

跳过去了之后,输入下载命令还是不行,把错误提示告诉chatGPT之后,就是环境变量还没配好!我这才终于配好python和python script的环境变量。
配好之后,发现输入指令终于有了反应,查询版本号,查看安装地址都有反应了。
我输入下载命令后说我的pip版本过低,让我用给出的指令升级到最新版本,我输入给出的指令,还是报错,说pip版本过低……好家伙,我问了chatGPT也没回答上来。后来又输入了一下,全红,很吓人,我硬着头皮又试了一次,竟然就好了。现在也不知道那是咋回事,反正就是下载好了那两样东西。

3.调试程序
我把程序复制进去,建好需要的txt文件,点击运行,一直不对。chatGPT说是编码问题,可是解决办法我没有看懂,我追问它时,它说

我还以为它没有次数限制呢,,今天还看见百度热搜说chatGPT日耗电超50万度,我应该也有一些贡献吧。。。
我一直叫它chatGPT,好像也不对,我用的也不是官方的,我不会翻蔷。那么我就不掺和着50万度电的事了。
后来我问了
这个真的很不错,就在Windows的应用商店下的,完全免费

这个说的我看懂了,我就按方法一用记事本打开那个程序,另存的时候改一下编码,覆盖掉原来的那个文件就好了。我看到控制台一直是空白而不是输出长长的报错时真的很开心,过了一会我看看,出现了

我看看那个文件,果然就有爬出来的数据,真挺开心的!

这个数据直接在记事本看跟没有也没啥区别,太难看了。然后我才知道要用markdown编辑器来看,我不想下载了,就直接发布在博客园了。表格特别清晰,而且竟然还有目录,真好。

posted @ 2024-03-11 21:08  TheMoonForget  阅读(22)  评论(2)    收藏  举报