pmh905001

摘要： 技术复盘：今日头条收藏列表接口爬取方案演进分析 ​一、问题背景​ 近期维护的今日头条收藏列表爬虫出现功能失效，原基于Python requests库的接口调用方案无法正常工作。核心问题表现为： ​请求特征暴露​：requests库默认携带的User-Agent: python-requests/x. 阅读全文

摘要： 一直都在用pycharm写python程序，vs code写前端。后端难免会打开多个工程，里面自然会引用多个包，出现一个问题的就是pycharm扫描时间过长，打开pycharm工作空间需要好几分钟，另外内存消耗居然达到恐怖的8G。实在无法忍受这种缓慢，逐渐将python工程迁移到vs code，打开 阅读全文

摘要： 背景： 原先我们下载的文件包含了收藏的元信息，包含标题，链接，文章摘要信息。这些基本的信息就足够支撑查询功能了。但还是存在如下问题： 从业务上来说，文章的原作者可能会删除文章，那么收藏的文章将再也找到相关信息了。所以我们需要把这些信息也要保存。 如果用户标题以及摘要信息不全面，重要信息在文章里面。那 阅读全文

摘要： 背景： 继成功导入输入数据到mongodb,sqlite3之后，发现了一些问题，（写到此处觉得还是有些地方没有去深入的学习可能mongodb已经有解决方案了？）： 对关键字查询支持不友好，如果要在sql中拆分出不同的关键字sql会比较麻烦。 另外排序不友好，如何把最匹配的记录放在最前面？ elast 阅读全文

摘要： 今日头条app经常会推送一些代码技术类的文章过来，其中的代码块中经常会出现一行很长的代码。为了看到被遮住的代码，手指会横向从左往右滑动，但是经常却是翻到用户的个人信息页面。 为此向头条反馈过这个问题，没有反馈。 偶然发现一个解决办法，就是不要划出一条横线，要划出带有幅度的曲线，就可以被遮盖的代码。 阅读全文

摘要： 背景： 续接前文，当我们有了原始数据之后，自然会想如何利用这些数据。这些文件数据都是json格式，打开一个文本文件眼睛都要看花。所以想把这些数据导入到对应的数据库中，市面上几乎所有数据库都支持json格式存储。 随着时间的推移，用户不断有新的收藏，这样就不断产生新的收藏文件。需要不断的导入到数据库中 阅读全文

摘要： 背景： 能够全量爬取今日头条我的收藏内容之后，新收藏的内容依然希望能够保存到新文件中。 思路： 每次都全量爬取数据太耗时，增量式爬取可以节省时间。但逻辑上显然要复杂一些。关键的问题是要找到断点的位置。 取消收藏的影响：爬虫旧文件用户收藏的链接有可能被取消收藏。所以在断点位置的判断上不能只取一条数据的 阅读全文

摘要： 在用openpyxl写excel文件的时候，共享工作簿功能会被覆盖掉变成不允许共享编辑，这对于我开发的授渔功能受到了一定的影响。 wps: 审阅->共享工作簿 如果用户已经在桌面打开excel文件，另外一个进程会尝试写文件会失败。 临时解决方案：关闭已经打开的excel的wps或者ms office 阅读全文

摘要： 背景： 我在今日头条下收藏很多文章，使用的过程中我发现头条的按照关键字搜索总是无法全部搜索出来。也给头条反馈了很多次，总是爱理不理。实在忍受不了这种敷衍，决定自己写一个爬虫。至少可以通过查找关键字搜素标题、tag查找到需要的内容。 有了这些数据可以用来自己的做文本分析、智能分类等功能等后续数据挖掘功 阅读全文

摘要： 背景 pystray可以用来显示托盘，菜单项，以及气泡通知信息。如下界面，代码参考： https://gitee.com/pmh905001/shouyu/blob/main/shouyu/view/tray.py 。里面有一个功能是点击黄色的小黄鱼托盘图标打开excel的功能，这是默认的隐藏的菜单 阅读全文