I'm_江河湖海

摘要：很多网页的信息都是通过异步加载的，本文就举例讨论下此类网页的抓取。《工作细胞》最近比较火，bilibili 上目前的短评已经有17000多条。先看分析下页面右边 li 标签中的就是短评信息，一共20条。一般我们加载大量数据的时候，都会做分页，但是这... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(33) 评论(0) 推荐(0)

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(25) 评论(0) 推荐(0)

摘要： pdf 是个异常坑爹的东西，有很多处理 pdf 的库，但是没有完美的。一、pdfminer3k pdfminer3k 是 pdfminer 的 python3 版本，主要用于读取 pdf 中的文本。网上有很多 pdfminer3k 的代码示例，看过以后，只... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(222) 评论(0) 推荐(0)

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(1673) 评论(0) 推荐(0)

摘要：刚开始接触 bs4 的时候，我也很迷茫，觉得 string 属性和 text 属性是一样的，不明白为什么要分成两个属性。输出的结果是一样的。但实际上，string 属性的返回类型是 bs4.element.NavigableString，而 text ... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(95) 评论(0) 推荐(0)

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(299) 评论(0) 推荐(0)

摘要：网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。超时又可分为连接超时和读取超时。连接超时连接超时指的是在你的客户端实现到远端机器端口的连接时（对应的是connect()），Request 等待的秒数。... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(36) 评论(0) 推荐(0)

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(48) 评论(0) 推荐(0)

摘要：创建匿名书签有时候我们的代码会写很长，为了查找方便，我们会在经常需要查看的地方插入一个书签。在 Pycharm 中，将光标移动到需要创建书签的行，按 F11 可以创建一个匿名书签，匿名书签的显示是行号后有一个 √，如下图：我们可以使用快捷键来很方便的移... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(77) 评论(0) 推荐(0)

摘要：前提：确保 python 中安装了 opencv-python 模块。如果没有安装，可以参考：https://pypi.org/project/opencv-python/进行安装。话不多少，直接上代码：效果如下：此外，还可以将照片的颜色去掉，变... 阅读全文

posted @ 2022-10-07 20:46 I'm_江河湖海阅读(75) 评论(0) 推荐(0)