摘要：
来源：http://www.shanhubei.com/archives/8595.html 一、pipeline中常用的方法 1. process_item（self，item，spider） 管道类中必须有的函数 实现对item数据的处理 必须return item 2. open_spider 阅读全文
posted @ 2024-01-04 17:17
珊瑚贝博客
阅读(113)
评论(0)
推荐(0)
scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103
摘要：
错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为 阅读全文
posted @ 2024-01-03 16:09
珊瑚贝博客
阅读(24)
评论(0)
推荐(0)
摘要：
python 报错TypeError: object of type ‘NoneType‘ has no len()处理1. 引言在编程过程中，我们经常会遇到各种异常情况。其中之一就是TypeError异常，它表示操作或函数应用于了错误的数据类型。在本文中，我们将重点讨论TypeError异常中的一 阅读全文
posted @ 2024-01-03 09:14
珊瑚贝博客
阅读(1956)
评论(0)
推荐(0)
摘要：
解决方案该提示是由于不安全的地址导致的，需要把这个错误屏蔽掉，可以使用 --ignore-certificate-errors 来屏蔽。屏蔽后发现还有其他错误提示，也一并解决了。主要添加了三项： # 忽略证书错误 options.add_argument('--ignore-certificate- 阅读全文
posted @ 2024-01-02 17:27
珊瑚贝博客
阅读(1755)
评论(0)
推荐(0)
摘要：
python爬虫去除html中特定标签、去除注释、替换实体前言：本文主要讲w3lib库的四个函数 html.remove_tags() html.remove_tags_with_content() html.remove_comments() html.remove_entities() remo 阅读全文
posted @ 2023-12-27 15:50
珊瑚贝博客
阅读(694)
评论(0)
推荐(0)
摘要：
scrapy.contrib现在已经过时了。在1.6版本的scrapy中将其删除。 有关更多详细信息，请参见https://docs.scrapy.org/en/latest/news.html#deprecation-removals 阅读全文
posted @ 2023-12-27 15:34
珊瑚贝博客
阅读(45)
评论(0)
推荐(0)
摘要：
Mysql根据字段值的长度查找过滤，排序等 http://www.shanhubei.com/archives/5882.html 1.Mysql 根据字段的指定长度搜索过滤 SELECT * FROM user WHERE is_deleted= 0 AND length(name) > 52.添 阅读全文
posted @ 2023-12-27 11:29
珊瑚贝博客
阅读(140)
评论(0)
推荐(0)
摘要：
package main import ( "fmt" "reflect" ) func main() { var num float64 = 3.14 // 方法1： println(reflect.TypeOf(num).Name()) // 方法2： fmt.Println(reflect.T 阅读全文
posted @ 2023-12-27 11:22
珊瑚贝博客
阅读(252)
评论(0)
推荐(0)
摘要：
来源：http://www.shanhubei.com/archives/3418.html 在 JavaScript 中，有几种常见的方式可以用来查找 JSON 数组中的数据。下面介绍了其中的几种方式：1.使用 find() 方法： find() 方法用于在数组中查找满足指定条件的第一个元素，并返 阅读全文
posted @ 2023-12-26 15:32
珊瑚贝博客
阅读(815)
评论(0)
推荐(0)
摘要：
错误信息 Traceback (most recent call last): File "/home/anaconda3/envs/python36/lib/python3.6/site-packages/twisted/python/threadpool.py", line 250, in in 阅读全文
posted @ 2023-12-25 16:19
珊瑚贝博客
阅读(99)
评论(0)
推荐(0)
浙公网安备 33010602011771号