摘要：
url函数的使用(支持正则) # Django1X中使用的是url url(r'^test/', views.test), url函数的第一个参数是支持正则表达式的，如果匹配到了一个路由就不会往下匹配，直接执行到对应的视图层。 Eg: url('test', views.test), url('te 阅读全文
posted @ 2024-01-02 11:44
Way*yy
阅读(45)
评论(0)
推荐(0)
摘要：
如何动态的展示我们的数据 1、先获取到数据库中的信息内容 def user_info(request): userinfo_all = models.user_info.objects.all() # 获取所有的用户对象 # <QuerySet [<user_info: user_info obje 阅读全文
posted @ 2024-01-02 11:44
Way*yy
阅读(416)
评论(0)
推荐(0)
摘要：
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(31)
评论(0)
推荐(0)
摘要：
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(31)
评论(0)
推荐(0)
摘要：
搜索文档数 find_all：找所有，返回列表 find：找一个 Tag对象 from bs4 import BeautifulSoup import re html_doc = """ <html><head><title>The Dormouse's story</title></head> < 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(35)
评论(0)
推荐(0)
摘要：
selenium等待元素加载 # 代码操作非常快 》有的标签还没加载 》找就找不到 》就会报错 # 设置等待：显示等待，隐士等待 bro.implicitly_wait(10) # 找某个标签，如果找不到，最多等待10s selenium元素操作 # 点击操作 click() # 写文字 send_ 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(89)
评论(0)
推荐(0)
摘要：
打码平台 数字字母类的验证码可以使用python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 打码平台 -云打码，超级鹰 超级鹰SDK import requests from hashlib import md5 class ChaojiyingClient(obje 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(78)
评论(0)
推荐(0)
摘要：
scrapy解析数据 # 运行爬虫程序 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) ### 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(13)
评论(0)
推荐(0)
摘要：
爬虫中间件和下载中间件 爬虫中间件 # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to cre 阅读全文
posted @ 2024-01-02 11:24
Way*yy
阅读(45)
评论(0)
推荐(0)
浙公网安备 33010602011771号