01 2021 档案

crawl——xpath使用
摘要：一、xpath的使用 1 css xpath 都是通用的选择器 2 XPath 使用路径表达式在 XML 文档中选取节点 3 lxml模块为例，讲xpath选择（selenium，scrapy 》css/xpath） 4 主要用法： # / :从当前节点开始选择，子节点 # // ：从当前节点开始选 阅读全文
posted @ 2021-01-23 19:45 1024bits 阅读(130) 评论(0) 推荐(0)
pycharm中常用快捷键，pycharm常用设置，pycharm环境和路径配置
摘要：一、Pycharm中常用快捷键 1、编辑（Editing） Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 阅读全文
posted @ 2021-01-23 15:45 1024bits 阅读(2053) 评论(0) 推荐(0)
crawl——bs4的搜索文档树
摘要：概要 代码 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" id='id_pp' name='lqz 阅读全文
posted @ 2021-01-21 17:27 1024bits 阅读(78) 评论(0) 推荐(0)
crawl——bs4 之遍历文档树
摘要：概要 遍历文档树：即直接通过标签名字选择，特点是选择速度快，但如果存在多个相同的标签则只返回第一个 #1、用法 #2、获取标签的名称 #3、获取标签的属性 #4、获取标签的内容 #5、嵌套选择 #6、子节点、子孙节点 #7、父节点、祖先节点 #8、兄弟节点 总结： -soup.body.p -取属性 阅读全文
posted @ 2021-01-20 21:53 1024bits 阅读(89) 评论(0) 推荐(0)
crawl——入门
摘要：一、介绍 1 比如：百度是个大爬虫2 搜索引擎 seo不花钱 优化：建外链，加关键字，曝光率高，伪静态 sem花钱优化，百度自己优化 3 模拟浏览器发送http请求 (请求库)(频率，cookie，浏览器头。。js反扒，app逆向)（抓包工具） 》从服务器取回数据 》 解析数据--（解析库）（反扒） 阅读全文
posted @ 2021-01-19 18:50 1024bits 阅读(766) 评论(0) 推荐(0)
celery——使用
摘要：一、celery基本使用 1 写一个py文件 （s1.py >任务写好后在此运行会拿到任务id） import celery # 消息中间件（redis） broker='redis://127.0.0.1:6379/1' # 1 表示使用redis 1 这个db # 结果存储（redis） bac 阅读全文
posted @ 2021-01-15 20:51 1024bits 阅读(177) 评论(1) 推荐(0)
celery——简介及安装
摘要：一、简介 注意：python中执行定时任务：APScheduler 》公司里使用的比较多 1 celery:芹菜（中文名芹菜其实跟芹菜没有任何关系） 2 python中的一个分布式异步任务框架 -执行异步任务 (对立：同步任务):解决耗时任务,将耗时操作任务提交给Celery去异步执行，比如发送短信 阅读全文
posted @ 2021-01-14 18:59 1024bits 阅读(480) 评论(1) 推荐(1)
redis——redis入门（常用数据类型：l ）
摘要：neir 一、列表的基本操作 二、列表的高级使用 一、列表的基本操作 1. lpush(name,values) import redis class MyRedis(): def __enter__(self): self.conn = redis.Redis() return self.conn 阅读全文
posted @ 2021-01-10 19:40 1024bits 阅读(429) 评论(0) 推荐(0)
redis——redis入门（二）
摘要：一：Redis启动服务端的3种方式 1.最简启动 redis-server ps -ef | grep redis # 查看进程 netstat -antpl | grep redis # 查看端口 redis-cli -h ip -p port ping # 命令查看 2.动态参数启动 redis 阅读全文
posted @ 2021-01-09 15:42 1024bits 阅读(131) 评论(0) 推荐(0)
redis——redis入门（常用数据类型：string hash）
摘要：一、redis之string操作 1.set的使用 import redis conn=redis.Redis() ### 1 set 的使用 # name:key值 # value：value值 # ex:过期时间，按秒记 # px：过期时间（毫秒） # nx：如果设置为True，则只有name不 阅读全文
posted @ 2021-01-07 11:43 1024bits 阅读(326) 评论(0) 推荐(0)
redis——redis入门（一）
摘要：一、什么是redis？ 1.简介 1 Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 2 Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI. 用C语言编写、支持网络、可基于内存亦可持久化 阅读全文
posted @ 2021-01-07 11:42 1024bits 阅读(123) 评论(0) 推荐(0)
函数——装饰器
摘要：一、装饰器 #双层装饰器 def auth(func): def inner(*args,**kwargs): res=func(*args,**kwargs) return res return inner 二、关于flask案例 #安装flask: pip install flask #注意：这 阅读全文
posted @ 2021-01-04 10:13 1024bits 阅读(115) 评论(0) 推荐(0)