上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 55 下一页

2023年6月20日

curl 用法以及验证代理ip

摘要: 说明: 1)在程序中,使用代理ip请求目标网站时,有的网站会返回403或其它错误,这时可以通过命令方式来验证代理ip是否可用。 在linux中,使用curl ,下面使用阿布云代理ip请求目标网站,来确认是否能正确响应数据 curl -x "http://http-dyn.abuyun.com:902 阅读全文

posted @ 2023-06-20 11:08 花阴偷移 阅读(234) 评论(0) 推荐(0)

2023年6月8日

elasticsearch 子文档nested类型查询

摘要: 1.json 数据结构如下 { "took" : 3, "timed_out" : false, "_shards" : { "total" : 6, "successful" : 6, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "v 阅读全文

posted @ 2023-06-08 18:05 花阴偷移 阅读(123) 评论(0) 推荐(0)

2023年6月5日

Elasticsearch 大量频繁使用UpdateByQuery 脚本更新字段值 报错

摘要: 下面是出错内容: WARNING:elasticsearch:POST http://es-cn-09k1o69vj0006jcz9.public.elasticsearch.aliyuncs.com:9200/crawl_basis_pn/_update_by_query [status:500 阅读全文

posted @ 2023-06-05 16:41 花阴偷移 阅读(460) 评论(0) 推荐(2)

2023年5月30日

python xml操作

摘要: 1) 导入import xml.etree.ElementTree as ET 2)需要一个xml文件(sensorexpert_brand.xml),结构如下所示: <?xml version="1.0" encoding="UTF-8"?> <response> <error>0</error> 阅读全文

posted @ 2023-05-30 10:16 花阴偷移 阅读(14) 评论(0) 推荐(0)

2023年5月26日

阿里云centos 磁盘扩容

摘要: 步骤1 进入阿里云 控制台 云服务器ecs,选择对应的实例,进入存储与快照 云盘, 扩容,按需求购买。 步骤2 远程连接实例,使用fdisk -l 查看是否存在,如下图所示: 购买的100G,已显示,需要挂载到某个Device中。 vda:代表系统盘,vda1 代表系统盘第1个分区,这里有三个分区, 阅读全文

posted @ 2023-05-26 16:25 花阴偷移 阅读(84) 评论(0) 推荐(0)

2023年5月18日

Elasticsearch 大量滚动查询 断路器报错

摘要: 在调用es api查询时,当使用游标滚动查询大批数据时, 或者深度分页总数超过10000条时, 或者其它查询时,可能报429错误(以 .net 的es客户端为例,见下面代码) var res = _esGoodsClient.Search(query, sort, pageindex, pagesi 阅读全文

posted @ 2023-05-18 10:59 花阴偷移 阅读(62) 评论(0) 推荐(0)

2023年4月6日

使用cmd 执行scrapy命令

摘要: 说明: 在使用scrapy的playwright爬取时,需要打开浏览器才能抓取到,所有要部署到windows环境中,在win服务器中安装配置好python环境后,把scrapy项目的源码复制到服务器目录中,这里服务器项目的目录是:C:\python-project\ebs-python-crawle 阅读全文

posted @ 2023-04-06 10:15 花阴偷移 阅读(44) 评论(0) 推荐(0)

2023年2月28日

Scrapy 响应乱码

该文被密码保护。 阅读全文

posted @ 2023-02-28 18:17 花阴偷移 阅读(0) 评论(0) 推荐(0)

2023年2月22日

OpenIddict 介绍

摘要: 一.什么是OpenIddict OpenIddict 是一个开源的通用框架 ,用于在任何 ASP.NET Core 2.1(及更高版本)和遗留 ASP.NET 4.6.1(及更高版本)应用程序中构建符合标准的 OAuth 2.0/OpenID Connect 服务器。 OpenIddict 授权服务 阅读全文

posted @ 2023-02-22 11:09 花阴偷移 阅读(2081) 评论(0) 推荐(1)

2023年2月5日

OAuth 2.0 OAuth令牌 4

摘要: 一.OAuth 令牌是什么 令牌表示的是授权行为的结果:一个令牌元组,包括资源拥有者、客户端、授权服务器、受保护的资源、权限范围以及其他与授权决策有关的信息。授权服务器要知道如何生成令牌来颁发给客户端,资源服务器要知道如何识别并验证客户端发送过来的令牌。 令牌可以具有有效期,可以支持撤回。令牌可以代 阅读全文

posted @ 2023-02-05 10:38 花阴偷移 阅读(56) 评论(0) 推荐(0)

上一页 1 ··· 5 6 7 8 9 10 11 12 13 ··· 55 下一页

导航