博客园 - 花阴偷移
uuid:24b78886-0ed1-41c2-8670-e3f31dcf42c4;id=123678
2024-03-28T10:01:54Z
花阴偷移
https://www.cnblogs.com/MrHSR/
feed.cnblogs.com
https://www.cnblogs.com/MrHSR/p/18101699
动态判断是否需要Api接口鉴权 - 花阴偷移
一.概述 问题: 在使用 asp.net core api 做业务开发时,在本地vs开发环境,部署后的测试环境,都需要先获取access_token,才能访问api接口,这样浪费了调试与测试时间。 现状: 我这里是通过Apollo 配置中心定义了二套配置环境,一是Dev环境:用于本地vs开发环境,部
2024-03-28T07:14:00Z
2024-03-28T07:14:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】一.概述 问题: 在使用 asp.net core api 做业务开发时,在本地vs开发环境,部署后的测试环境,都需要先获取access_token,才能访问api接口,这样浪费了调试与测试时间。 现状: 我这里是通过Apollo 配置中心定义了二套配置环境,一是Dev环境:用于本地vs开发环境,部 <a href="https://www.cnblogs.com/MrHSR/p/18101699" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/18098403
倒排索引 - 花阴偷移
倒排索引主要由两部分组成: 1)单词词典,即每个文档进行分词后的词项在去重后组成的集合; 2)倒排文件 是倒排列表持久化存储的结果,通常保存在磁盘等存储设备上。倒排列表记录了词项所在文档的文档列表、单词频率等信息。 我们以4个文档为例: 文档编号 文档内容 1 作为一款领先的聊天助手,ChatGPT
2024-03-27T02:54:00Z
2024-03-27T02:54:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】倒排索引主要由两部分组成: 1)单词词典,即每个文档进行分词后的词项在去重后组成的集合; 2)倒排文件 是倒排列表持久化存储的结果,通常保存在磁盘等存储设备上。倒排列表记录了词项所在文档的文档列表、单词频率等信息。 我们以4个文档为例: 文档编号 文档内容 1 作为一款领先的聊天助手,ChatGPT <a href="https://www.cnblogs.com/MrHSR/p/18098403" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/18087984
数据清洗使用Parallel 多线程 - 花阴偷移
一.概述 在开发数据清洗时,ES数据集有600w条,每一条的子对象又有几十条,需要拿到子对象去重后的集合,使用分批提取ES数据,共535批。开始使用List来操作,关键代码如下: var specListAll = new List<SpecInfo>(); for (int i = 0; i <
2024-03-21T10:09:00Z
2024-03-21T10:09:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】一.概述 在开发数据清洗时,ES数据集有600w条,每一条的子对象又有几十条,需要拿到子对象去重后的集合,使用分批提取ES数据,共535批。开始使用List来操作,关键代码如下: var specListAll = new List<SpecInfo>(); for (int i = 0; i < <a href="https://www.cnblogs.com/MrHSR/p/18087984" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/18037295
elasticsearch 在.net core中使用Script脚本批量更新 - 花阴偷移
目的: 目前有一家供应商数据有110w条数据,需要每天更新全部数据的Createtime创建时间(创建时间到秒不能全部都是一样的),如果使用es游标或者使用分页查询出来再更新,方案是行不通的,这时想到使用Script脚本来批量更新(半小时内全部更新完成),代码如下所示: /// <summary>
2024-02-27T09:05:00Z
2024-02-27T09:05:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】目的: 目前有一家供应商数据有110w条数据,需要每天更新全部数据的Createtime创建时间(创建时间到秒不能全部都是一样的),如果使用es游标或者使用分页查询出来再更新,方案是行不通的,这时想到使用Script脚本来批量更新(半小时内全部更新完成),代码如下所示: /// <summary> <a href="https://www.cnblogs.com/MrHSR/p/18037295" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/18030099
linux cpu 内存分析 - 花阴偷移
1.通过分析服务器资源,当发现资源消耗过多时,需要分析什么进程占用了,如下所示 2.分析第一台服务器 通过登录服务器,使用top命令查看,出来信息如下所示: 进程182618的内存占用了52.6%,属于.net应用程序,通过已维护的文档,知道了哪些.net程序的部署了,最终找到是该web应用程序内存
2024-02-23T09:50:00Z
2024-02-23T09:50:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】1.通过分析服务器资源,当发现资源消耗过多时,需要分析什么进程占用了,如下所示 2.分析第一台服务器 通过登录服务器,使用top命令查看,出来信息如下所示: 进程182618的内存占用了52.6%,属于.net应用程序,通过已维护的文档,知道了哪些.net程序的部署了,最终找到是该web应用程序内存 <a href="https://www.cnblogs.com/MrHSR/p/18030099" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/18001699
使用chrome 扩展书签自动保存网页,辅助采集 - 花阴偷移
该文被密码保护。
2024-02-01T09:21:00Z
2024-02-01T09:21:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17998785
scrapy 响应文本乱码(不支持Brotli解压) - 花阴偷移
一.介绍 在scrapy中,默认不支持Brotli解压,当发现响应乱码时,如何分析确定是由Brotli压缩引起的呢? 1)是看请求头是否有'Accept-Encoding': "gzip, deflate, br" 中的br,如果去掉br 再请求网页,如果响应不成功,则表示服务端只支持br压缩格式,
2024-01-31T02:59:00Z
2024-01-31T02:59:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】一.介绍 在scrapy中,默认不支持Brotli解压,当发现响应乱码时,如何分析确定是由Brotli压缩引起的呢? 1)是看请求头是否有'Accept-Encoding': "gzip, deflate, br" 中的br,如果去掉br 再请求网页,如果响应不成功,则表示服务端只支持br压缩格式, <a href="https://www.cnblogs.com/MrHSR/p/17998785" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/17984993
ja3/ja4 客户端指纹反爬 - 花阴偷移
该文被密码保护。
2024-01-24T08:31:00Z
2024-01-24T08:31:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17899377.html
elasticsearch 聚合查询 - 花阴偷移
1.查看一天时间内,ip的去重总数 post hqbuy_event_tracking-*/_search { "query":{ "range": { "create_timestamp": { "gte": 1702310400, "lt": 1702396800 } } }, "size":0
2023-12-13T08:35:00Z
2023-12-13T08:35:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】1.查看一天时间内,ip的去重总数 post hqbuy_event_tracking-*/_search { "query":{ "range": { "create_timestamp": { "gte": 1702310400, "lt": 1702396800 } } }, "size":0 <a href="https://www.cnblogs.com/MrHSR/p/17899377.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/17531333.html
elasticsearch from + size must be less than or equal to: [10000] but was [100000] - 花阴偷移
说明:当分页查询时,默认最大总数是10000(from+size<=10000),当我现在业务需要查询最大100000条时,就报错了。 方案1:可以为某个es放开到指定的返回总数,也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出,elasticsearch重启又会恢复默认100
2023-08-24T02:37:00Z
2023-08-24T02:37:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】说明:当分页查询时,默认最大总数是10000(from+size<=10000),当我现在业务需要查询最大100000条时,就报错了。 方案1:可以为某个es放开到指定的返回总数,也可以对整个es的索引做设置。但这样对内存消耗很大, 可能导致内存溢出,elasticsearch重启又会恢复默认100 <a href="https://www.cnblogs.com/MrHSR/p/17531333.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/17640669.html
将博客搬至CSDN - 花阴偷移
本人的博客将如数全部搬至CSDN。个人CSDN博客地址:https://blog.csdn.net/weixin_43394129
2023-08-18T07:35:00Z
2023-08-18T07:35:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】本人的博客将如数全部搬至CSDN。个人CSDN博客地址:https://blog.csdn.net/weixin_43394129 <a href="https://www.cnblogs.com/MrHSR/p/17640669.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/17633414.html
js逆向--使用Tampermonkey监控、定位JavaScript操作cookie(10) - 花阴偷移
该文被密码保护。
2023-08-16T03:22:00Z
2023-08-16T03:22:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17630616.html
js逆向--PyExecJS模拟执行javascript破解加密C网站(9) - 花阴偷移
该文被密码保护。
2023-08-15T07:25:00Z
2023-08-15T07:25:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17622899.html
js逆向--常见的编码和加密(8) - 花阴偷移
该文被密码保护。
2023-08-11T07:32:00Z
2023-08-11T07:32:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17619894.html
js逆向--借助playwright实现逆向js(7) - 花阴偷移
该文被密码保护。
2023-08-10T06:56:00Z
2023-08-10T06:56:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17614992.html
js逆向--破解js完整文件(6) - 花阴偷移
该文被密码保护。
2023-08-08T09:34:00Z
2023-08-08T09:34:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17611714.html
js逆向--PyExecJS模拟执行javascript破解MD5加密网站(6) - 花阴偷移
一.立创网站分析 下面结合立创网站的案例来分析:访问:https://so.szlcsc.com/global.html?k=LM358 这个网站,作用是查询"LM358"关键词相关的物料价格信息。通过浏览器开发工具知道,物料价格数据是通过ajax的https://so.szlcsc.com/pro
2023-08-07T08:14:00Z
2023-08-07T08:14:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
【摘要】一.立创网站分析 下面结合立创网站的案例来分析:访问:https://so.szlcsc.com/global.html?k=LM358 这个网站,作用是查询"LM358"关键词相关的物料价格信息。通过浏览器开发工具知道,物料价格数据是通过ajax的https://so.szlcsc.com/pro <a href="https://www.cnblogs.com/MrHSR/p/17611714.html" target="_blank">阅读全文</a>
https://www.cnblogs.com/MrHSR/p/17603261.html
js逆向--破解js完整文件 (5) - 花阴偷移
该文被密码保护。
2023-08-03T06:31:00Z
2023-08-03T06:31:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17596358.html
js逆向--PyExecJS模拟执行javascript破解AES加密网站(5) - 花阴偷移
该文被密码保护。
2023-08-02T06:42:00Z
2023-08-02T06:42:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。
https://www.cnblogs.com/MrHSR/p/17571823.html
js逆向--改写javascript文件(4) - 花阴偷移
该文被密码保护。
2023-07-21T09:07:00Z
2023-07-21T09:07:00Z
花阴偷移
https://www.cnblogs.com/MrHSR/
该文被密码保护。