uin-app系列1 介绍
该文被密码保护。 阅读全文
posted @ 2022-12-26 20:33 花阴偷移 阅读(0) 评论(0) 推荐(0)
uin-app系列2 框架介绍 上
该文被密码保护。 阅读全文
posted @ 2022-12-26 20:32 花阴偷移 阅读(0) 评论(0) 推荐(0)
redis 设置分布式锁
摘要：
命令 SET key value EX seconds NX 参考 https://www.cnblogs.com/xiaoxiaotank/p/14982602.html redis分布式锁开源中间件 https://github.com/samcook/RedLock.net 阅读全文
posted @ 2022-12-26 18:35 花阴偷移 阅读(15) 评论(0) 推荐(0)
sql server 性能调优之 物理内存消耗最大资源分析(自sqlserver服务启动以后)
该文被密码保护。 阅读全文
posted @ 2022-12-26 18:28 花阴偷移 阅读(2) 评论(0) 推荐(0)
sql server 性能调优之 逻辑内存消耗最大资源分析(自sqlserver服务启动以后)
该文被密码保护。 阅读全文
posted @ 2022-12-26 18:27 花阴偷移 阅读(2) 评论(0) 推荐(0)
RabbitMQ 笔记2 RabbitMQ中成员介绍
摘要：
一.概述 RabbitMQ整体上是一个生产者与消费者模型，主要负责接收，存储和转发消息，整体模型架构如下图所示： Producer:生产者，就是投递消息的一方。生产者创建消息然后发布到RabbitMQ中，消息一般可以分为2个部份：消息体payload和标签label。 在应用中消息体一般是一个带有业 阅读全文
posted @ 2022-12-26 16:21 花阴偷移 阅读(31) 评论(0) 推荐(0)
Elasticsearch 索引知识
摘要：
1.索引名必须是小写，不能以下划线开头，不能包含逗号,相当于关系型数据库名。 2.Elasticsearch 和 Lucene 使用了一个叫做倒排索引， 它关系型数据库的B-tree结构一样。默认的，一个文档中的每一个属性都是被索引的（有一个倒排索引）和可搜索的。一个没有倒排索引的属性是不能被搜索到 阅读全文
posted @ 2022-12-26 16:15 花阴偷移 阅读(36) 评论(0) 推荐(0)
RabbitMQ 学习系列6 客户端开发向导 下
摘要：
3.3 发送消息 如果要发送一个消息，可以使用Chanel类的BasicPulish方法,如下所示: string input; do { input = Console.ReadLine(); var sendBytes = Encoding.UTF8.GetBytes(input); //发布消 阅读全文
posted @ 2022-12-26 16:13 花阴偷移 阅读(19) 评论(0) 推荐(0)
RabbitMQ 学习系列8 进阶(过期、死信) 2
摘要：
4.2 过期时间(TTL) TTL，Time to Live的简称，即过期时间， Rabbitmq可以对消息和队列设置TTL。 4.2.1设置消息的TTL 目前有两种方法可以设置消息的TTL,第一种方法是通过队列属性设置，队列中所有消息都有相同的过期时间，第二种方法是对消息本身进行单独设置，每条消息 阅读全文
posted @ 2022-12-26 16:13 花阴偷移 阅读(70) 评论(0) 推荐(0)
RabbitMQ 学习系列7 进阶(消息何去何从) 1
摘要：
4.1 消息何去何从 mandatory是channel.basicPublish方法中的一个参数，默认为false, 它是当消息传递过程中不可达目的地时消息返回给生产者的功能。rabbitmq提供的备份交换器(alternate exchange)可以将未能被交换器路由的消息(没有绑定队列或者没有 阅读全文
posted @ 2022-12-26 16:12 花阴偷移 阅读(28) 评论(0) 推荐(0)
RabbitMQ 学习系列10 进阶(消费端要点介绍、消息传输保障)4
摘要：
4.9.消费端要点介绍 回顾之前介绍了如何正确的消费消息，消费者客户端可以通过推模式或者拉模式的方式来获取并消费消息，当消费者处理完业务逻辑需要手动确认消息已被接收，这样rabbitmq才能把当前消息从队列中标记清除。当然如果消费者由于 某些原因无法处理当前接收到的消息，可以通过channel.ba 阅读全文
posted @ 2022-12-26 16:12 花阴偷移 阅读(33) 评论(0) 推荐(0)
RabbitMQ 监控
摘要：
GET api/overview 返回集群范围指标http://192.168.18.55:15672/api/overview连接总数 object_totals.connections通道总数 object_totals.channels队列总数 object_totals.queues消费者总 阅读全文
posted @ 2022-12-26 16:11 花阴偷移 阅读(32) 评论(0) 推荐(0)
RabbitMQ for windows安装
摘要：
一.安装 1.1 下载说明地址： https://rabbitmq.com/install-windows.html windows安装有二种方式： 1.使用chocolatey方式安装，新版本可能需要一段时间（有时是几周）才能获得批准，因此不能保证此选项提供最新版本。但是，它确实管理所需的依赖项。 阅读全文
posted @ 2022-12-26 16:11 花阴偷移 阅读(38) 评论(0) 推荐(0)
elasticsearch 运维监控
摘要：
1.删除文档后，释放内存 参考： https://www.itranslater.com/qa/details/2582866090724426752 2.删除索引而不是删除文档 删除的文档不会立即从 Elasticsearch 的文件系统中删除。相反，Elasticsearch 在每个相关分片上将 阅读全文
posted @ 2022-12-26 16:04 花阴偷移 阅读(47) 评论(0) 推荐(0)
IdentityServer4 生产环境添加证书
摘要：
对于Token签名，需要一对公钥和私钥，不过IdentityServer为开发者提供了一个AddDeveloperSigningCredential()方法，它会帮我们搞定这个事，并默认存到硬盘中。当切换到生产环境时，还是得使用正儿八经的证书，更换为使用AddSigningCredential()方 阅读全文
posted @ 2022-12-26 16:03 花阴偷移 阅读(81) 评论(0) 推荐(0)
Elasticsearch 分片和副本
摘要：
一.分片 分片包括主分片和副本分片，主分片的数量在创建索引时就固定下来了，无法更改主分片数量。 1.es的分片是使用在索引上，数据量少的建议使用1个分片，每个分片最好不超过30GB。你认为你的数据能达到200GB, 我们推荐你最多分配7到8个分片。 如下示例：GET /_cat/shards/sup 阅读全文
posted @ 2022-12-26 16:02 花阴偷移 阅读(437) 评论(0) 推荐(0)
IdentityServer4 配置负载均衡
摘要：
如果使用 IdentityServer4 做授权服务的负载均衡，默认情况下是不可以的，比如有两个授权服务站点，一个资源服务绑定其中一个授权服务（Authority配置），如果通过另外一个授权服务获取access_token，然后拿这个access_token去访问资源服务，会报 401 未授权错误。 阅读全文
posted @ 2022-12-26 16:01 花阴偷移 阅读(51) 评论(0) 推荐(0)
数据库主键分案
摘要：
一.数据库自带的自增主键 在传统单体数据库中，并且并发量不高的情况下，可以使用数据库自带的自增主键。但是它不能保持连续递增，只保证单调递增，也就是说自增主键值可能是：1,2,3,5 没有自增主键值4,这可能是因为事务回滚。 优点: 简单，代码方便，性能可以接受。数字ID天然排序，对分页或者需要排序的 阅读全文
posted @ 2022-12-26 15:34 花阴偷移 阅读(70) 评论(0) 推荐(0)
mysql 读写分离有哪些坑
摘要：
在上一篇文章中，我和你介绍了一主多从的结构以及切换流程。今天我们就继续聊聊一主多从架构的应用场景：读写分离，以及怎么处理主备延迟导致的读写分离问题。我们在上一篇文章中提到的一主多从的结构，其实就是读写分离的基本结构了。这里，我再把这张图贴过来，方便你理解。 图 1 读写分离基本结构 读写分离的主要目 阅读全文
posted @ 2022-12-26 15:33 花阴偷移 阅读(97) 评论(0) 推荐(0)
第一篇 filebeat 介绍和快速安装
摘要：
一.介绍 Filebeat 是一个用于转发和集中日志数据的轻量级传送器。Filebeat 监控您指定的日志文件或位置，收集日志事件，并将它们转发到ES或Logstash以进行索引。 工作原理: 当启动Filebeat时, 它会启动一个或多个input(输入)， 这些input会在您为日志数据指定的位 阅读全文
posted @ 2022-12-26 12:58 花阴偷移 阅读(136) 评论(0) 推荐(0)
第三篇 filebeat 配置
摘要：
一.介绍 filebeat 的配置文件，默认的配置文件是调用filebeat.yml, 每一种安装，文件位置都不同，配置文件所在目录见文档: 目录结构 还有一个完整示例配置文件 filebeat.reference.yml ，其中显示了所有未弃用的选项。 由于可配置的节点很多，这里介绍重要节点： 1 阅读全文
posted @ 2022-12-26 12:58 花阴偷移 阅读(774) 评论(0) 推荐(0)
第二篇 filebeat工作原理
摘要：
一.介绍 filebeat主要由二个组件构成：input 和 harvesters。 1.1 什么是harvesters harvesters叫收割机，负责读取单个文件的内容， harvesters逐行读取每个文件，并机内容发送到output。harvesters负责打开和关闭文件，这意味着在har 阅读全文
posted @ 2022-12-26 12:58 花阴偷移 阅读(93) 评论(0) 推荐(0)
Alertmanager 告警处理前准备（node_exporter下线告警规则）3
该文被密码保护。 阅读全文
posted @ 2022-12-26 12:40 花阴偷移 阅读(1) 评论(0) 推荐(0)
Alertmanager 告警介绍和部署(1)
摘要：
一.概述 告警是整个监控系统中重要的组成部分，在Prometheus监控体系中，指标的采集存储与告警是分开的。告警规则是在Prometheus server端定义的，告警规则被触发后，才会将信息发送给独立组件Alertmanager上，经过对告警的处理后，最终通过接收器(email)通知用户。 我们 阅读全文
posted @ 2022-12-26 12:39 花阴偷移 阅读(1147) 评论(0) 推荐(0)
Prometheus Exporter 5
摘要：
一.概述 上一篇中了解了Exporter的基本用途，本章将对Exporter的类型以及文本数据格式进行说明，讨论如何从官方的Exporter列表获取常用的Exporter，比如用于监控基础设施中服务器性能的node_exporter、wmi_exporter，并对这些获取特定目标监控样本数据的Exp 阅读全文
posted @ 2022-12-26 12:37 花阴偷移 阅读(61) 评论(0) 推荐(0)
Prometheus 相关概念(数据模型、指标，job, instance等) 4
该文被密码保护。 阅读全文
posted @ 2022-12-26 12:37 花阴偷移 阅读(0) 评论(0) 推荐(0)
elasticsearch 索引mapping汇总
摘要：
查看索引字段的映射类型 GET studenttest/_mapping 创建一个新的索引结构 PUT /crawl_sensorexpert_sku_content { "settings": { "number_of_shards" : 3, "number_of_replicas" : 1 } 阅读全文
posted @ 2022-12-26 12:30 花阴偷移 阅读(22) 评论(0) 推荐(0)
elasticsearch 索引增删改示例
摘要：
1.索引条件更新 update collect_material_page_address set IsCollectUri=true where IsCollectUri=false and CollectUri like 'https://www.futureelectronics.cn/sea 阅读全文
posted @ 2022-12-26 12:30 花阴偷移 阅读(30) 评论(0) 推荐(0)
pip 安装包查看
摘要：
一.centos平台 寻找pip安装包的目录方法 [root@iZwz927xptl8kw8zqrmwvcZ bin]# whereis python python: /usr/bin/python3.6 /usr/bin/python3.6m /usr/bin/python3.6-config / 阅读全文
posted @ 2022-12-26 12:28 花阴偷移 阅读(697) 评论(0) 推荐(0)
python 多版本查看与命令用法
摘要：
1.windows查看电脑上是否有多个版本 如果python2能查到，那么用命令时 1、pip是python的包管理工具，pip和pip3版本不同，都位于Scripts\目录下： 2、如果系统中只安装了Python2，那么就只能使用pip。 3、如果系统中只安装了Python3，那么既可以使用pip 阅读全文
posted @ 2022-12-26 12:27 花阴偷移 阅读(706) 评论(0) 推荐(0)
python 异常处理 12
摘要：
当python程序在执行期间发生错误时，如果编写了处理该异常的代码，程序将继续运行;如果未对异常进行处理，程序将停止并显示traceback，其中包含有关异常的报告。异常是使用try- except代码块处理的。告诉python发生异常进怎么办，在try-except代码块中出现异常，程序也将继续运 阅读全文
posted @ 2022-12-26 12:26 花阴偷移 阅读(55) 评论(0) 推荐(0)
python 文件操作 11
摘要：
一.文件读取操作 1. 读取整个文件 在同级目录，创建一个pi_digits.txt文件和file_reader.py文件。 pi_digits.txt文件中加入内容 file_reader.py文件内容如下： with open('pi_digits.txt') as file_object: c 阅读全文
posted @ 2022-12-26 12:26 花阴偷移 阅读(112) 评论(0) 推荐(0)
python if语句 5
摘要：
1.条件测试 cars = ['audi', 'bmw', 'subaru', 'toyota'] for car in cars: if car=='bmw': print(car.upper()) else: print(car.title()) #下面检查不相等 != top='mus' if 阅读全文
posted @ 2022-12-26 12:25 花阴偷移 阅读(21) 评论(0) 推荐(0)
python 字典 6
摘要：
1. 字典增删改 #简单字典用法，用{}表示字典。键和值之间用冒号分隔，而键值对之间用逗号分隔，如下所示 alien_0={'color':'green','points':'5'} print(alien_0['color']) #字典是键值对，每个值可以是字符串，数字，列表，字典 #添加键值对 阅读全文
posted @ 2022-12-26 12:25 花阴偷移 阅读(24) 评论(0) 推荐(0)
python while 7
摘要：
1. 简单的while示例 current_number=1 while current_number<=5 : print(current_number) current_number+=1 2.使用标志 active=True num =1 num_end=10 while active: pr 阅读全文
posted @ 2022-12-26 12:24 花阴偷移 阅读(25) 评论(0) 推荐(0)
python 函数 9
摘要：
1.定义函数 #下面定义一个简单的函数, def关键字用来定义函数 def greet_user(username): print(f"hello-{username}") #调用 greet_user('jesse') #实参和形参,上面变量username是一个形参(parameter),gre 阅读全文
posted @ 2022-12-26 12:24 花阴偷移 阅读(34) 评论(0) 推荐(0)
python 类 10
摘要：
1.创建和使用类 #在python中,首字母大写的名称指的是类 class Dog: #定义方法，该方法是一个特殊方法，每当Dog类创建新实例时，python都会自动运行它 #这个方法的名称中，开头和末尾各有两个下划线，这是一种约定。 #self是必须的形参，指本身实例的引用 def __init_ 阅读全文
posted @ 2022-12-26 12:24 花阴偷移 阅读(16) 评论(0) 推荐(0)
scrapy 安装报错 This package requires Rust >=1.48.0.
摘要：
在pip3 install scrapy==2.5.1 安装包时报错，提示：This package requires Rust >=1.48.0. 解决方案：更新pip3包,命令如下： pip3 install --upgrade pip 阅读全文
posted @ 2022-12-26 12:20 花阴偷移 阅读(3067) 评论(0) 推荐(0)
scrapy 监控可视化Grafana介绍与安装(2)
摘要：
一.概述 Grafana是一个用于监控和可观察性的开源平台。它提供了查询、可视化、提醒、和了解指标，它专注于时序类图表分析，而且支持多种数据源，如Prometheus、Graphite、InfluxDB、Elasticsearch、MySQL、Kubernetes、Zabbix等。 Grafana对 阅读全文
posted @ 2022-12-26 12:20 花阴偷移 阅读(91) 评论(0) 推荐(0)
scrapyd-client安装和部署项目介绍
摘要：
1.介绍 前面讲解了如何在服务端安装scrapyd，本篇讲客户端scrapyd-client安装部署介绍。 scrapyd-client是scrapyd的客户端，它提供了： 1) scrapyd-deploy, 将scrapy项目部署到 Scrapyd 服务器。 2)scrapyd-client, 阅读全文
posted @ 2022-12-26 12:17 花阴偷移 阅读(122) 评论(0) 推荐(0)
python Setuptools安装打包(windows)
摘要：
1.介绍 Setuptools 是一个功能齐全、积极维护且稳定的库，旨在促进 Python 项目的打包。由于开发环境使用的是windows+vs code，这里的工具安装包括，都是在windows上进行。 1）安装 #打开cmdm,使用pip安装最新版本 pip install --upgrade 阅读全文
posted @ 2022-12-26 12:16 花阴偷移 阅读(355) 评论(0) 推荐(0)
Scrapy Settings 内置设置参考
摘要：
在settings.py文件中，有内置的设置，按字母顺序排列，以及它们的默认值和它们的应用范围，本篇列出一些常用的内置设置。 BOT_NAME 项目名称，此名称也用于日志记录,默认: scrapybot CONCURRENT_ITEMS 设置item pipeline同时(并发)处理每个respos 阅读全文
posted @ 2022-12-26 12:16 花阴偷移 阅读(112) 评论(0) 推荐(0)
Scrapy Settings(设置)概述
摘要：
1.介绍 Settings.py文件允许自定义所有Scrapy组件的行为，包括core,extensions,pipelines,spiders本身。 Settings的基础结构提供了键值映射的全局命名空间，可以在代码中使用该命名空间从中提取配置值。 2. 填充Settings 可以使用不同的机制填 阅读全文
posted @ 2022-12-26 12:15 花阴偷移 阅读(55) 评论(0) 推荐(0)
Scrapy items 项目
摘要：
1.items 抓取的主要目标是从非结构化来源（通常是网页）中提取结构化数据. spider可以将提取的数据返回为items，即定义键值对的 Python 对象。 scrapy支持多种类型的items。 scrapy通过itemadapter库支持以下类型的item: 字典(dictionaries 阅读全文
posted @ 2022-12-26 12:12 花阴偷移 阅读(30) 评论(0) 推荐(0)
Scrapy Selectors 选择器
摘要：
1.介绍 当抓取网页时，需要执行最常见的任务是从html源中提取数据，有几个库可以实现这一点，例如： 1)BeautifulSoup是python程序员中非常流行的web抓取库,能很好地处理不良标记，但速度慢. 2)lxml是一个xml解析库（也解析html），lxml不是python标准库的一部分 阅读全文
posted @ 2022-12-26 12:12 花阴偷移 阅读(53) 评论(0) 推荐(0)
Scrapy Spider类介绍
摘要：
一.介绍 Spider是定义如何抓取某一个站点(或一组站点的类)，包括如何执行Crawl,以及如何从其页面中提取结构化数据。 对于spider,抓取周期是这样的： 1）首先生成初始请求以抓取第一个 URL，并指定一个回调函数以使用从这些请求下载的响应调用。 第一个要执行的请求是通过调用start_r 阅读全文
posted @ 2022-12-26 12:11 花阴偷移 阅读(67) 评论(0) 推荐(0)
Scrapy 命令行工具
摘要：
1.Scrapy是通过 scrapy命令行工具控制的，Scrapy 工具提供了多个命令，用于多种用途，每个命令都接受一组不同的参数和选项。 2.配置设置 scrapy.cfg 文件位置： 1)系统级的位置：我这里是在D:\Users\AndyH\AppData\Local\Programs\Pyth 阅读全文
posted @ 2022-12-26 12:10 花阴偷移 阅读(126) 评论(0) 推荐(0)
Scrapy 第一个示例
摘要：
前置条件 安装python3.6 + 安装vs code scrapy 包安装 pip3 install scrapy 一.打开vs code ,在终端输入命令， Scrapy创建项目，这样项目就创建在F:\python_work\scrapy_Sample\tutorial 文件夹中 PS F:\ 阅读全文
posted @ 2022-12-26 12:09 花阴偷移 阅读(15) 评论(0) 推荐(0)
浙公网安备 33010602011771号