摘要: 写在前面 Clickhouse 从 21.11 版本开始,除了提供类似SqlServer、MySQL CREATE FUNCTION 的自定义函数之外,还有一个用户自定义函数(UDF),与其说是“用户自定义函数”,为了避免混淆,称之为”用户自定义外部函数“更为准确。官方对此功能的解释: ClickH 阅读全文
posted @ 2022-03-31 15:45 山治先生 阅读(2650) 评论(3) 推荐(1) 编辑
摘要: 在不用到负载之前,一切都很好,但是部署多个实例之后,问题挺多的:session问题、令牌签发后的校验问题。 在此之前,先自查官方文档:Deployment — IdentityServer4 1.0.0 documentation 把必要的东西都配置正确,然后继续排查。 session问题 在需要经 阅读全文
posted @ 2021-11-01 15:10 山治先生 阅读(985) 评论(0) 推荐(2) 编辑
摘要: 安装Fail2ban 1. 下载 wget https://raw.githubusercontent.com/FunctionClub/Fail2ban/master/fail2ban.sh 2. 安装 bash fail2ban.sh 安装过程: 第一步选择是否修改SSH端口; 第二步输入最多尝 阅读全文
posted @ 2021-10-14 17:12 山治先生 阅读(595) 评论(0) 推荐(0) 编辑
摘要: 写在前面 ELK三剑客(ElasticSearch,Logstash,Kibana)基本上可以满足日志采集、信息处理、统计分析、可视化报表等一些日志分析的工作,但是对我们来说……太重了,并且技术栈不是一路的。我们的场景是需要采集各个业务部门服务器上面的各个业务系统,所以尽量不要影响到服务器的性能,以 阅读全文
posted @ 2021-08-20 16:37 山治先生 阅读(2491) 评论(2) 推荐(0) 编辑
摘要: 写在前面 抽空来更新一下大数据的玩意儿了,起初架构选型的时候有考虑Hadoop那一套做数仓,但是Hadoop要求的服务器数量有点高,集群至少6台或以上,所以选择了Clickhouse(后面简称CH)。CH做集群的话,3台服务器起步就可以的,当然,不是硬性,取决于你的zookeeper做不做集群,其次 阅读全文
posted @ 2021-08-16 18:08 山治先生 阅读(4103) 评论(2) 推荐(0) 编辑
摘要: 写在前面 好久没更新Blog了,从CRUD Boy转型大数据开发,拉宽了不少的知识面,从今年年初开始筹备、组建、招兵买马,到现在稳定开搞中,期间踏过无数的火坑,也许除了这篇还很写上三四篇。 进入主题,通常企业为了实现数据统计、数据分析、数据挖掘、解决信息孤岛等全局数据的系统化运作管理 ,为BI、经营 阅读全文
posted @ 2021-04-22 16:12 山治先生 阅读(4133) 评论(11) 推荐(5) 编辑
摘要: 连接外部数据库问题(A connection was successfully established with the server, but then an error occurred during the pre-login handshake.) 具体错误: System.Data.Sql 阅读全文
posted @ 2021-03-08 17:24 山治先生 阅读(1200) 评论(2) 推荐(0) 编辑
摘要: 写在前面 现在部署Asp.Net Core应用已经不再限制于Windows的IIS上,更多的是Docker容器、各种反向代理来部署。也有少部分用IIS部署的,IIS部署确实是又快又简单,图形化操作三下五除二就可以发布好一个系统了。在过去Asp.Net MVC 项目部署的时候,还常常使用IIS一个功能 阅读全文
posted @ 2020-07-23 15:22 山治先生 阅读(6237) 评论(13) 推荐(11) 编辑
摘要: 写在前面 微软在更新.Net Core版本的时候,动作往往很大,使得每次更新版本的时候都得小心翼翼,坑实在是太多。往往是悄咪咪的移除了某项功能或者组件,或者不在支持XX方法,这就很花时间去找回需要的东西了,下面是个人在迁移.Net Core WebApi项目过程中遇到的问题汇总: 开始迁移 1. 修 阅读全文
posted @ 2020-07-10 16:48 山治先生 阅读(4715) 评论(9) 推荐(10) 编辑
摘要: 写在前面 Docker作为开源的应用容器引擎,可以让我们很轻松的构建一个轻量级、易移植的容器,通过Docker方式进行持续交付、测试和部署,都是极为方便的,并且对于我们开发来说,最直观的优点还是解决了日常开发中的环境配置与部署环境配置上的差异所带来的种种疑难杂症,从此推脱产品的措辞也少了——“我电脑 阅读全文
posted @ 2020-07-05 17:36 山治先生 阅读(2334) 评论(3) 推荐(2) 编辑
摘要: 故事的开始 老板说:系统很慢,下载半个小时无法下载,是否考虑先压缩再给用户下载? 本来是已经压缩过了,不过第一反应应该是用户下的数量多,导致压缩包很大,然后自己测试发现,只是等待的时间比较久而已,仍然是下载状态中,并不是系统慢,但是用户体验肯定是最直观的,确实是我们做得不够好,单纯弹出遮罩层显示冰冷 阅读全文
posted @ 2020-06-09 17:27 山治先生 阅读(1705) 评论(1) 推荐(3) 编辑
摘要: 前言 相信使用过WebApiThrottle的童鞋对AspNetCoreRateLimit应该不陌生,AspNetCoreRateLimit是一个ASP.NET Core速率限制的解决方案,旨在控制客户端根据IP地址或客户端ID向Web API或MVC应用发出的请求的速率。AspNetCoreRat 阅读全文
posted @ 2020-04-17 16:37 山治先生 阅读(10171) 评论(42) 推荐(38) 编辑
摘要: 问题 模型验证无效时,没有进入到接口里,而是直接报400 Bad Request,非常不友好。 环境 SDK:.Net Core 2.2.401 开发工具:VS2017 step 1 创建接口 Step 2 创建模型 引用命名空间 Step 3 测试 解决 阅读全文
posted @ 2019-09-10 17:51 山治先生 阅读(2333) 评论(1) 推荐(3) 编辑
摘要: ApiController 后端API 前端JS 参考: https://www.runoob.com/html/html5-serversentevents.html 阅读全文
posted @ 2019-08-06 11:46 山治先生 阅读(703) 评论(0) 推荐(0) 编辑
摘要: 起因就说来话长了,由于公司经营不善等原因,于2019年5月22日,博主顺利的跟上家公司解除了劳动关系,老总待我不错,把我推荐给了集团内另一家子公司,没入职之前感觉还是挺“不错”的,虽然是推荐,但公司有公司的流程,该面试的面试,七八个老总一起面,觉得我不错,开了“10w”年薪(给各位大佬拖后腿了,在小 阅读全文
posted @ 2019-07-08 19:31 山治先生 阅读(6610) 评论(91) 推荐(23) 编辑