Fork me on GitHub
摘要: 通过部署llama2系列,可以构建本地私有的知识小助手 用来输出一写周报、月报,甚至辅助数据分析都可以(想想都很轻松) 想要大模型支持特定的数据集,就需要进行专业的fine-turing 但是fine-turing工作,是需要一系列的数据工程,向量化等工作,不太便捷 PromtEngineer/lo 阅读全文
posted @ 2024-03-31 16:01 王清培 阅读(401) 评论(0) 推荐(3) 编辑
摘要: stable diffusion打造自己专属的LORA模型 通过Lora小模型可以控制很多特定场景的内容生成。 但是那些模型是别人训练好的,你肯定很好奇,我也想训练一个自己的专属模型(也叫炼丹~_~)。 甚至可以训练一个专属家庭版的模型(family model),非常有意思。 将自己的训练好的Lora模型放到stableDiffusion lora 目录中 阅读全文
posted @ 2023-04-09 22:48 王清培 阅读(11585) 评论(7) 推荐(4) 编辑
摘要: keras图片数字识别入门AI机器学习 通过使用mnist(AI界的helloworld)手写数字模型训练集,了解下AI工作的基本流程。 本例子,要基于mnist数据集(该数据集包含了【0-9】的模型训练数据集和测试数据集)来完成一个手写数字识别的小demo。 mnist数据集,图片大小是28*28的黑白。包含了6w 训练数据和1w验证数 阅读全文
posted @ 2023-03-09 21:49 王清培 阅读(457) 评论(0) 推荐(2) 编辑
摘要: 一文带你了解webrtc基本原理(动手实现1v1视频通话) webrtc (Web Real-Time Communications) 是一个实时通讯技术,也是实时音视频技术的标准和框架。 大白话讲,webrtc是一个集大成的实时音视频技术集,包含了各种客户端api、音视频编/解码lib、流媒体传输协议、回声消除、安全传输等。 对于开发者来说可以借助webr 阅读全文
posted @ 2022-08-06 20:26 王清培 阅读(2848) 评论(7) 推荐(2) 编辑
摘要: k8s CustomResourceDefinition invalid 错误 安装 CRD 出现这个错误,多数是版本问题,缺少openAPIV3Schema段定义。 The CustomResourceDefinition "crontabs.stable.example.com" is invalid: * spec.versions[0].schema.openAPIV3 阅读全文
posted @ 2022-05-15 09:36 王清培 阅读(735) 评论(0) 推荐(0) 编辑
摘要: 大型直播平台应用架构浅谈 进入直播领域有段时间了。 跟大多数同学一样,刚接触直播这个领域都非常好奇这个领域的宏观架构大概是什么样子的。 这里根据自己的这段时间学习,粗浅总结下分享给感兴趣的小伙伴扫扫盲。 目前直播平台有很多,抖/快、B站、斗/虎等。 直播这种高效的交互方式是各行业需要具备的能力,随着网络技术的发展也是必然趋势。 阅读全文
posted @ 2022-02-13 14:43 王清培 阅读(3831) 评论(8) 推荐(33) 编辑
摘要: minikube metrics-server HPA 自动扩缩容错误 minikube metrics-server pod 错误 启动 minikube addons enable metrics-server 之后查看 metrics-server pod 会有如下错误 Failed to pull image "k8s.gcr.io/metrics-server 阅读全文
posted @ 2021-12-11 18:26 王清培 阅读(1117) 评论(0) 推荐(0) 编辑
摘要: minikube addons enable ingress 启动错误 使用minikube 学习ingress部分的时候。一定会踩到的坑。 minikube addons enable ingress 遇到的一系列错误。 waiting for pod "app.kubernetes.io/name=ingress-nginx", current state: Pending 阅读全文
posted @ 2021-10-04 10:06 王清培 阅读(2686) 评论(9) 推荐(2) 编辑
摘要: minikube与kubectl版本不一致问题 在使用minikube学习的时候,会出现你在mac上安装的minikube默认是最新版本,但是实际情况是需要安装低一些版本。可以按照k8s官方文档安装的时候指定不同安装版本,如果很慢或者无法访问直接走github安装也行。 curl -LO https://github.com/kubernetes 阅读全文
posted @ 2021-05-29 10:20 王清培 阅读(951) 评论(0) 推荐(1) 编辑
摘要: 万级TPS亿级流水-中台账户系统架构设计 万级TPS亿级流水-中台账户系统架构设计 标签:高并发 万级TPS 亿级流水 账户系统 背景 业务模型 应用层设计 数据层设计 日切对账 背景 我们需要给所有前台业务提供统一的账户系统,用来支撑所有前台产品线的用户资产管理,统一提供支持大并发万级TPS、亿级流水、数据强一致、风控安全、日切对账、财务 阅读全文
posted @ 2020-06-20 17:35 王清培 阅读(4847) 评论(6) 推荐(6) 编辑
摘要: Golang 简单的读负责均衡 read-loadbalance master-slave(n) 读库集群负载均衡器(简单轮询)+时间间隔错峰。 github 地址:https://github.com/Plen-wang/read-loadbalance 使用场景 1.一般我们会有多个从库,需要在从库的读取上做负载均衡。 2.在 阅读全文
posted @ 2020-02-23 15:55 王清培 阅读(797) 评论(0) 推荐(0) 编辑
摘要: Mysql一分钟定位 Next-Key Lock,你需要几分钟 一分钟定位 Next-Key Lock,你需要几分钟 标签: Mysql、Next-KeyLock、插入意向锁 连接与线程 查看连接信息 show processlist + + + + + + + + + | Id | User | Host | db | Command | Time | Sta 阅读全文
posted @ 2020-01-27 15:34 王清培 阅读(3074) 评论(0) 推荐(2) 编辑
摘要: golang 服务大量 CLOSE_WAIT 故障排查 事故经过 排查 总结 事故经过 【2019-12-27 18:00 周五】 业务方突然找来说调用我们程序大量提示“触发限流”,但是我们没有收到任何监控报警。紧急查看了下 ServiceMesh sidecar 代理监控发现流量持续在减少,但是监控中没有任何触发限流的 http code 429 占比 阅读全文
posted @ 2020-01-26 13:21 王清培 阅读(3006) 评论(4) 推荐(0) 编辑
摘要: Mysql大并发热点行更新的两个骚操作 要想db操作的性能足够高,巧妙的设计很重要,事务的操作范围要尽量的小。一般情况下我们都是使用某个orm框架来操作db,这一类框架多数的实现方式都是夸网络多次交互来开启事务上下文和执行sql操作,是个黑盒子,包括对 autocommit 设置的时机也会有一些差异,稍微不注意就会踩坑。 在大并发的情况下 阅读全文
posted @ 2019-11-30 15:51 王清培 阅读(5473) 评论(3) 推荐(2) 编辑
摘要: golang 服务诡异499、504网络故障排查 事故经过 排查 总结 事故经过 11-01 12:00 中午午饭期间,手机突然收到业务网关非200异常报警,平时也会有一些少量499或者网络抖动问题触发报警,但是很快就会恢复(目前配置的报警阈值是5%,阈值跟当时的采样窗口qps有直接关系)。 报警当时非200占比已经过10%并且在持续升高,根据历史 阅读全文
posted @ 2019-11-16 19:38 王清培 阅读(2815) 评论(0) 推荐(2) 编辑
摘要: golang 服务平滑重启小结 背景 golang 程序平滑重启框架 supervisor 出现 defunct 原因 使用 master/worker 模式 背景 在业务快速增长中,前期只是验证模式是否可行,初期忽略程序发布重启带来的暂短停机影响。当模式实验成熟之后会逐渐放量,此时我们的发布停机带来的影响就会大很多。我们整个服务 阅读全文
posted @ 2019-10-19 18:33 王清培 阅读(3785) 评论(5) 推荐(2) 编辑
摘要: vim 列编辑模式 vim 列编辑模式 标签: vim 视窗模式 列编辑模式 vim 列编辑模式 例子:给列批量添加前缀、后缀、修改字段 vim 列编辑模式 vim 有三种编辑模式,命令模式、输入模式、视窗模式,我们常用的是前两种模式,但是视窗模式还是非常不错的,进入 vim 编辑器,模式是命令模式,可以通过 i、a 阅读全文
posted @ 2019-06-29 10:09 王清培 阅读(10521) 评论(2) 推荐(0) 编辑
摘要: 分享ppt:https://pan.baidu.com/s/1Aerqtbi8VpMiFGhfEMUtPQ 阅读全文
posted @ 2019-05-17 12:52 王清培 阅读(925) 评论(0) 推荐(0) 编辑
摘要: ElasticSearch 评分排序 背景 通过脚本改变评分 背景 近期有一个需求,需要对优惠券可用商品列表加个排序,只针对面值类的券不包括折扣券。 需求是这样的,假设有一张面值券 50 块钱,可用商品列表 A 100、B 40、C 10,当用户查询当前券可用商品列表的时候优先将卡券可以直接抵扣且不需要用户在额外支付的商品排在前面。 C 阅读全文
posted @ 2019-02-23 19:35 王清培 阅读(14014) 评论(0) 推荐(2) 编辑
摘要: zookeeper 实现分布式锁安全用法 zookeeper 实现分布式锁安全用法 标签: zookeeper sessionExpire connectionLoss 分布式锁 背景 ConnectionLoss 链接丢失 SessionExpired 会话过期 绕开 zookeeper broker 进行状态通知 leader 选举与z 阅读全文
posted @ 2019-01-26 12:51 王清培 阅读(5404) 评论(1) 推荐(0) 编辑
摘要: kubeadm init cannot find network namespace 错误 使用 kubeadm 安装好 weave 网络插件之后,查看 kubelet 输出信息发现如下错误: 4月 25 13:51:48 k8s-master kubelet[1232730]: I0425 13:51:48.124142 1232730 cni.go:334] "CNI failed t 阅读全文
posted @ 2022-05-04 11:56 王清培 阅读(673) 评论(0) 推荐(0) 编辑
摘要: 王清培 腾讯tvp之路 阅读全文
posted @ 2021-06-12 10:19 王清培 阅读(443) 评论(0) 推荐(0) 编辑
摘要: 在使用 git 的时候我们都会面临多账户问题,比较常见的就是公司内部的 gitlab,开源平台 github ,我们都需要在一台电脑上同时使用,这需要解决两个问题。 阅读全文
posted @ 2017-11-18 14:00 王清培 阅读(928) 评论(0) 推荐(0) 编辑