会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
第七子007
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
9
10
···
22
下一页
2024年6月15日
LLM大模型: MOE/mixtral原理和源码解析
摘要: 1、古人云:闻道有先后,术业有专攻!每个人的能力范围是有限的,不可能360行,行行都精通!所以搞研究都会选一个细分领域深耕,争取在这个领域做到世界top级别的泰斗!一个团队,内部也都是在各个领域擅长的人组成,比如前端、ui、后端、算法、运维、运营等,大家互相配合,完成既定目标!本人多年前做传统的数据
阅读全文
posted @ 2024-06-15 15:41 第七子007
阅读(1508)
评论(0)
推荐(0)
2024年6月12日
LLM大模型: llama源码要点解读和调试(二)
摘要: 1、attention机制:这算是transformer架构最大的创新点了!利用attention机制,找到token之间的相似度(或则说距离),根据相似度调整token本身的embedding值,本质就是根据token的context调整自身的embedding值,这个思路非常符合人脑对语言和语义
阅读全文
posted @ 2024-06-12 23:07 第七子007
阅读(2336)
评论(1)
推荐(1)
2024年6月11日
LLM大模型: llama源码要点解读(一)
摘要: transformer火了之后,基于transformer架构的llama也火了,可能的原因: 来自meta,一线互联网大厂,质量有保证;自称70b参数的表现比chatGPT3还好(Llama 2:Open Foundation and Fine-Tuned Chat Models)! 可能会成为大
阅读全文
posted @ 2024-06-11 09:43 第七子007
阅读(3495)
评论(0)
推荐(0)
2024年5月25日
LLM大模型: 源代码语义相似度检测
摘要: 1、源代码相似度检测的用途很多,比如: 代码抄袭克隆 高危/漏洞代码检测 软件成分的分析 以往的字符串/文本方法简单粗暴:直接用字符串正则匹配或其变种(比如字符串的指纹、字符串的Levenshtein 编辑距离等)的方式检测,这种方式的缺点也很明显:抄袭者不会傻到直接ctrl+c、ctrl+v,或多
阅读全文
posted @ 2024-05-25 00:06 第七子007
阅读(2817)
评论(0)
推荐(1)
2024年5月20日
LLM大模型: GPT2 Lora微调尝试
摘要: 1、作为安全从业者,以前搞逆向、挖漏洞、干渗透全靠人工推进,缺点很明显: 无法自动化,甚至也无法半自动化,效率低(后续可以开发agent解决) 知识面有限,存在很多知识盲点,导致遇到部分问题无法解决(可以通过增加知识库,然后rag检索或微调大模型解决) 尝试了一些在线的大模型(chatGPT4、co
阅读全文
posted @ 2024-05-20 19:46 第七子007
阅读(1013)
评论(0)
推荐(1)
(xxxx)十四:实战协议分析
摘要: 1、xxxx的聊天通信协议是基于tls 1.3精简了一些握手的方法,官方的介绍在这:https://mp.weixin.qq.com/s/tvngTp6NoTZ15Yc206v8fQ ; 总的来说,这篇文章对xxxx协议做了总体的介绍。为了便于理解、抓住主脉络,我这里整理了整个协议的主干思路,如下:
阅读全文
posted @ 2024-05-20 10:55 第七子007
阅读(215)
评论(0)
推荐(0)
2022年10月6日
system desing 系统设计(十五):数据存储data storage和检索retrieval原理概述
摘要: 10年前,big data火遍全球,进而带动了数据存储的大发展!互联网大厂动辄数亿的DAU,每天带来了PB级别的新增数据;这么多数据,正确、快速的存储和精准、高效的查询/检索成了当务之急,由此带来了各种数据库的发展:有OLTP事务型的,有OLAP分析型的,也有专门做倒排检索(Elastic sear
阅读全文
posted @ 2022-10-06 23:21 第七子007
阅读(333)
评论(2)
推荐(0)
2022年8月28日
system desing 系统设计(十四): 文档协同编辑collaboration editing&springCloud微服务架构实现的抽象流程
摘要: 在线文旦都用过吧? 别人给个链接,用浏览器打开后,只要有相应的权限就能读写文档内容了!核心功能如下: 1、在线文档一般用的都是浏览器打开链接,而不是自己单独出个app,目的就是利用浏览器存量用户多的优势,降低用户触达和使用的门槛。既然是用浏览器,有两个问题需要解决: url该怎么设计了?既要方便传播
阅读全文
posted @ 2022-08-28 12:47 第七子007
阅读(1214)
评论(0)
推荐(1)
2022年8月27日
system desing 系统设计(十三): LBS/O2O服务系统设计
摘要: 自从十几年前智能机和MBB开始普及,移动互联网迎来了井喷式的发展,到现在人手一部智能手机。既然是移动互联网,基于LBS的O2O自然是非常重要的业务之一,国内的滴滴、美团、饿了么都用过吧?这些O2O的后台又是怎么设计的了? 1、(1)先来分析一下业务场景: • 第一阶段: • Driver repor
阅读全文
posted @ 2022-08-27 16:27 第七子007
阅读(518)
评论(0)
推荐(0)
2022年8月26日
system desing 系统设计(十二): IM聊天软件功能设计
摘要: 1、说到聊天IM,大家第一个想起的肯定是微信了!这种国民级别的APP,肯定人手一个账号,其界面的功能看着也简单: 登陆微信后首先有个list,列举了用户当前所有的会话;本想用session表示,但这个单词已经在http/https的cookie里面被使用了,为了防止混淆,这里用thread替代单个会
阅读全文
posted @ 2022-08-26 11:36 第七子007
阅读(1860)
评论(0)
推荐(0)
上一页
1
2
3
4
5
6
7
8
9
10
···
22
下一页
公告