摘要: An intuitive introduction to text embeddings (收集于 2024-03-02) How does the (decoder-only) transformer architecture work? (收集于 2024-03-03) Large langua 阅读全文
posted @ 2024-03-03 18:10 dudu 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 学习材料:Quick intro to Kernel Memory: install, upload a doc, ask a question 创建控制台项目 dotnet new console dotnet add package Microsoft.KernelMemory.Core 创建 阅读全文
posted @ 2024-03-03 10:22 dudu 阅读(32) 评论(6) 推荐(0) 编辑
摘要: Semantic Kernel 的 Memory 有两种实现,一个是 Semantic Kernel 内置的 Semantic Memory,一个是独立的 Kernel Memory,Kernel Memory 是从 Semantic Kernel 进化而来。 关于 Semantic Memory 阅读全文
posted @ 2024-02-27 16:47 dudu 阅读(60) 评论(0) 推荐(1) 编辑
摘要: 在一个 Semantic Kernel plugin 中可以创建两种类型的 function,分别是 native function 与 prompt function(之前叫 semantic function)。 下面这款 plugin 中给 C# method 添加了 [KernelFunct 阅读全文
posted @ 2024-02-24 12:59 dudu 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 学习材料 Microsoft Semantic Kernel – Some Tips & Tricks To Get Rendered Prompts Templatizing your prompts Semantic Kernel 源码中的示例 Example76_Filters 准备 .NET 阅读全文
posted @ 2024-02-20 19:40 dudu 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 前天尝试通过 one-api + dashscope(阿里云灵积) + qwen(通义千问)运行 Semantic Kernel 插件(Plugin) ,结果尝试失败,详见前天的博文。 今天换一种方式尝试,选择了一个旁门左道走走看,看能不能在不使用大模型的情况下让 Semantic Kernel 插 阅读全文
posted @ 2024-02-19 17:25 dudu 阅读(490) 评论(0) 推荐(3) 编辑
摘要: 原本打算通过 OpenAIChatCompletionService + one-api + DashScope + qwen-max(通义千问千亿级大模型)运行一个非常简单的 Semantic Kernel plugin,却没有成功,不确定是 one-api 还是 DashScope(阿里云模型服 阅读全文
posted @ 2024-02-17 19:33 dudu 阅读(150) 评论(0) 推荐(0) 编辑
摘要: one-api 相当于是一个兼容 OpenAI api 的 api 网关(针对 api 的反向代理),借助 one-api 可以通过已有的 OpenAI 客户端调用非 OpenAI 大模型的 api,比如通义千问。 DashScope 是阿里云提供的模型服务灵积的英文名称,这里通过调用 DashSc 阅读全文
posted @ 2024-02-16 12:07 dudu 阅读(233) 评论(0) 推荐(1) 编辑
摘要: Semantic Kernel 内置的 IChatCompletionService 实现只支持 OpenAI 与 Azure OpenAI,而我却打算结合 DashScope(阿里云模型服务灵积) 学习 Semantic Kernel。 于是决定自己动手实现一个支持 DashScope 的 Sem 阅读全文
posted @ 2024-02-13 15:52 dudu 阅读(200) 评论(1) 推荐(3) 编辑
摘要: 在昨天的博文中,我们通过 Semantic Kernel 调用了自己部署的通义千问开源大模型,但是自己部署通义千问对服务器的配置要求很高,即使使用抢占式按量实例,每次使用时启动服务器,使用完关闭服务器,也比较麻烦,而且越高级的大模型对服务器的配置越高。所以昨天的博文中使用了很低级的 Qwen-7B- 阅读全文
posted @ 2024-02-11 14:55 dudu 阅读(608) 评论(3) 推荐(8) 编辑
摘要: 春节之前被 Semantic Kernel 所吸引,开始了解它,学习它。为了方便学习与体验以及写代码实践 Semantic Kernel,打算自己部署一个对中文友好的开源大模型,于是选择了通义千问。根据通义千问开源仓库中的 README,经过一番折腾,终于部署成功,紧接着就是尝试通过 Semantic Kernel 与自己部署的通义千问进行对话 阅读全文
posted @ 2024-02-10 13:28 dudu 阅读(477) 评论(0) 推荐(6) 编辑
摘要: 准备服务器 阿里云云服务器 实例规格:轻量级 GPU 实例 ecs.vgn6i-m4-vws.xlarge(4vCPU 23GiB) 磁盘空间 :50G 操作系统:Ubuntu 22.04 安装 docker apt install docker.io 安装 NVIDIA GRID 驱动 acs-p 阅读全文
posted @ 2024-02-09 17:58 dudu 阅读(252) 评论(0) 推荐(0) 编辑
摘要: 实例规格:轻量级 GPU 实例 vgn6i-vws / ecs.vgn6i-m4-vws.xlarge(4vCPU 23GiB) 操作系统:Ubuntu 22.04 第一部分:尝试失败的安装方法 查询 NVIDIA 产品型号 lspci | grep -i nvidia 输出 00:07.0 VGA 阅读全文
posted @ 2024-02-06 19:19 dudu 阅读(80) 评论(0) 推荐(0) 编辑
摘要: 第1步,准备一台阿里云4核8G的服务器,操作系统用的是 ubuntu 22.04;第2步,签出 llama.cpp 源码进行 build;第3步,下载 4-bit 版本的 Vicuna-7B 模型,文件大小是3.6G;第4步,使用这个模型输入提示词 `Tell me about cnblogs`;第5步,下载 8-bit 版本的 Vicuna-7B 模型,文件大小是6.7G 阅读全文
posted @ 2023-07-30 22:54 dudu 阅读(869) 评论(3) 推荐(0) 编辑
摘要: 月9日晚上的一次发布中遇到一个非常奇怪的问题,发布前在 staging 环境测试正常,发布到生产环境后发现所有 ViewComponent 都输出为空(没有任何内容)。生产环境与 staging 环境的不同之处是生产环境生成容器镜像时预编译了 razor 视图文件。 阅读全文
posted @ 2023-03-11 15:59 dudu 阅读(318) 评论(0) 推荐(2) 编辑
摘要: 我们有一个部署在 k8s 上的应用被一个健康检查问题困扰多年,每次发布时由于健康检查(readiness probe)失败,pod 要被重启很多次,快的话要等半小时到1小时 pod 才能启动成功,慢的话要等几小时甚至十几个小时,最近一次最夸张,pod 重启了2天才启动成功,重启了300多次。 阅读全文
posted @ 2023-02-28 08:34 dudu 阅读(1424) 评论(2) 推荐(3) 编辑
摘要: 次升级是从 `15.8.3` 升级至 `15.9.1` ,升级过程中卡在 `gitlab::database_migrations` 很长时间,在卡住的过程中,centos 系统中一直有个 `bundle` 进程在运行。等了一段时间后看不到进展,于是 control + c 强制结束安装并通过下面的命令尝试降级回 `15.8.3` 阅读全文
posted @ 2023-02-25 16:37 dudu 阅读(863) 评论(0) 推荐(0) 编辑
摘要: 今天在一个 ASP.NET Core 7.0 的项目中遇到反射时 "Could not load file or assembly" 的问题,build 时没问题,运行时出现异常"Unable to load one or more of the requested types.",找不到的程序集是 `Cnblogs.UCenter.DTO` 程序集所依赖的 阅读全文
posted @ 2023-02-03 15:06 dudu 阅读(637) 评论(0) 推荐(0) 编辑
摘要: 今天在写单元测试代码中依赖注入部分时在网上找了找,看有没有对应的开源好库,结果发现了 Xunit.Microsoft.DependencyInjection,现学现用体验了一下,感觉味道不错,在这篇博文中简单记录一下。添加继承自 `TestBedFixture` 的自定义 fixture `BlogClientFixture`,向依赖注入容器注册服务的方法在 `AddServices` 重载方法中添加。 阅读全文
posted @ 2023-01-31 17:06 dudu 阅读(153) 评论(0) 推荐(1) 编辑
摘要: 最近园子在部署 IPv6 时遇到了一个非常奇怪的 dns 解析问题,当给非 www 二级域名(比如 q.cnblogs.com)添加 AAAA(IPv6) 记录后,部分用户访问 q.cnblogs.com 时会被错误地解析为 www.cnblogs.com 对应的 IPv4 地址,去掉 AAAA 解析就恢复正常。为了对付这个不可控的奇怪问题,我们采用了一个将错就错的变通方法 阅读全文
posted @ 2023-01-19 19:35 dudu 阅读(240) 评论(0) 推荐(1) 编辑