摘要: 汇总一下,自己写的博客分类,方便自己日常的学习与积累。 AI LLM 聊聊心理医疗领域大模型的落地思考 聊聊大模型微调训练全流程的思考 聊聊ChatGLM-6B医疗数据微调 聊聊大模型的微调实现及其应用 GLM及其相关系列 聊聊ChatGLM-6B源码分析(二) 聊聊ChatGLM中P-tuning 阅读全文
posted @ 2023-12-10 12:53 又见阿郎 阅读(77) 评论(0) 推荐(1) 编辑
摘要: 从现今与今后的发展来看,单一的业务不再仅仅依靠于传统的技术开发,而是应该结合AI模型来应用、实践。只有这样,才能更数智化,更高效化,更贴合时代的发展。 魔塔 社区就类似国外的Hugging Face,是一个模型即服务的运行平台。在这个平台上运行着很多的大模型示例,网站直接提供了试运行的环境,也可以下 阅读全文
posted @ 2023-11-11 22:58 又见阿郎 阅读(413) 评论(0) 推荐(2) 编辑
摘要: 随着AI模型的普及应用与高速发展,主要的云厂商与AI大厂提供了对应的服务支持,使得业务的应用可以轻松对接AI算法,使其在实际项目中落地。 我个人也是极度推崇在项目中应用AI算法更轻松更数智化的兑现功能。 虽然AI门槛很高,但随着时间的推移与AI模型的发展,我相信对于普通的程序猿来说,还是可以入手且实 阅读全文
posted @ 2023-07-22 19:14 又见阿郎 阅读(496) 评论(0) 推荐(0) 编辑
摘要: 概述 Github官方地址:GLM-4 网上已经有很多关于微调的文章,介绍各种方式下的使用,这里不会赘述。我个人比较关心的是微调时的loss计算逻辑,这点在很多的文章都不会有相关的描述,因为大多数人都是关心如何使用之类的应用层,而不是其具体的底层逻辑,当然咱也说不清太底层的计算。 可了解其它loss 阅读全文
posted @ 2024-06-12 10:21 又见阿郎 阅读(165) 评论(0) 推荐(1) 编辑
摘要: 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote 概述 自然语言处理NLP任务的实现,相比较以前基于传统机器学习算法实现方法,现在越来越集中使用大模型来实现。 通过——数据标注-模型训练-模型调优/微调-模型压缩-预测部署的大模型流程,覆盖NLP多场景满足 阅读全文
posted @ 2024-04-22 08:42 又见阿郎 阅读(295) 评论(0) 推荐(0) 编辑
摘要: 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote 概述 在做微调训练时,鉴于业务场景的需要,可能会存在微调数据集中含有敏感词汇,譬如:自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象,而我遇到的是,当我输入敏感词汇时,模 阅读全文
posted @ 2024-04-16 10:03 又见阿郎 阅读(668) 评论(0) 推荐(0) 编辑
摘要: 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote 背景 目前在公司内部4张A10的GPU服务器上部署了ChatGLM3开源模型;然后部署了官方默认的web_demo、api_demo两种模式;重新设计了前端,支持H5和安卓两个客户端调用。但却发现了不能并发 阅读全文
posted @ 2024-04-09 10:29 又见阿郎 阅读(444) 评论(1) 推荐(1) 编辑
摘要: 转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote SSE:Server Sent Event;服务器发送事件。 Server-Sent Events(SSE)是一种由服务器向客户端推送实时数据的技术。它是构建基于事件的、服务器到客户端的通信的一种方法,特别 阅读全文
posted @ 2024-03-27 19:46 又见阿郎 阅读(426) 评论(1) 推荐(0) 编辑
摘要: 转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote 多模态:文本、音频、视频、图像等多形态的展现形式。 目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下,审视下多模态大模型的实现方式。 首先就要区分输入与输出,即输入的模态 阅读全文
posted @ 2024-03-26 17:08 又见阿郎 阅读(278) 评论(0) 推荐(0) 编辑
摘要: 转载请注明住处:https://www.cnblogs.com/zhiyong-ITNote 概述 ShareGPT格式的数据集中,一般是如下格式: [ { "conversations": [ { "from": "human", "value": "I saw a dress that I li 阅读全文
posted @ 2024-03-25 09:59 又见阿郎 阅读(652) 评论(0) 推荐(0) 编辑
摘要: 转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote 近来,工作偏向于心理医疗领域方面的大模型,仅从领域大模型的落地,聊聊个人的一些思考。 硬件 准备好花钱买GPU。 领域大模型 业务场景的思考 首先需要审视斟酌业务领域的特殊性与可行性,我们要做的是心理领域, 阅读全文
posted @ 2024-03-20 21:36 又见阿郎 阅读(347) 评论(0) 推荐(1) 编辑
摘要: 转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote 参考现有的中文医疗模型:MedicalGPT、CareGPT等领域模型的训练流程,结合ChatGPT的训练流程,总结如下: 在预训练阶段,模型会从大量无标注文本数据集中学习领域/通用知识;其次使用{有监督微 阅读全文
posted @ 2024-03-18 16:16 又见阿郎 阅读(845) 评论(2) 推荐(1) 编辑
摘要: 转载请注明出处: https://www.cnblogs.com/zhiyong-ITNote/ 参考了多个医疗大模型,如扁鹊、灵心等,重新思考了下微调的方案以及数据集的格式;基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架,审视其数据集格式,以及调试效果,进行微调。 最终基于liu 阅读全文
posted @ 2024-03-16 09:50 又见阿郎 阅读(649) 评论(2) 推荐(1) 编辑