上一页 1 2 3 4 5 6 ··· 26 下一页
摘要: 转载请备注出处: https://www.cnblogs.com/zhiyong-ITNote 微调框架概述 模型的微调有多种方式,对于入门的来说,一般都是基于官方的文档微调;最近发现很多开源库,其目的就是支持应用多种微调策略来微调模型,简化模型的微调门槛。比如 ChatGLM-Efficient- 阅读全文
posted @ 2024-03-15 14:12 又见阿郎 阅读(538) 评论(0) 推荐(1) 编辑
摘要: 基于ChatGLM-6B第一版,要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/ ChatGLMPreTrainedModel 官方的描述是 处理权重初始化的抽象类,以及下载和加载预训练模型的接 阅读全文
posted @ 2024-01-12 10:50 又见阿郎 阅读(588) 评论(0) 推荐(0) 编辑
摘要: 论文PDF地址:https://arxiv.org/pdf/2110.07602.pdf 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/ P-Tuning v2 摘录自第三部分 桔色块指代可训练的prompt embedding;蓝色块是由固定(冻结) 阅读全文
posted @ 2024-01-11 11:24 又见阿郎 阅读(454) 评论(0) 推荐(0) 编辑
摘要: 基于ChatGLM-6B第一版,要注意还有ChatGLM2-6B以及ChatGLM3-6B 转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/ PrefixEncoder 作用:在微调时(以P-Tuning V2为例),方法训练时冻结模型的全部参数,只激活 阅读全文
posted @ 2024-01-08 14:25 又见阿郎 阅读(619) 评论(0) 推荐(0) 编辑
摘要: 基于ChatGLM-6B第一版,要注意还有ChatGLM2-6B以及ChatGLM3-6B 概述 ChatGLM是transformer架构的神经网络模型,因此从transformer结构入手,分析其源码结构。 transformer结构: 转载请备注出处:https://www.cnblogs.c 阅读全文
posted @ 2024-01-06 17:26 又见阿郎 阅读(1064) 评论(0) 推荐(0) 编辑
摘要: 本文首先分析微调脚本trainer.sh的内容,再剖析ChatGLM是如何与Huggingface平台对接,实现transformers库的API直接调用ChatGLM模型,最后定位到了ChatGLM模型的源码文件。 脚本分析 微调脚本: PRE_SEQ_LEN=128 LR=2e-2 CUDA_V 阅读全文
posted @ 2024-01-03 14:57 又见阿郎 阅读(529) 评论(0) 推荐(0) 编辑
摘要: ChatGLM的部署,主要是两个步骤: 在Github上下载chatglm的库文件 在Hugging Face上下载模型参数与配置文件 ChatGLM包 从Github上看ChatGLM项目文件的结构来看,仅仅是包含三种部署方式的py代码与微调的py代码 而相关的实现细节,比如神经网络、激活函数、损 阅读全文
posted @ 2024-01-02 16:47 又见阿郎 阅读(681) 评论(0) 推荐(1) 编辑
摘要: 从Demo入手,了解Paimon/Flink项目搭建的全过程。记录下采坑之旅。 创建Flink项目 在IDEA中创建Flink项目,由于没有Flink的archetype,因此需要手动创建一下。 参考:idea快速创建flink项目,至此Flink的项目框架就搭建起来了。 注意:必须注释掉pom文件 阅读全文
posted @ 2023-12-29 09:27 又见阿郎 阅读(291) 评论(0) 推荐(1) 编辑
摘要: Partial Update 数据打宽 通过不同的流写不同的字段,打宽了数据的维度,填充了数据内容;如下所示: --FlinkSQL参数设置 set `table.dynamic-table-options.enabled` = `true`; SET `env.state.backend` = ` 阅读全文
posted @ 2023-12-28 14:12 又见阿郎 阅读(1575) 评论(1) 推荐(0) 编辑
摘要: 概述 如果表没有定义主键,则默认情况下它是仅追加 表类型(Append Only Table)。 根据桶(Bucket)的定义,我们有两种不同的仅追加模式:"Append For Scalable Table"和"Append For Queue";两种模式支持不同的场景,提供不同的功能。 只能向表 阅读全文
posted @ 2023-12-25 17:07 又见阿郎 阅读(446) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 26 下一页