摘要: 概览 llama.cpp 自带转化工具,把 safetensor 格式的模型文件转化为 gguf 格式,方便用 cpu 进行推理。 需要注意的是,必须连带下载和 safetensor 格式相关的一些配置文件,故转化文件对准的是一个目录。 但同时还要注意,有时模型作者为同一个模型保存了多种框架应用的模 阅读全文
posted @ 2024-07-17 21:30 立体风 阅读(2467) 评论(0) 推荐(0)
摘要: 由来 LD_LIBRARY_PATH 这个环境变量的名字来源于 Unix 和 Linux 系统中动态链接器(Dynamic Linker)的命名约定,这里的 "LD" 实际上是 "Loader" 的缩写,特指动态链接器。动态链接器负责在程序运行时解析和加载共享库(动态链接库)。 在 Unix 和 L 阅读全文
posted @ 2024-07-17 15:39 立体风 阅读(3437) 评论(0) 推荐(0)