随笔分类 - 实践记录
摘要:1. 任务目标 在 RTX 4090 主机上,将 Hugging Face 格式的 Qwen3-0.6B 模型转换为 TensorRT-LLM 的 Weight-Only 量化 checkpoint,然后将量化结果传输到 Jetson Orin NX 上构建 TensorRT Engine。 整体流
阅读全文
摘要:一、最终目录关系 整个流程会产生三类模型目录: Qwen3-0.6B/ ├── config.json ├── model.safetensors ├── tokenizer.json └── ... 这是从 Hugging Face 下载的原始模型,也是权重转换和量化的起点。 Qwen3-0.6B
阅读全文
摘要:其实我也不太知道我在干什么,因为这两天加班实在是有点昏头233 省流就是:因为一开始想兼容老项目,所以装了ubuntu22为基底的jetpack6.x 接下来就是一大堆版本不兼容,不支持qwen3,不支持量化这些 于是,在gpt的帮助下,大改了一通 包括kv cache、qvk投影层等 最终,是实现
阅读全文
摘要:# 在 RTX 4090 上部署 TensorRT-LLM 0.12.0 并完成 Qwen3-0.6B W4A16 量化记录 ## 1. 背景 本次目标是在 RTX 4090 主机上,使用 TensorRT-LLM 0.12.0 对 Qwen3-0.6B 进行 INT4 Weight Only 量化
阅读全文
摘要:也是玩skill玩了有一段时间了。 感受就是好用,agent发展有点太快了 从学期开始,接触到了真正的agent,claude openclaw等 然后就离不开了。 相比之下,去年我vibe出来的那个被称为agent的小网页不能说是小巫见大巫了只能说是小巫见大巫... 没多长时间就有了skill啊p
阅读全文
摘要:也算是组里的传统了,参加一下腾讯开悟的智能体比赛,大概忙活了半个月,成绩有但不多。 很遗憾没能冲出重围,但还是学习到了不少东西,习惯性记录一下,脸滚键盘说不上什么顺序逻辑。 0.赛题介绍 控制一个智能体,在地图中进行避障、躲避敌人、到达指定目标点的任务。 很经典的强化学习算法环境,作为从理论新手到工
阅读全文
摘要:v4发布剌!token大大大减价剌!又高智商又便宜的agent,感谢科技掌握在文明手中,感谢梁圣开源! ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 开始做项目以来,也是不得不用
阅读全文
摘要:在学习了一段时间基础之后,也就想进行一些工程实践 之前一直在倒立摆这个最简单的环境中进行学习和实践 有一说一是有点太简单了 上学期还在flappy bird环境中实现了一下简单的dqn和策略梯度 这不,马上要做个项目,于是就想在稍微复杂一点的环境里实现一下强化学习,顺便试试看ppo啥的效果 于是,想
阅读全文
摘要:说实话,本来这个大火的东西没有怎么引起我的注意,本以为又是一个大模型韭菜 自己折腾了半天,安装了一个,然后丢进去一个指令让它帮我查一下显存,花了半分钟才出结果 好像没什么大用,还花了1毛钱的deepseek tokens 然后就吃灰了两天 直到昨天,我折腾一个ai demo的时候搞不定老版本的库函数
阅读全文
摘要:这一个月陆陆续续的干了一个学长派的活,于是想记录一下 想来想去放在学习笔记里好像不怎么合适,因为一直在折磨ai,学的东西也用不太上 反正离睡觉还有个半个小时,还是想着记录以下 虽然大概我自己都不会翻第二次 那就新开一栏,记录一下整个项目的过程吧 先贴一下博客地址 arXiv 澡盆妙妙屋 0.项目描述
阅读全文
摘要:学校要求的大作业,微调一个视觉语言大模型,以解决相关问题。 终究还是躲不过跟大模型相爱相杀啊... 不过,简中互联网的资料真的是鱼龙混杂,咱也搞不清这些个框架怎么用,怎么微调,怎么跑 简单记录一下我作为大模型小白(只在线用过deepseek,用ollama部署过deepseek-7b自娱自乐过) 是
阅读全文
摘要:今天跟着学长来了解以下darknet的训练过程 首先前置需求就是darknet,darkmark(可视化寻训练工具),darkhelp 一、编译几个工具 首先修改makefile文件 GPU=1就是用gpu(不用我干嘛费那么大事装CUDA干啥) CUDNN=1同上(费大劲了) LIBSO=1是之后的
阅读全文
摘要:首先,给出要求(回想起了打oi时的博客形式) 给定一个有障碍的城市街道区域,里面随机分布着一些运动的恐怖分子(人),我们有6架无人机,需要规划路径和搜索方式,然后识别出恐怖分子并广播其坐标。 简化一下问题(真的很像) 就是说我要用6架无人机的运动来解决一个空间遍历问题(但又和空间遍历不很一样,题目不
阅读全文
摘要:因为需要在Ubuntu上跑镜像,原来还有些富余的存储空间一下子就不够了,只好从windows里分一些空间出去 1、第一步就是从windows中分出一块磁盘。 但是,这一步分出的磁盘在整个ubuntu的前面,也就是efi系统分区的前面,然鹅在windows里即使是diskgenuis也没办法挪分区的顺
阅读全文
摘要:好难好难,澡盆终于算是入门了pytorch 今天这篇博客主要说明环境配置部分。 1、NVIDIA驱动的安装 这个该死的驱动,整灭了我无数个ubuntu 不过不幸中的万幸就是其他的环境不算很难配置。 在ubuntu中找到软件与更新,并且找到Additional Drivers,在里面找到适合的驱动,注
阅读全文
摘要:因为学习需要,使用了Anaconda管理python包,因为不熟悉conda指令,每次都要百度,太麻烦了,正好在自己的博客里记录一下方便查阅吧 1、创建/删除虚拟环境 conda create --name 环境名称 pytohn==3.6 conda remove -n 环境名称 --all 2、
阅读全文
摘要:许久没有打开的博客园哇.... 咳咳! 本盆第一次参加机械院的比赛呢~ 竟然让我输得如此彻底... 总之,我们队伍俩人把机械制作能踩的坑都踩了个遍... 那么,就不在纠结比赛的结果了叭,来总结一下比赛的经历和学到的东西吧(不得不说,自己参加比赛学到的东西是真的多) 一、比赛经历 首先是比赛准备阶段,
阅读全文

浙公网安备 33010602011771号