ziy123

摘要： A Survey on Multimodal Large Language Models（多通道大型语言模型研究综述） 一、论文结构 在多模态大模型 MLLM 里，它相当于模型的“眼睛/耳朵”。论文中也把典型 MLLM 架构概括为三部分：预训练模态编码器、预训练大语言模型 LLM，以及连接二者的 m 阅读全文

摘要： 位置编码 1、旋转矩阵 2、层归一化公式 3、Deit_tiny网络的核心张量追踪（Tensor Tracking）解析 一句话直接回答你：在添加位置编码的这一步操作本身，张量的维度（Shape）是完全没有变化的。这是一个逐元素相加（Element-wise Addition）的过程。 真正让序列长 阅读全文

摘要： 入门教学（虽然本人可能还算不上入门） 一、基础篇（下面两点可并行学习） 1、了解神经网络 首推台大李宏毅课程，李宏毅老师的课程偏理论部分，但是背后的数学逻辑讲解的很细致，可以挑着看，基础过完会对神经网络有一定的理解后可以挑后面的复杂神经网络看，尤其是Transformer。 了解完神经网络后可以看李 阅读全文

摘要： SmolVLM-500M模型部署思路 一、模型结构 详情见上篇博客 二、模型部署任务 初步打算FPGA做端侧加速，主体模型框架部署在PS端，权重数据部分固化在PL侧，其余部分仿真ps的ddr通过AXI总线传输。 任务一 部署PS侧框架，参考llama.cpp的demo，可以支持python/c语言等 阅读全文

摘要： SmolVLM-256M-Instruct 一、模型结构 视觉模型 (Vision Model): Idefics3VisionTransformer (一个类似 ViT 的结构)，负责将输入图像编码成一系列视觉特征向量。 连接器 (Connector): Idefics3Connector (包含 阅读全文

摘要： 一、带宽怎么测 将之前的Block0的.bit和.hwh传输到开发板。 首先Jupyter执行以下命令可以打印block0.bit包含的IP有哪些。 from pynq import Overlay overlay = Overlay("block0.bit") print(overlay.ip_d 阅读全文

摘要： 参考链接 任意边缘设备部署大语言模型 一、部署模型 step.01：从github仓库下载llama.cpp项目源码 git clone https://github.com/ggml-org/llama.cpp step.02：编译llama.cpp项目源码 cmake -B build cmak 阅读全文

摘要： 参考链接 一、官网烧录ubuntu镜像，最好是Ubuntu Desktop 20.04.3 LTS 镜像下载选择zynq-ultrascale，找到zcu102，下载完成解压。 然后使用Win32DiskImage制作镜像写入到SD卡。 之后需要将开发板通过网口连接到电脑，需要修改对应网卡的子网掩码 阅读全文

摘要： Attention的IP核FPGA验证 1、创建工程，生成HLS对应IP核 添加ip代码文件 ./src文件夹下是注意力计算IP的所有的子模块，包括所需Softmax，layernorm等，全部添加到工程内，然后加入该目录下的文件./case/ATTN0.cpp。这个模块是第一层注意力机制模块对应的 阅读全文