liujunxi

摘要： 最近初步探索了大模型的可解释性，有两块内容特别有收获，神经元多义性和模型稀疏化 想像一个理想的世界，所有的神经元都是单一意思的，比如说在一个动物识别模型中，我们可能找到一个猫咪神经元，当且仅当哈基米图像输入模型的时候才会激活，如果神经元都依赖这样的形式存在。这个模型的解释性就非常好，因为我们可以像检 阅读全文

摘要： 在一个预训练好的大模型中，通常会有一部分权重，他在大部分的问答中都是处于低激活，甚至几乎不激活的状态，这显然会浪费一部分显存和算力，在模型每次加载和传递的过程中。 为此，我们采用了大模型剪枝的方法，核心组件有两个，钩子（Hooks）和一套我们自己定义的目标剪枝（Targeted Pruning）策略 阅读全文

摘要： 和导师讨论暑假选题，最后在对病理模型gigapath进行模型量化(float16->float8)和模型蒸馏中选择了模型蒸馏 开始查怎么部署蒸馏脚本 一.首先关注我们的gigapath模型，他是由两个部分组成 1.tile_encoder 1）它是啥： 这个模型是一个小图片的切片编码器，数据来源是将 阅读全文

摘要： GigaPath全切片病理学基础模型知识蒸馏战略框架 1. GigaPath架构基础解析：识别可蒸馏的知识界面 设计有效的知识蒸馏策略，其前提是深入解构教师模型的内部机制，以识别可供提取和迁移的多种知识形式。本节将对GigaPath模型进行剖析，理解其核心组件，为后续的蒸馏方案奠定基础。 1.1. 阅读全文

摘要： FastGlioma简介 这是啥 这是一种视觉基础模型，用于快速 （<10 s） 和准确检测新鲜、未加工手术组织中的神经胶质瘤浸润。 有啥意义 手术后残留肿瘤的问题很严重，对其的治疗成本很高，这个模型可以检测患者床边的新鲜、未加工、未标记的手术组织 https://fastglioma.mlins. 阅读全文

摘要： 对高维度向量进行分类，首先我们会考虑使用knn分类 建立一个knn分类器，我们目的分类数为2，设置k=3，创建分类模型，进行预测 代码示例如下 import numpy as np from collections import Counter class KNNClassifier: def __ 阅读全文

摘要： 寒假前主要遇到的问题 寒假前主要遇到的是在最后一个pt的张量处理的时候会出现矩阵大小不同，无法相乘的问题 pt文件处理代码 import torch import os def process_and_save_embeddings(input_dir, output_dir, target_dim 阅读全文

摘要： 具体解决的问题 该论文解决了癌症诊断和预后预测中病理图像分析的泛化性问题。传统的人工智能病理图像分析方法通常针对特定任务设计，存在以下主要问题： 依赖于大量标注数据，难以处理多种癌症类型或不同病理实验室生成的图像。 泛化能力差，容易受图像来源、扫描仪和处理方法的影响。 论文提出了一种名为“CHIEF 阅读全文

摘要： 0.0 什么是gigapath gigapath是一个由微软开发的数字病理学全玻片基础模型，用于从高分辨率图像（如病理切片图像）中提取和处理信息的深度学习模型架构。 图中分为abc三个部分 a 首先输入一张高清的病理图像，我们将它拆分成256*256的图像切片，从而可以逐块处理。 每个图像块会被输入 阅读全文

摘要： 这篇论文主要介绍了一种名为"Robust mapping of spatiotemporal trajectories and cell-cell interactions in healthy and diseased tissues"的新方法，该方法能够在健康和疾病组织中对细胞过程进行可靠的映射 阅读全文