liujunxi

摘要： 在上一篇博客中，我提出了Focal Loss机制，可以解决我的模型训练中，五个癌症亚型不均衡的问题 focal loss的标准公式是 \(CE(p_t) = -\log(p_t)\) Focal Loss 是基于二分类或多分类的预测概率定义的。假设 \(p\) 是模型预测样本属于目标类别的概率（经过 阅读全文

摘要： 将gigapath的分类数据从脑卒中换成了卵巢癌 这个卵巢癌的ovarian_cancer分类数据状况，是一个五分类任务，数据分布情况如下 可以看出数据分布不均，如果直接对分布不均的数据做逻辑回归，可能会导致分类效果不佳 为此我们采用了以下方法 我们手写了一个线性层来对模型进行分类,其实我说白了， 阅读全文

摘要： 最近初步探索了大模型的可解释性，有两块内容特别有收获，神经元多义性和模型稀疏化 想像一个理想的世界，所有的神经元都是单一意思的，比如说在一个动物识别模型中，我们可能找到一个猫咪神经元，当且仅当哈基米图像输入模型的时候才会激活，如果神经元都依赖这样的形式存在。这个模型的解释性就非常好，因为我们可以像检 阅读全文

摘要： 在一个预训练好的大模型中，通常会有一部分权重，他在大部分的问答中都是处于低激活，甚至几乎不激活的状态，这显然会浪费一部分显存和算力，在模型每次加载和传递的过程中。 为此，我们采用了大模型剪枝的方法，核心组件有两个，钩子（Hooks）和一套我们自己定义的目标剪枝（Targeted Pruning）策略 阅读全文

摘要： 和导师讨论暑假选题，最后在对病理模型gigapath进行模型量化(float16->float8)和模型蒸馏中选择了模型蒸馏 开始查怎么部署蒸馏脚本 一.首先关注我们的gigapath模型，他是由两个部分组成 1.tile_encoder 1）它是啥： 这个模型是一个小图片的切片编码器，数据来源是将 阅读全文

摘要： GigaPath全切片病理学基础模型知识蒸馏战略框架 1. GigaPath架构基础解析：识别可蒸馏的知识界面 设计有效的知识蒸馏策略，其前提是深入解构教师模型的内部机制，以识别可供提取和迁移的多种知识形式。本节将对GigaPath模型进行剖析，理解其核心组件，为后续的蒸馏方案奠定基础。 1.1. 阅读全文

摘要： FastGlioma简介 这是啥 这是一种视觉基础模型，用于快速 （<10 s） 和准确检测新鲜、未加工手术组织中的神经胶质瘤浸润。 有啥意义 手术后残留肿瘤的问题很严重，对其的治疗成本很高，这个模型可以检测患者床边的新鲜、未加工、未标记的手术组织 https://fastglioma.mlins. 阅读全文

摘要： 对高维度向量进行分类，首先我们会考虑使用knn分类 建立一个knn分类器，我们目的分类数为2，设置k=3，创建分类模型，进行预测 代码示例如下 import numpy as np from collections import Counter class KNNClassifier: def __ 阅读全文

摘要： 寒假前主要遇到的问题 寒假前主要遇到的是在最后一个pt的张量处理的时候会出现矩阵大小不同，无法相乘的问题 pt文件处理代码 import torch import os def process_and_save_embeddings(input_dir, output_dir, target_dim 阅读全文

摘要： 具体解决的问题 该论文解决了癌症诊断和预后预测中病理图像分析的泛化性问题。传统的人工智能病理图像分析方法通常针对特定任务设计，存在以下主要问题： 依赖于大量标注数据，难以处理多种癌症类型或不同病理实验室生成的图像。 泛化能力差，容易受图像来源、扫描仪和处理方法的影响。 论文提出了一种名为“CHIEF 阅读全文