摘要: 本篇博客附有系列内所有博客的链接,会随着课程的进行更新。 阅读全文
posted @ 2018-02-26 23:11 HongmingYou 阅读(2096) 评论(0) 推荐(1) 编辑
摘要: 本文成文于11月底,openai devday之后 背景:OpenAI最近放出了Devday的闭门会视频,其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的,本文对这次分享做摘要。 视频: 阅读全文
posted @ 2023-11-30 13:21 HongmingYou 阅读(701) 评论(0) 推荐(1) 编辑
摘要: 面向大模型的全参数finetune 需要很高的计算消耗和存储成本,学界开始探索参数高效的微调方法。LoRA就是其中的代表,他在原始的Transformer模型上插入少量的参数,只训练增量的参数就能达到与全参数finetune相同/更优的效果 阅读全文
posted @ 2023-11-01 12:06 HongmingYou 阅读(1082) 评论(0) 推荐(0) 编辑
摘要: 核心宗旨:基于ResNet-50的结构,参考Swin-Transformer的思想进行现代化改造,直到卷积模型超过trans-based方法的SOTA效果。 启发性结论:架构的优劣差异没有想象中的大,在同样的FLOPs下,不同的模型的性能是接近的。 意义:这篇文章可以作为很好的索引,将一些从卷积网络演进过程中的重要成果收录,适合新手。 阅读全文
posted @ 2022-04-24 16:03 HongmingYou 阅读(1385) 评论(0) 推荐(3) 编辑
摘要: 论文题目:Beyond OCR + VQA: Involving OCR into the Flow for Robust and Accurate TextVQA 论文链接:https://dl.acm.org/doi/abs/10.1145/3474085.3475606 一、任务概述 视觉问答 阅读全文
posted @ 2021-11-26 01:03 HongmingYou 阅读(628) 评论(0) 推荐(0) 编辑
摘要: 2021年是很值得纪念的一年,从上半年开始跟随导师编写有关华为昇腾软件栈CANN的教材,一年的时间反复迭代 终于快要出版了。 这一系列博客可以视作我从编者的角度,重新梳理的全书思路。明年入职商汤之后要做国产化相关的工作,还是要跟华为昇腾打交道,把脑中的知识记录下来以备将来使用。 打开昇腾的官网,就能 阅读全文
posted @ 2021-11-21 17:32 HongmingYou 阅读(2028) 评论(0) 推荐(0) 编辑
摘要: 我在2021年3月份来到了字节跳动的火山引擎部门,担任智能美化特效CVsdk的产品实习生。这段实习中认识了很棒的mentor,很可爱的同事,这是一段很快乐的时光! 实习结束了,我也来到了新的公司。总想为上半年留下点什么,正好碰到朋友约稿写一写AI落地的小行业,就动笔写了这篇博文,经过改编后将会发到朋 阅读全文
posted @ 2021-09-30 13:01 HongmingYou 阅读(467) 评论(0) 推荐(0) 编辑
摘要: Github: https://github.com/IntuitionMachines/OrigamiNet 论文链接:https://arxiv.org/abs/2006.07491 Introduction 任务特点:篇章文本识别,文本识别与文本分割相耦合 相关工作: 基于分割/无需分割方法, 阅读全文
posted @ 2021-06-07 09:15 HongmingYou 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 本系列博客内容均进行了脱敏处理,对于典型问题的相关处理经验可供其他开发者参考 项目背景介绍 为了满足当今飞速发展的深度神经网络对芯片算力的需求,华为公司于2018年推出了昇腾系列AI处理器,这一系列芯片的算力担当是使用达芬奇架构的AI Core,它能够对INT8 INT4 FP16进行高性能的计算。 阅读全文
posted @ 2021-03-13 14:36 HongmingYou 阅读(730) 评论(0) 推荐(0) 编辑
摘要: 论文原文、翻译稿、PPt:https://1drv.ms/u/s!Ak-jGl23kTuMimOZzV-MyLQUYmsN?e=DL1xHD 阅读全文
posted @ 2020-10-17 22:15 HongmingYou 阅读(260) 评论(1) 推荐(0) 编辑
摘要: pathlib 对象化路径管理,配合动态库解决import依赖 当import导入模块式,默认情况下python解析器遍历存放在sys.path中的搜索路径,在写代码时可以使用动态引用,配合pathlib对象化的管理文件系统路径,如: import os import sys import path 阅读全文
posted @ 2020-07-03 03:15 HongmingYou 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 本科阶段学了三四遍的HMM,机器学习课,自然语言处理课,中文信息处理课;如今学研究生的自然语言处理,又碰见了这个老熟人; 虽多次碰到,但总觉得一知半解,对其了解不够全面,借着这次的机会,我想要直接搞定这个大名鼎鼎的模型,也省着之后遇到再费心。 Outline 模型引入与背景介绍 从概率图讲起 贝叶斯 阅读全文
posted @ 2019-12-24 22:56 HongmingYou 阅读(834) 评论(0) 推荐(0) 编辑
摘要: 2020-06-19这篇文章是我学习 软件架构与中间件 课程时分享的论文。可以说,这篇文章塑造了我基本的科研观,也养成了我如今看论文的习惯。感谢老师们,也感谢恒恒对我的帮助。 论文地址: https://ieeexplore.ieee.org/document/8417151 一、 对问题的概述 1 阅读全文
posted @ 2019-12-11 14:43 HongmingYou 阅读(703) 评论(1) 推荐(1) 编辑
摘要: 懒得转成文字再写一遍了,直接把做过的PPT放出来吧。 论文连接:https://arxiv.org/abs/1804.09003 阅读全文
posted @ 2019-12-11 14:20 HongmingYou 阅读(963) 评论(0) 推荐(0) 编辑
摘要: 毕设进了图网络的坑,感觉有点难,一点点慢慢学吧,本文方法是《Rethinking Table Recognition using Graph Neural Networks》中关系建模环节中的主要方法。 ## 概述 本文是对经典的PointNet进行改进,主要目标是设计一个可以直接使用点云作为输入的 阅读全文
posted @ 2019-11-15 23:40 HongmingYou 阅读(4435) 评论(1) 推荐(0) 编辑
摘要: InceptionV1 论文原文:Going deeper with convolutions 中英文对照 InceptionBN 论文原文:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Co 阅读全文
posted @ 2019-07-16 22:00 HongmingYou 阅读(1776) 评论(0) 推荐(0) 编辑
摘要: 在前文中,我们介绍了LeNet的相关细节,它是由两个卷积层、两个池化层以及两个全链接层组成。卷积都是5*5的模板,stride =1,池化为MAX。整体来说它有三大特点:局部感受野,权值共享和池化。2012年ALex发布了AlexNet,他比LeNet5更深,而且可以学习更复杂的图像高维特征。接下来 阅读全文
posted @ 2019-07-16 12:42 HongmingYou 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 转自深度学习知识框架,小象牛逼! 图片来自小象学院公开课,下面直接解释几条线 神经网络 线性回归 (+ 非线性激励) → 神经网络 有线性映射关系的数据,找到映射关系,非常简单,只能描述简单的映射关系 大部分关系是非线性的,所以改进方法就是加一个非线性激励,某种程度是一个 NORMALIZE,但是是 阅读全文
posted @ 2019-07-16 12:18 HongmingYou 阅读(277) 评论(0) 推荐(0) 编辑
摘要: 手写字体识别模型LeNet5诞生于1994年,是最早的卷积神经网络之一。原文地址为Gradient-Based Learning Applied to Document Recognition,感谢网络中各博主的讲解,尤其是该博客,帮助我的理解,感谢。 Model详解 C1 6@28×28 S2 6 阅读全文
posted @ 2019-07-11 01:08 HongmingYou 阅读(3727) 评论(0) 推荐(0) 编辑
摘要: 终于有了2个月的空闲时间,给自己消化沉淀,希望别有太多的杂事打扰。在很多课程中,我都学过卷积、池化、dropout等基本内容,但目前在脑海中还都是零散的概念,缺乏整体性框架,本系列博客就希望进行一定的归纳和梳理,谋求一个更清晰的思路。 ## Outline 卷积 tensorflow-conv 池化 阅读全文
posted @ 2019-07-10 13:56 HongmingYou 阅读(1246) 评论(0) 推荐(0) 编辑
摘要: 本文主要是记录配置tf环境和虚拟机时遇到的问题和方法,方便日后再查找(补前三年欠下的技术债) 宿主机环境:win10 64位 宿主机python: anaconda+python3.6 宿主机tensorflow-gpu:cuda10.1.105 + cudnn 7.6.0 + tensorflow 阅读全文
posted @ 2019-07-01 12:32 HongmingYou 阅读(1118) 评论(0) 推荐(0) 编辑
摘要: 如果一个查询同时涉及两个以上的表,则称之为链接查询,链接查询是关系数据库中最主要的查询,主要包括等值链接查询、非等值链接查询、自身链接查询、外链接查询和复合条件链接查询。 这篇博文我们来对多表链接进行学习。 Outline 链接的基本概念 Oracle自有的链接方法 等值链接 非等值链接 自身链接 阅读全文
posted @ 2018-07-19 10:27 HongmingYou 阅读(287) 评论(0) 推荐(0) 编辑
摘要: SQL函数 SQL是用于访问和处理数据库的标准的计算机语言,我们所使用的的是Oracle SQL 一个数据库通常包含一个或多个表,每个表有一个名字表示,下图即为一个名为“emp”的表,接下来的操作都将基于以下的表进行 ## 字符函数 字符函数:主要指参数类型是字符型,不同函数返回值可能是字符型或数值 阅读全文
posted @ 2018-07-18 11:19 HongmingYou 阅读(321) 评论(0) 推荐(0) 编辑
摘要: SQL select 及相关操作 SQL是用于访问和处理数据库的标准的计算机语言,我们所使用的的是Oracle SQL 一个数据库通常包含一个或多个表,每个表有一个名字表示,下图即为一个名为“emp”的表,接下来的操作都将基于以下的表进行 SQL select 及相关操作 下述为select语法,注 阅读全文
posted @ 2018-07-16 17:03 HongmingYou 阅读(446) 评论(0) 推荐(0) 编辑
摘要: Outline 动态规划原理 编号动态规划:最大不下降子序列 划分动态规划:矩阵链乘、凸多边形三角剖分 数轴动态规划:0-1背包 前缀动态规划:最长公共子序列 树形动态规划:最优二分搜索树 Notes ## 动态规划原理 基本思想:问题的最优解如果可以由子问题的最优解推导得到,则可以先求解子问题的最 阅读全文
posted @ 2018-06-26 16:41 HongmingYou 阅读(110691) 评论(0) 推荐(10) 编辑
摘要: 为了方便阅读和复习,转载至此,原地址:温布利往事的博客 阅读目录 一、Comparable简介 二、Comparator简介 三、Comparable和Comparator区别比较 为了方便阅读和复习,转载至此,原地址:温布利往事的博客 阅读目录 一、Comparable简介 二、Comparato 阅读全文
posted @ 2018-06-23 19:41 HongmingYou 阅读(416) 评论(0) 推荐(0) 编辑
摘要: 【考点 Equals】 ==是引用等价性 ;而equals()是对象等价性。 == 比较的是索引。更准确的说,它测试的是指向相等(referential equality)。如果两个索引指向同一块存储区域,那它们就是==的。对于我们之前提到过的快照图来说,==就意味着它们的箭头指向同一个对象。 eq 阅读全文
posted @ 2018-06-22 19:16 HongmingYou 阅读(1294) 评论(0) 推荐(1) 编辑
摘要: 设计模式 在课程中,我们陆续学习了全部的24种设计模式,在实验中也用到了工厂模式、抽象工厂模式、策略模式等内容;在课程的考试中,我们也将使用制定的设计模式对代码进行优化,为了更好的理解设计模式,转发本篇斯认为质量较好的博文,希望能对设计模式有更明晰的认识。 转自: 设计模式大杂烩(24种设计模式的总 阅读全文
posted @ 2018-06-22 00:52 HongmingYou 阅读(316) 评论(0) 推荐(0) 编辑
摘要: VCS SCM Git的不同工作区域,版本分支、版本图 阅读全文
posted @ 2018-06-21 20:00 HongmingYou 阅读(1021) 评论(0) 推荐(0) 编辑
摘要: Outline 分治思想和递归表达式 大整数乘法 矩阵乘法的Strassen算法 快速傅里叶变化 基于分治的排序 merge-sort排序 快速排序 排序的下界问题 中位数和顺序统计量 最邻近点对 凸包 merge-sort排序 快速排序 排序的下界问题 Notes ## 分治思想和递归表达式 【分 阅读全文
posted @ 2018-06-21 15:04 HongmingYou 阅读(2053) 评论(0) 推荐(0) 编辑
摘要: Message passing 进程和线程 线程的创建和启动,runable 时间分片、交错执行、竞争条件 线程的休眠、中断 线程安全的四种策略 约束(Confinement) 不变性 使用线程安全的数据类型 同步与锁 死锁 以注释的形式撰写线程安全策略 阅读全文
posted @ 2018-06-20 16:28 HongmingYou 阅读(1354) 评论(1) 推荐(0) 编辑
摘要: Java代码调优的设计模式: singleton, prototype/cloneable, flyweight, pool 常见的Java I/O方法 阅读全文
posted @ 2018-06-20 03:35 HongmingYou 阅读(541) 评论(0) 推荐(1) 编辑
摘要: 第八章第二节 动态程序分析方法与工具 Outline Java性能调优工具: jstat jmap jhat Vistual VM MAT Memory dump Stack trace jstat jmap jhat Vistual VM MAT Notes ## Java性能调优工具 Jstat 阅读全文
posted @ 2018-06-20 02:56 HongmingYou 阅读(553) 评论(0) 推荐(0) 编辑
摘要: 第八章第一节 软件构造性能的度量原理 本章是课程覆盖的第5个质量指标:时空性能 这是大家最熟悉的指标,虽然很重要,但并非软件构造中最重要的指标,当其他指标得以优化之后,再去考虑性能问题。 Outline 性能度量指标 存储性能 内存管理: 对象管理模型:静态、堆、栈 内存管理模型: Java垃圾回收 阅读全文
posted @ 2018-06-19 23:59 HongmingYou 阅读(535) 评论(0) 推荐(0) 编辑
摘要: 求解递归式的方法 【代入法】 代入法求解分为两步: 猜测解的形式 用数学归纳法求出解的常数C,并证明正确性,关键步骤是用猜测的解代入到递归式中。 做出好的猜测(没有一般方法,只能凭经验) 与见过的解类似,则猜测之。 先证较宽松的上、下界,减小猜测范围。我们可以从下界Ω(n)开始,上界O(n^2),然 阅读全文
posted @ 2018-06-19 19:17 HongmingYou 阅读(3023) 评论(0) 推荐(0) 编辑
摘要: 第七章第五节 测试与测试优先编程 确保程序正确性/健壮性的最普遍的手段:测试 设计测试用例 用JUnit写测试程序 自动化测试过程 设计测试用例 用JUnit写测试程序 自动化测试过程 Outline 测试和测试优先编程 黑盒测试 等价类划分 边界值分析 代码覆盖度 用注释形式撰写测试策略 JUni 阅读全文
posted @ 2018-06-19 01:07 HongmingYou 阅读(478) 评论(0) 推荐(0) 编辑
摘要: 第七章第四节 调试 防不胜防的bug引入了代码,如何发现并消除之? Outline 什么是bug 调试的基本过程 调试的技术与工具 Notes ## 什么是bug bug即程序中的错误,导致程序以非预期或未预料到的方式执行。 一个包含大量bug和/或严重干扰其功能的bug的程序被称为buggy。 报 阅读全文
posted @ 2018-06-18 21:41 HongmingYou 阅读(535) 评论(0) 推荐(0) 编辑
摘要: 第七章第三节 断言和防御性编程 本节:第2种技术——断言、防御式编程 Outline 断言 什么是断言 断言的应用场景 防御式编程(不是考点,不加叙述) 什么是断言 断言的应用场景 Notes: ## 断言 【什么是断言】 作用:允许程序在运行时检查自己,测试有关程序逻辑的假设,如前置条件、后置条件 阅读全文
posted @ 2018-06-18 19:29 HongmingYou 阅读(928) 评论(0) 推荐(0) 编辑
摘要: 第七章第二节 错误与异常处理 本节关注:Java中错误和异常处理的典 型技术——把原理落实到代码上! Outline: Java中的错误和异常(java.lang.throwable) 异常 Runtime异常与其他异常(Exception) Checked异常和unchecked异常 checke 阅读全文
posted @ 2018-06-18 18:31 HongmingYou 阅读(683) 评论(0) 推荐(0) 编辑
摘要: 第七章第一节 健壮性和正确性的区别 第七章:进入软件构造最关键的质量特性 ——健壮性和正确性。 本节在1-2节的基础上,重申了Robustness and Correctness的重要性,澄清了二者之 间的差异,并指明了在软件构造中处理二 者的典型技术(防御式编程、异常处理、 测试、调试等) Out 阅读全文
posted @ 2018-06-18 13:39 HongmingYou 阅读(1435) 评论(0) 推荐(0) 编辑
摘要: 第六章第三节 面向可维护的构造技术 学了这么多OO设计模式,不外乎都是 delegation + subtying,万变不离其宗。 除了OO,还有什么其他能够提升软件可维护性的构造技术?——本节从委派+子类型跳出来,学习以下三个方面: (1) 基于状态的构造技术 (2) 表驱动的构造技术 (3) 基 阅读全文
posted @ 2018-06-16 21:45 HongmingYou 阅读(634) 评论(0) 推荐(0) 编辑