随笔分类 -  大数据&算法

为什么大语言模型推理要分成 Prefill 和 Decode?
摘要:一句话解释:Prefill 和 Decode 的分工 大语言模型生成文本的过程本质上是给定上下文,逐词预测下一个词。但在实现上,这个过程被明确地分成两个阶段: 为什么不能用一个阶段做完? 因为输入和输出的计算特性完全不同: 输入 prompt 是完整的、一次性提供的,适合并行计算。 输出 token 阅读全文

posted @ 2025-09-18 15:44 gogoy 阅读(115) 评论(0) 推荐(0)

【台大机器学习系列1】机器学习2021
摘要:https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php https://www.bilibili.com/video/BV1JA411c7VT/?vd_source=91adcbc4239927f23edac0d012f108c5&p=2 机器学 阅读全文

posted @ 2025-08-01 21:32 gogoy 阅读(12) 评论(0) 推荐(0)

人工智能交互中的角色与提示词:System、User与Assistant
摘要:人工智能交互中的角色与提示词:System、User与Assistant在人工智能交互中,系统(System)、用户(User)和助手(Assistant)是三个关键角色。它们通过不同的提示词(Prompt)来引导模型的行为和输出,从而实现高效、精准的交互。本文将详细介绍这三个角色的作用,并通过表格 阅读全文

posted @ 2025-08-01 10:46 gogoy 阅读(988) 评论(0) 推荐(0)

台大李宏毅 2025 AI Agent 新课来了!(即李宏毅机器学习2025)
摘要:转自:https://www.bestblogs.dev/article/0576e6 编者按:本文是台大教授李宏毅讲授AI Agent的爆火油管视频的文字稿。内容层层递进,是学习和理解AI Agent难得的好教材。由于原视频较长,为方便订阅读者们高效学习,智能超参数特地整理出来这节课的文字实录。建 阅读全文

posted @ 2025-07-31 14:16 gogoy 阅读(111) 评论(0) 推荐(0)

RISC-V、x86、ARM技术对比解析
摘要:指令集架构(英语:Instruction Set Architecture,缩写为ISA),又称指令集或指令集体系,是计算机体系结构中与程序设计有关的部分。指令集架构定义了一套软件控制中央处理器(CPU)的抽象方法,包含了基本数据类型、指令集、寄存器、寻址模式、存储体系、中断、异常处理以及外部I/O 阅读全文

posted @ 2025-03-24 11:14 gogoy 阅读(676) 评论(0) 推荐(0)

python函数声明(参数/返回值注释)和三个双引号用法
摘要:1 # python的"""三个双引号两种用法:(1)多行注释 (2)定义多行字符串 2 def f1(ham: 42, eggs: int = 'spam') -> "Nothing to see here": 3 print("函数注释", f1.__annotations__) # 函数注释 阅读全文

posted @ 2024-06-18 15:24 gogoy 阅读(342) 评论(0) 推荐(0)

在线型业务/大数据场景/AI时代的技术栈
摘要:在线型业务的技术栈 首先当然是硬件,在线业务型的场景下,计算资源基本是CPU为主;存储资源则各种类型都有,主要是IO吞吐、时延、安全性等各种考虑;网络资源公网、内网类型,时延、吞吐考虑等。 在硬件之上(软件定义计算/存储/网络资源),基本都会使用类似K8S,或商用VMWare之类,来更方便的使用硬件 阅读全文

posted @ 2024-04-03 10:27 gogoy 阅读(326) 评论(0) 推荐(0)

Java(计算机相关)面试之海量数据问题处理(1)分治/hash/排序
摘要:原文链接:https://blog.csdn.net/a619602087/article/details/130348569 面试的时候经常被问到海量数据处理问题,下面我会分期介绍几种海量数据处理的思路还有案例 了解了之后 面试不用怕了 大数据处理思路: 分而治之/Hash映射 + HashMap 阅读全文

posted @ 2024-03-14 15:09 gogoy 阅读(72) 评论(0) 推荐(0)

CNN的进击之路——讲讲ResNet, Inception, ResNeXt和Densenet等常见网络
摘要:前言 本文是一篇大杂烩,按照发布时间总结了CNN的一些常见网络。 AlexNet(2010)—> VGG(2014) ——> GoogLeNet V1(2014)——>ResNet(2015)——>DenseNet(2017)——>MobileNet(2019) https://tobefans.g 阅读全文

posted @ 2024-02-27 16:49 gogoy 阅读(735) 评论(0) 推荐(0)

机器学习
摘要:【Coursera版本学习目录】 https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes (一)监督学习(线性回归、逻辑回归、神经网络、支持向量机SVM、KNN(回归/分类) )。 (二)无监督学习:聚类K-means算法(K均值聚类)、主成分分 阅读全文

posted @ 2024-02-24 14:51 gogoy 阅读(368) 评论(0) 推荐(0)

使用OpenCV查询相似图片 opencv判断两张图片相同 和 以图搜图
摘要:最近在清手机存储空间时想到一个问题,就是通过判断图片的重复性来删除不必要的文件,以节省空间,于是这两个月就一直在想应该怎么弄。由于灰度图像属于二维数据,所以判断图像整体的重复其实就是判断两个图像各自二维空间内的所有特征点 是否在很大程度上重复,在二维数据点集匹配方面,OpenCV提供了一个非常好的模 阅读全文

posted @ 2024-02-24 13:25 gogoy 阅读(2618) 评论(0) 推荐(0)

矩阵理论-1范数、2范数、无穷范数的通俗理解?
摘要:​引言 很多人学完了矩阵理论或者数值分析,脑海里还是蒙的,有些比较基础的东西至今还没有一个深刻的理解,就比如矩阵理论中1范数、2范数,以及无穷范数代表什么含义呢? 范数的理解 我们来讲个故事,保证大家能够明白,这里主要是以向量范数为例。假设小花要选男朋友,她想在小强和小刚之间选。 第1种情况,小花的 阅读全文

posted @ 2023-09-18 15:31 gogoy 阅读(6192) 评论(0) 推荐(1)

PCA主成分分析的理解
摘要:u |_matrix1x2_{{-0.70710678118654757};{-0.70710678118654735}} x^(1) |_matrix1x2_{{-0.51805350077523271};{-1.5767841510657621}} x_approx^(1) |_matrix1x 阅读全文

posted @ 2023-08-17 15:44 gogoy 阅读(12) 评论(0) 推荐(0)

MATLAB(Octave)命令记录
摘要:1. struct:结构体数组 aaaa_s.a = 1; aaaa_s.b = {'A','B','C'} aaaa_s.c = [1 2 3 4; 5 6 7 8]; save aaaa_s.txt aaaa_s; save的结果文件为: # Created by Octave 8.2.0, F 阅读全文

posted @ 2023-07-28 16:36 gogoy 阅读(267) 评论(0) 推荐(0)

反向传播算法的理解
摘要:反向传播算法--求偏导速度大大提升(一次求解) https://zhuanlan.zhihu.com/p/25081671 1 用计算图来解释几种求导方法: 1.1 计算图 式子 e=(a+b)∗(b+1) 可以用如下计算图表达: 令a=2,b=1则有: 所以上面的求导方法总结为一句话就是: 路径上 阅读全文

posted @ 2023-06-25 14:44 gogoy 阅读(393) 评论(0) 推荐(0)

什么是列式`存储,一文秒懂
摘要:什么是列式`存储,一文秒懂, 为什么MaxCompute采用列式存储?列式存储和行式存储的主要区别在哪 从数据存储讲起 我们最先接触的数据库系统,大部分都是行存储系统。大学的时候学数据库,老师让我们将数据库想象成一张表格,每条数据记录就是一行数据,每行数据包含若干列。所以我们对大部分数据存储的思维也 阅读全文

posted @ 2023-03-31 18:44 gogoy 阅读(401) 评论(0) 推荐(0)

谈谈流计算中的『Exactly Once』特性
摘要:本文翻译自 streaml.io 网站上的一篇博文:“Exactly once is NOT exactly the same” ,分析了流计算系统中常说的『Exactly Once』特性,主要观点是:『精确一次』并不保证是完全一样。主要内容如下:目前市面上使用较多的流计算系统有 Apache St 阅读全文

posted @ 2022-12-21 14:51 gogoy 阅读(219) 评论(0) 推荐(0)

我整理了一份Flink流计算入门教程清单(转)
摘要:好久不见! 作为技术出身的我,不太会写软文广告,今天就直接来个硬广。之前与人民邮电出版社合作的《Flink原理与实践》经过一年多时间的打磨和润色,这两天终于与大家见面了,恳请各位朋友多多支持。 Flink这两年已经火得一塌糊涂,不了解Flink,绝对不好意思称自己是个大数据开发。但比起Hadoop和 阅读全文

posted @ 2022-12-16 15:10 gogoy 阅读(145) 评论(0) 推荐(0)

导航