摘要：
LangChain是一个开源的大模型应用开发框架，为什么称之为框架呢？原因就是它将我们构建大模型应用的通用步骤进行了封装，使其模板化，通用化，这就使我们在构建大模型应用时没必要对那些通用的东西重复造轮子，减少了工作量，同时也可以使各家厂商可以快速的对接互通，该框架主要包含以下四个部分，它们构成了La 阅读全文
posted @ 2025-10-26 13:28
疾风大块头
阅读(9)
评论(0)
推荐(0)
摘要：
什么是token? 大模型中token是指一段文本被分词后的处理单元，以汉字为例，分词后有可能是一个汉字，也可能是两个汉字，例如：我们是中国人，就会被分为“我们”“是”“中国”“人”，不同的模型token的长度是不一样的，但这里的token指的是模型单次输入输出的总和。 tiktoken是opena 阅读全文
posted @ 2025-10-26 13:27
疾风大块头
阅读(4)
评论(0)
推荐(0)
摘要：
基础LLM:经过大规模文本数据训练，具备推测下一个词能力的模型指令微调LLM:在基础的LLM，根据自身准备的数据进一步微调的模型，这种模型更符合自身的业务需求 提示词：按业务要求做出响应的指示性话语，最好与文本有明确的分割界限，以便模型可以识别哪是指示，哪是具体的文本内容，同时要求提示词语义表达清晰 阅读全文
posted @ 2025-10-26 13:26
疾风大块头
阅读(15)
评论(0)
推荐(0)
摘要：
Transformer架构是自然语言处理领域一种非常重要的深度学习架构，主要有编码器和解码器两部分组成，核心特点是通过注意力机制来处理输入和输出之间的映射。 每个编码器由多个相同的编码层构成编码层主要包含多头注意力机制，层归一化，残差连接，全连接网络，位置编码这几部分注意力机制会计算输入序列每个元素 阅读全文
posted @ 2025-10-26 13:25
疾风大块头
阅读(9)
评论(0)
推荐(0)
摘要：
大语言模型有四个基本能力:1、语言理解能力，能理解人类所描述的问题2、语言生成能力，能对人类提出的问题提供一个符合人类正常阅读习惯答案3、多轮对话管理能力，面对正常连续发问的情况下，给出的答案不会前言不搭后语4、一定的逻辑推理能力，在训练时数据编织了知识，具备了一定的推理能力大语言模型本质上就是对下 阅读全文
posted @ 2025-10-26 13:24
疾风大块头
阅读(5)
评论(0)
推荐(0)
摘要：
相比TF1版本实现，这个利用了keras 接口，简便了很多 阅读全文
posted @ 2025-10-26 13:23
疾风大块头
阅读(1)
评论(0)
推荐(0)
摘要：
卷积神经网络（CNN） 相比全连接而言，参数更少，原因在于CNN是一种局部连接，权值共享的模式 卷积核其实就是一个权值矩阵，例如咱们在全连接网络时，权值是一个列向量，在卷积的时候，我们把这个列向量二维化了 卷积核遍历图像矩阵的过程就称之为卷积 池化实质上是在语义上把相似的特征合并起来，可以达到降维， 阅读全文
posted @ 2025-10-26 13:22
疾风大块头
阅读(5)
评论(0)
推荐(0)
摘要：
清洗数据，建模，训练过程 模型恢复评估过程： 阅读全文
posted @ 2025-10-26 12:34
疾风大块头
阅读(2)
评论(0)
推荐(0)
摘要：
TF2版本的是用TF的高级API kears写的(也可以直接自己写方法构建多层模型，方法与TF1类似,不再重写) 阅读全文
posted @ 2025-10-26 12:31
疾风大块头
阅读(4)
评论(0)
推荐(0)
摘要：
one_hot独热编码，是一个稀疏向量，实质是先把分类进行编码，然后按照分类编码对应的索引进行编码，这样做其实是把离散的点扩展到了欧氏空间，有利于计算 foward = tf.matmul(x,W) + b #矩阵shape一直才可以相加，但b的shape和叉乘出来的值的shape明显不一样，但还可 阅读全文
posted @ 2025-10-26 12:29
疾风大块头
阅读(1)
评论(0)
推荐(0)
摘要：
TensorFlow1: import tensorflow as tf print(tf.__version__) import numpy as np import matplotlib.pyplot as plt import pandas as pd from sklearn.utils i 阅读全文
posted @ 2025-10-26 12:25
疾风大块头
阅读(4)
评论(0)
推荐(0)
摘要：
TensorFlow1: %matplotlib inline import matplotlib.pyplot as plt import numpy as np import tensorflow as tf np.random.seed(5) x_data = np.linspace(-1,1 阅读全文
posted @ 2025-10-26 12:24
疾风大块头
阅读(2)
评论(0)
推荐(0)
摘要：
TensorFlow2默认采用Eager执行模式即动态图模式，TensorFlow默认采用Graph执行模式即静态图模式，动态图模式相比静态图模式而言，在开发过程中更易于调试，可以像debug python代码一样，去debug TensorFlow计算图的执行步骤并可即时看到执行结果，而在部署过程 阅读全文
posted @ 2025-10-26 12:23
疾风大块头
阅读(5)
评论(0)
推荐(0)
摘要：
人工智能、机器学习与深度学习基本概念： 人工智能：一系列促使机器模仿或实现人的智能的方法、技术、理论，包括计算智能、感知智能和认知智能等层次，目前人工智能还处于前两者之间，处于弱人工智能阶段，当机器完全具有自主意识时就进入了强人工智能阶段。 机器学习是实现人工智能的一种技术手段，可分为监督学习，无监 阅读全文
posted @ 2025-10-26 12:22
疾风大块头
阅读(35)
评论(0)
推荐(0)
摘要：
Spark是一个基于MapReduce思想的分布式通用计算框架，相对于MapReduce,它的升华主要体现在处理结果驻留在了内存中(RDD,即分布式内存的概念，也是将数据进行切片，计算的中间结果驻留在内存中，可以设置切片数，也可以采用默认值)，可以直接与客户端交互，而不是像mapReduce那样，将 阅读全文
posted @ 2025-10-26 12:18
疾风大块头
阅读(3)
评论(0)
推荐(0)
摘要：
MapReduce是一种编程模型，采用主从集群结构，与Hdfs类似，也是由主节点（JobTracker,在hadoop2.0中，由Yarn代替JobTracker的工作）进行任务的调度与分配，从节点（TaskTracker,在hadoop2.0中，由ApplicationMaster代替TaskTr 阅读全文
posted @ 2025-10-26 12:18
疾风大块头
阅读(4)
评论(0)
推荐(0)
摘要：
Hive是建立在hadoop之上的，本质上是将SQL转换为MapReduce的任务进行运算，底层由Hdfs来提供数据的存储,开发这个工具的目的是降低开发MapReduce程序的难度，让业务统计人员可以直接通过类似sql的语言进行数据的统计和展现。 Hive具有可扩展性，容错性与低约束性的特点，这是因 阅读全文
posted @ 2025-10-26 12:17
疾风大块头
阅读(4)
评论(0)
推荐(0)
摘要：
Hbase是谷歌对BigTable的开源实现，它是一个分布式数据库，具有容量大，数据结构不固定，列式存储，数据类型单一化，高性能的特点. Hbase能具备以上特点主要基于其表结构设计及底层的hdfs的支持，我们先说一下它的表结构: 行键：每行数据的索引 列族：多个列的组合，比如姓名，年龄，这两个列可 阅读全文
posted @ 2025-10-26 12:16
疾风大块头
阅读(2)
评论(0)
推荐(0)
摘要：
HDFS文件系统是hadoop生态系统的核心，主要用于分布式文件存储，它具备高可用，流式读取，文件结构简单，跨平台的特点，它的集群采用的是主从结构，分为命名节点和数据节点，命名节点主要用于元数据管理（例如对目录，文件的创建，数据块与数据节点的关系维护管理）及数据节点管理（例如数据节点之间数据的复制， 阅读全文
posted @ 2025-10-26 12:15
疾风大块头
阅读(10)
评论(0)
推荐(0)
摘要：
大数据一般是指那些产生速度快，而且是海量，类型多样，非结构化，价值密度低的数据 常见的大数据，比如消费大数据，医疗大数据，车流大数据，通过大数据的分析我们可以根据个体情况给出更合适的解决方案，比如通过对车流分析，那么我们可以优化交通灯的在不同时间段的响应时间，这样可以有效的提高通行效率，医疗大数据更 阅读全文
posted @ 2025-10-26 12:14
疾风大块头
阅读(3)
评论(0)
推荐(0)
浙公网安备 33010602011771号