摘要： 最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG 阅读全文

摘要： 先复制一点知乎上的内容 按照上面的流程图，一个ViT block可以分为以下几个步骤 (1) patch embedding：例如输入图片大小为224x224，将图片分为固定大小的patch，patch大小为16x16，则每张图像会生成224x224/16x16=196个patch，即输入序列长度为 阅读全文

摘要： 之前分别用numpy实现了mlp，cnn，lstm和bert模型，这周顺带搞一下GPT-2，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上运行，生成数据 gpt-2的mask-multi-headed-self-attention我现在才彻底的明白它是真的牛逼，比ber 阅读全文

摘要： 之前分别用numpy实现了mlp，cnn，lstm，这次搞一个大一点的模型bert，纯numpy实现，最重要的是可在树莓派上或其他不能安装pytorch的板子上运行，推理数据 本次模型是随便在hugging face上找的一个新闻评论的模型，7分类 看这些模型参数，这并不重要，模型占硬盘空间都要40 阅读全文

摘要： 树莓派代码： from flask import Flask, render_template import socket import threading app = Flask(__name__) adc_value = 0 # 接收tcp数据 def receive_tcp_data(): g 阅读全文

摘要： 树莓派和esp8266需要在同一局域网下 esp8266使用arduino开发： 接入一个电容土壤湿度传感器，采集湿度需要使用adc #include <ESP8266WiFi.h> #include <WiFiUdp.h> const char* ssid = "litianmenzhenbu"; 阅读全文

摘要： 这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是LSTM识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： import torch import torch.nn as nn import torchvision import numpy 阅读全文

摘要： 这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是卷积识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： import torch import torch.nn as nn import torch.optim as optim from 阅读全文

摘要： 这几天又在玩树莓派，先是搞了个物联网，又在尝试在树莓派上搞一些简单的神经网络，这次搞得是mlp识别mnist手写数字识别 训练代码在电脑上，cpu就能训练，很快的： 1 import torch 2 import torch.nn as nn 3 import torch.optim as opti 阅读全文

摘要： 前段时间使用esp8266搞了个智能家居，通过网页控制，但是没有办法实现远程控制，只能局域网控制，因为我没有平台，使用机制云等平台还需要开发app 使用chatgpt生成的main.py程序 from flask import Flask, render_template, request impo 阅读全文