点此进入CSDN

点此添加QQ好友 加载失败时会显示




上一页 1 2 3 4 5 6 ··· 23 下一页
摘要: 最近新换了工作,以后的工作内容会和大模型相关,所以先抽空跑了一下chatGLM2-6b的demo,使用Qlora或lora微调模型 今天简单写个文档记录一下,顺便也是一个简单的教程,并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理,需要的话自行查阅 1.chatG 阅读全文
posted @ 2023-11-02 11:31 高颜值的殺生丸 阅读(1192) 评论(0) 推荐(0) 编辑
摘要: 先复制一点知乎上的内容 按照上面的流程图,一个ViT block可以分为以下几个步骤 (1) patch embedding:例如输入图片大小为224x224,将图片分为固定大小的patch,patch大小为16x16,则每张图像会生成224x224/16x16=196个patch,即输入序列长度为 阅读全文
posted @ 2023-07-11 15:42 高颜值的殺生丸 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 之前分别用numpy实现了mlp,cnn,lstm和bert模型,这周顺带搞一下GPT-2,纯numpy实现,最重要的是可在树莓派上或其他不能安装pytorch的板子上运行,生成数据 gpt-2的mask-multi-headed-self-attention我现在才彻底的明白它是真的牛逼,比ber 阅读全文
posted @ 2023-07-07 19:21 高颜值的殺生丸 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 之前分别用numpy实现了mlp,cnn,lstm,这次搞一个大一点的模型bert,纯numpy实现,最重要的是可在树莓派上或其他不能安装pytorch的板子上运行,推理数据 本次模型是随便在hugging face上找的一个新闻评论的模型,7分类 看这些模型参数,这并不重要,模型占硬盘空间都要40 阅读全文
posted @ 2023-06-30 19:01 高颜值的殺生丸 阅读(102) 评论(0) 推荐(0) 编辑
摘要: 树莓派代码: from flask import Flask, render_template import socket import threading app = Flask(__name__) adc_value = 0 # 接收tcp数据 def receive_tcp_data(): g 阅读全文
posted @ 2023-06-09 23:42 高颜值的殺生丸 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 树莓派和esp8266需要在同一局域网下 esp8266使用arduino开发: 接入一个电容土壤湿度传感器,采集湿度需要使用adc #include <ESP8266WiFi.h> #include <WiFiUdp.h> const char* ssid = "litianmenzhenbu"; 阅读全文
posted @ 2023-06-02 23:19 高颜值的殺生丸 阅读(117) 评论(0) 推荐(0) 编辑
摘要: 这几天又在玩树莓派,先是搞了个物联网,又在尝试在树莓派上搞一些简单的神经网络,这次搞得是LSTM识别mnist手写数字识别 训练代码在电脑上,cpu就能训练,很快的: import torch import torch.nn as nn import torchvision import numpy 阅读全文
posted @ 2023-05-31 13:13 高颜值的殺生丸 阅读(133) 评论(0) 推荐(0) 编辑
摘要: 这几天又在玩树莓派,先是搞了个物联网,又在尝试在树莓派上搞一些简单的神经网络,这次搞得是卷积识别mnist手写数字识别 训练代码在电脑上,cpu就能训练,很快的: import torch import torch.nn as nn import torch.optim as optim from 阅读全文
posted @ 2023-05-30 19:13 高颜值的殺生丸 阅读(284) 评论(0) 推荐(1) 编辑
摘要: 这几天又在玩树莓派,先是搞了个物联网,又在尝试在树莓派上搞一些简单的神经网络,这次搞得是mlp识别mnist手写数字识别 训练代码在电脑上,cpu就能训练,很快的: 1 import torch 2 import torch.nn as nn 3 import torch.optim as opti 阅读全文
posted @ 2023-05-30 16:25 高颜值的殺生丸 阅读(113) 评论(0) 推荐(0) 编辑
摘要: 前段时间使用esp8266搞了个智能家居,通过网页控制,但是没有办法实现远程控制,只能局域网控制,因为我没有平台,使用机制云等平台还需要开发app 使用chatgpt生成的main.py程序 from flask import Flask, render_template, request impo 阅读全文
posted @ 2023-05-26 23:40 高颜值的殺生丸 阅读(46) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 23 下一页

作者信息

昵称:

刘新宇

园龄:4年6个月


粉丝:1209


QQ:522414928