摘要：
上代码，使用hugging face fineturn vit模型 自己写的代码 from transformers import ViTImageProcessor, ViTForImageClassification from PIL import Image import torch impo 阅读全文
posted @ 2023-05-26 00:10
高颜值的殺生丸
阅读(1119)
评论(0)
推荐(0)
摘要：
apple的m1芯片比以往cpu芯片在机器学习加速上听说有15倍的提升，也就是可以使用apple mac训练深度学习pytorch模型！！！惊呆了 安装apple m1芯片版本的pytorch 然后使用chatGPT生成一个resnet101的训练代码，这里注意，如果网络特别轻的话是没有加速效果的， 阅读全文
posted @ 2023-05-24 17:37
高颜值的殺生丸
阅读(393)
评论(0)
推荐(0)
摘要：
不说了，上代码，用arduino实现esp8266代码 #include <ESP8266WiFi.h> #include <WiFiClient.h> #include <ESP8266WebServer.h> #include <SimpleDHT.h> // 定义DHT11引脚 // VCC: 阅读全文
posted @ 2023-05-19 22:02
高颜值的殺生丸
阅读(139)
评论(0)
推荐(0)
摘要：
读取csv文件，打印列名称： import pandas as pd # data = pd.read_csv("guba_fc_result_20230413.csv") data = pd.read_csv("guba_all_newtext_20230413.csv") data.column 阅读全文
posted @ 2023-05-15 18:00
高颜值的殺生丸
阅读(71)
评论(0)
推荐(0)
摘要：
自然语言处理当中经常需要字符串的查找操作，比如通过查找返回字串在文本当中的位置，比如通过匹配实现的ner import pandas as pd import asyncio # data = pd.read_csv("guba_fc_result_20230413.csv") data = pd. 阅读全文
posted @ 2023-05-11 18:34
高颜值的殺生丸
阅读(46)
评论(0)
推荐(0)
摘要：
自然语言处理经常使用re正则模块进行字符串替换，但是文本数量特别大的时候，需要跑很久，这就需要使用asyncio异步加速处理 import pandas as pd import re import asyncio data = pd.read_csv("guba_all_post_20230413 阅读全文
posted @ 2023-05-11 18:31
高颜值的殺生丸
阅读(48)
评论(0)
推荐(0)
摘要：
自然语言任务经常使用jieba分词，数据量大时怎么加速，jieba分词不支持使用asyncio异步加速，使用multiprocessing还是可以的 import jieba import jieba.analyse import multiprocessing # 加载自定义词典 jieba.lo 阅读全文
posted @ 2023-05-11 18:25
高颜值的殺生丸
阅读(195)
评论(0)
推荐(0)
摘要：
Pyahocorasick Pyahocorasick是一个基于AC自动机算法的字符串匹配工具。它可以用于快速查找多个短字符串在一个长字符串中的所有出现位置。Pyahocorasick可以在构建状态机时使用多线程，从而大大加快构建速度。 安装Pyahocorasick Pyahocorasick可以 阅读全文
posted @ 2023-04-26 16:02
高颜值的殺生丸
阅读(267)
评论(0)
推荐(0)
(二)asyncio的简单使用，python异步高效处理数据，asyncio.get_event_loop()，loop.run_until_complete(main())，loop.close()
摘要：
Asyncio 是一个基于事件循环的异步I/O框架，它提供了高效的协程实现，能够轻松地编写高并发的Python程序。Asyncio 在 Python 3.4 中首次引入，它的核心是事件循环（Event Loop），通过协程实现异步编程，避免了传统线程模型中的锁和线程切换开销，提高了程序的并发性能。 阅读全文
posted @ 2023-04-26 15:12
高颜值的殺生丸
阅读(285)
评论(0)
推荐(0)
摘要：
asyncio 是 Python 3.4 引入的标准库，是一个基于事件循环的异步 I/O 并发库。它提供了一种协作式的多任务处理方式，使得我们能够在一个线程中并发处理多个 I/O 操作。它通过将 I/O 操作转化为异步的非阻塞调用，从而实现了高效的并发处理。其原理如下： 定义协程（coroutine 阅读全文
posted @ 2023-04-26 15:04
高颜值的殺生丸
阅读(175)
评论(0)
推荐(1)
浙公网安备 33010602011771号