摘要:
本文转自微信公众号--Python中文社区--浅谈keras的扩展性:自定义keras 1. 自定义keras keras是一种深度学习的API,能够快速实现你的实验。keras也集成了很多预训练的模型,可以实现很多常规的任务,如图像分类。TensorFlow 2.0之后tensorflow本身也变 阅读全文
摘要:
一、bert模型的整体结构 BERT主要用了Transformer的Encoder,而没有用其Decoder,可能是因为BERT是一个预训练模型,只要学到其中语义关系即可,不需要去解码完成具体的任务。整体架构如下图: 多个Transformer Encoder一层一层地堆叠起来,就组装成了BERT了 阅读全文
摘要:
python3.5和Python3.6切换 # 查看有效内核 jupyter kernelspec list # 找到以下路劲(我的电脑) /usr/local/share/jupyter/kernels/python3 # 更改里面的kernel.json文档中Python的路径调用,改为所需要的 阅读全文
摘要:
1、查看文件夹内文件大小 du -sh *|sort -h 2、删除不用的老旧内核 # 查看现用内核 uname –r # 查看内核文件、头文件 dpkg --get-selections | grep linux # 删除不用内核文件 头文件 sudo apt-get purge 内核文件名 头文 阅读全文
摘要:
最近模型部署用flask给接口,模型实验室的部署流程中需用gunicorn来部署flask服务。为什么要用gunicorn呢,简单点就是为了并发。 1、模块安装 pip install flask pip install gunicorn 2、用flask写一个简单的web服务 # main.pyf 阅读全文
摘要:
1、如何在 GitHub上删除某个 Repository 中的某个文件夹? 先前上传项目的时候有些需要忽略的文件夹并未加入.gitignore文件中,导致上传了一些并不想上传的文件。(比如不小心将下图的.idea、out、nowcoder.iml上传到了github上) 我们想要在github上面删 阅读全文
摘要:
公司或者实验室当大家都共用一台服务器时,训练模型的时候如果不指定GPU,往往会冲突。 我们可以先用 nvidia-smi 查看有多少块GPU, 然后分两种方式指定GPU运行。 1、直接在终端运行时加入相关语句实现指定GPU的使用 CUDA_VISIBLE_DEVICES=0 python test. 阅读全文
摘要:
本文介绍了在Python中使用gRPC的方法示例, 具体如下: 使用 Protocol Buffers 的跨平台RPC系统。 安装 使用 pip pip install grpcio pip install grpcio-tools googleapis-common-protos gRPC由两个部 阅读全文
摘要:
编辑博客时经常需要写一些专业的数学公式,收藏一些LaTex语法,方便查找。 在线LaTeX编辑: https://latex.91maths.com/ 1.四则运算 2.幂指对 3.根号,省略号,向量,特殊符号 4.累加,累乘 5.矩阵 6.公式中更改颜色 7. 最后看一个公式的例子: $Obj(\ 阅读全文
摘要:
最近在工作中有一个需求:用训练好的模型将数据库中所有数据得出预测结果,并保存到另一张表上。数据库中的数据是一篇篇文章,我训练好的模型是对其中的四个段落分别分类,即我有四个模型,拿到文本后需要提取出这四个段落,并用对应模型分别预测这四个段落的类别,然后存入数据库中。我是用keras训练的模型,back 阅读全文