摘要: 近日,对近些年在NLP领域很火的BERT模型进行了学习,并进行实践。今天在这里做一下笔记。 本篇博客包含下列内容: BERT模型简介 概览 BERT模型结构 BERT项目学习及代码走读 项目基本特性介绍 代码走读&要点归纳 基于BERT模型实现垃圾邮件分类 TREC06语料库 基准模型介绍 BERT 阅读全文
posted @ 2021-06-30 21:09 牛云杰 阅读(1264) 评论(1) 推荐(0) 编辑

摘要: 一. 前言 由于最近有一个邮件分类的工作需要完成,研究了一下基于SVM的垃圾邮件分类模型。参照这位作者的思路(https://blog.csdn.net/qq_40186809/article/details/88354825),使用trec06c这个公开的垃圾邮件语料库(https://plg.u 阅读全文
posted @ 2021-06-11 21:27 牛云杰 阅读(1537) 评论(0) 推荐(0) 编辑

摘要: 从志在必得到铩羽而归——记一次大数据竞赛经历 最近参加了一个比赛,在工业大数据产业创新平台上,是一个水电站入库流量预测问题。简单看了一下题目,嚯,这个方向以前有做过啊,不说了~开整。 赛题背景:对进入水电站水库的入库流量进行精准预测,能够帮助水电站对防洪、发电计划调度工作进行合理安排。入库流量受到降 阅读全文
posted @ 2020-11-05 01:15 牛云杰 阅读(933) 评论(3) 推荐(2) 编辑

摘要: 很久以前就有想过使用深度学习模型来对dota2的对局数据进行建模分析,以便在英雄选择,出装方面有所指导,帮助自己提升天梯等级,但苦于找不到数据源,该计划搁置了很长时间。直到前些日子,看到社区有老哥提到说OpenDota网站(https://www.opendota.com/)提供有一整套的接口可以获 阅读全文
posted @ 2019-10-31 22:51 牛云杰 阅读(4283) 评论(4) 推荐(4) 编辑

摘要: 最近在工作之余学习NLP相关的知识,对word2vec的原理进行了研究。在本篇文章中,尝试使用TensorFlow自行构建、训练出一个word2vec模型,以强化学习效果,加深理解。 一.背景知识: 在深度学习实践中,传统的词汇表达方式是使用one-hot向量,其中,向量的维度等于词汇量的大小。这会 阅读全文
posted @ 2018-12-21 00:26 牛云杰 阅读(1619) 评论(0) 推荐(0) 编辑

摘要: ——深度学习的建模、调参思路整合。 写在前面 最近偶尔从师兄那里获取到了吴恩达教授的新书《Machine Learning Yearing》(手稿),该书主要分享了神经网络建模、训练、调节参数时所需要的一些技巧和经验。我在之前的一些深度学习项目中也遇到过模型优化,参数调节之类的问题,由于当时缺少系统 阅读全文
posted @ 2018-10-26 20:57 牛云杰 阅读(908) 评论(0) 推荐(0) 编辑

摘要: 前些日子,参加了一个解放号的行业大数据创新应用大赛, https://1024.jfh.com/question/detail?contestId=6 一.问题描述 赛题是根据西安机场上半年的航班起降信息,建立适当预测模型,预测未来七天的航班准点率,(航班实际起飞时间-航班计划起飞时间)< 15 分 阅读全文
posted @ 2018-09-30 23:34 牛云杰 阅读(2511) 评论(11) 推荐(4) 编辑

摘要: 由于需要在公司的内网进行神经网络建模试验(https://www.cnblogs.com/NosenLiu/articles/9463886.html),为了更方便的在内网环境下快速的查阅资料,构建深度学习模型,我决定使用爬虫来对深度学习框架keras的使用手册进行爬取。 keras中文文档的地址是 阅读全文
posted @ 2018-08-12 21:50 牛云杰 阅读(1733) 评论(1) 推荐(0) 编辑

2021年7月19日

摘要: 最近需要在政务云系统中部署深度学习环境,其使用麒麟操作系统并与互联网相互隔离,无法使用常规的指令行方式进行安装。参考docker官方文档并经过多次尝试,使用离线安装的方式完成了环境的部署。这里做一下笔记分享经验。 整个过程大概分为4步: ·操作系统版本信息查询 ·docker官网下载安装文件 ·离线 阅读全文
posted @ 2021-07-19 20:24 牛云杰 阅读(8153) 评论(0) 推荐(0) 编辑

2021年5月27日

摘要: 在SKLearn中,StratifiedShuffleSplit 类实现了对数据集进行洗牌、分割的功能。但在今晚的实际使用中,发现该类及其方法split()仅能够对二分类样本有效。 一个简单的例子如下: 1 import numpy as np 2 from sklearn.model_select 阅读全文
posted @ 2021-05-27 22:47 牛云杰 阅读(1696) 评论(1) 推荐(0) 编辑

2020年11月19日

摘要: 最近阅读了李航的《统计学习方法(第二版)》,对AdaBoost算法进行了学习。 在第八章的8.1.3小节中,举了一个具体的算法计算实例。美中不足的是书上只给出了数值解,这里用代码将它实现一下,算作一个课后作业。 一、算法简述 Adaboost算法最终输出一个全局分类模型,由多个基本分类模型组成,每个 阅读全文
posted @ 2020-11-19 00:35 牛云杰 阅读(598) 评论(0) 推荐(0) 编辑

2020年8月27日

摘要: 一.前期学习经过 GAN(Generative Adversarial Nets)是生成对抗网络的简称,由生成器和判别器组成,在训练过程中通过生成器和判别器的相互对抗,来相互的促进、提高。最近一段时间对GAN进行了学习,并使用GAN做了一次实践,在这里做一篇笔记记录一下。 最初我参照JensLee大 阅读全文
posted @ 2020-08-27 00:46 牛云杰 阅读(1112) 评论(0) 推荐(1) 编辑

2020年4月18日

摘要: 写在前面 我之前使用的LSTM计算单元是根据其前向传播的计算公式手动实现的,这两天想要和TensorFlow自带的tf.nn.rnn_cell.BasicLSTMCell()比较一下,看看哪个训练速度快一些。在使用tf.nn.rnn_cell.BasicLSTMCell()进行建模的时候,遇到了模型 阅读全文
posted @ 2020-04-18 11:06 牛云杰 阅读(3242) 评论(0) 推荐(0) 编辑