摘要: 原文链接:https://www.cnblogs.com/rexyan/p/7975707.html 一、import语句 二、文件读取 三、数据预处理 四、数据筛选 五、数据运算与排序 六、数学统计 总结 以上就是本文关于Python pandas常用函数详解的全部内容,希望对大家有所帮助。 阅读全文
posted @ 2019-10-17 19:58 sxron 阅读(396) 评论(0) 推荐(0) 编辑
摘要: 最近在关注谷歌发布关于BERT模型,它是以Transformer的双向编码器表示。顺便回顾了《Attention is all you need》这篇文章主要讲解Transformer编码器。使用该模型在神经机器翻译及其他语言理解任务上的表现远远超越了现有算法。 在 Transformer 之前,多 阅读全文
posted @ 2018-11-29 23:36 sxron 阅读(13441) 评论(0) 推荐(0) 编辑
摘要: 前不久,谷歌AI团队新发布的BERT模型,在NLP业内引起巨大反响,认为是NLP领域里程碑式的进步。BERT模型在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩:全部两个衡量指标上全面超越人类,并且还在11种不同NLP测试中创出最佳成绩,包括将GLUE基准推至80.4%(绝对改进7.6% 阅读全文
posted @ 2018-11-28 22:45 sxron 阅读(22213) 评论(0) 推荐(1) 编辑
摘要: 随着网络和信息技术的飞速发展,网络中的信息量也呈现爆炸式的增长,那么快速并且正确从这些海量的数据中获取正确的信息成为了现在搜索引擎技术的核心问题。用户的输入通常呈现很大的差异性,这是因为不同的人接受不同的教育、不同的文化,导致在表述同一个问题上面差异很大,那么对用户输入的搜索词进行词条权重的打分是非 阅读全文
posted @ 2018-11-24 18:04 sxron 阅读(2741) 评论(0) 推荐(0) 编辑
摘要: 搜索引擎是目前人们获取信息最重要的方式之一,其最基本最核心的功能是信息检索,找到含有关键字的网页或文档,然后按照一定排序将结果给出,在此基础之上,能够提供更多更复杂的功能来提升用户体验。对于一个成熟的搜索系统,用户看似简单的搜索过程,需要在系统中经过多个环节,多个模块协同工作,才能提供一个让人满意的 阅读全文
posted @ 2018-11-10 21:37 sxron 阅读(2703) 评论(0) 推荐(1) 编辑
摘要: 用户在使用搜索引擎过程中,由于表述不清晰或者查询词与索引库描述不一致,为了能召回更多更优质的结果展示给用户。这时就需要对用户查询进行分析,包括词权、同义词、纠错等技术,对原查询进行处理。通常搜索引擎中对同义词的处理,线下挖掘同义词词典,线上加载词典,但由于检索系统应用同义词时词典存在部分质量不好、或 阅读全文
posted @ 2018-10-16 20:44 sxron 阅读(3751) 评论(0) 推荐(0) 编辑
摘要: 英文文本词与词之间以空格分隔,方便计算机识别,但是中文以字为单位,句子所有字连起来才能表达一个完整的意思。如英文“I am writing a blog”,英文词与词之间有空格进行隔开,而对应的中文“我在写博客”,所有的词连在一起,计算机能很容易的识别“blog”是一个单词,而很难知道“博”、“客” 阅读全文
posted @ 2018-10-06 17:38 sxron 阅读(3022) 评论(0) 推荐(0) 编辑
摘要: (一)认识决策树 1、决策树分类原理 决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种,分类树对离散变量做决策树,回归树对连续变量做决策树。 近来的调查表明决策树也是最经常使用的数据挖掘算法,它的概念非常简单。决策树算法之所 阅读全文
posted @ 2016-05-08 18:01 sxron 阅读(89292) 评论(2) 推荐(2) 编辑
摘要: 朴素贝叶斯算法简单高效,在处理分类问题上,是应该首先考虑的方法之一。 1、准备知识 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。 这个定理解决了现实生活里经常遇到的问题:已知某条件概率,如何得到两个事件交换后的概率,也就是在已知P(A|B)的情况下如何求得P(B 阅读全文
posted @ 2016-05-02 18:34 sxron 阅读(48838) 评论(5) 推荐(1) 编辑
摘要: 1、KNN算法概述 kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 2、KNN算法介绍 最简单最初级的分类器是将全部的训 阅读全文
posted @ 2016-05-02 09:47 sxron 阅读(44323) 评论(0) 推荐(0) 编辑