摘要： 最近在进行一个产品推荐课题时,由于产品的特性导致正负样本严重失衡,远远大于3:1的比例(个人认为3:1是建模时正负样本的一个临界点),这样的样本不适合直接用来建模,例如正负样本的比例达到了50:1,就算算法全部预测为另一样本,准确率也会达到51/50=98%.具有很大的局限性. 处理不平衡样本的方法 阅读全文

摘要： metrics是sklearn用来做模型评估的重要模块，提供了各种评估度量，现在自己整理如下： 一.通用的用法：Common cases: predefined values 1.1 sklearn官网上给出的指标如下图所示： 1.2除了上图中的度量指标以外，你还可以自定义一些度量指标：通过skle 阅读全文

摘要： sklearn作为Python的强大机器学习包，model_selection模块是其重要的一个模块： 1.model_selection.cross_validation: （1）分数，和交叉验证分数 众所周知，每一个模型会得出一个score方法用于裁决模型在新的数据上拟合的质量。其值越大越好。 阅读全文

摘要： 为什么单独讲解combineByKey？ 因为combineByKey是Spark中一个比较核心的高级函数，其他一些高阶键值对函数底层都是用它实现的。诸如 groupByKey,reduceByKey等等 如下给出combineByKey的定义，其他的细节暂时忽略(1.6.0版的函数名更新为comb 阅读全文

摘要： 转载自：http://blog.csdn.net/qingyang0320/article/details/51603243 针对Spark的RDD，API中有一个aggregate函数，本人理解起来费了很大劲，明白之后，mark一下，供以后参考。 首先，Spark文档中aggregate函数定义如 阅读全文

摘要： 转载自：http://blog.csdn.net/u012526120/article/details/49149317 1. sigmoid激活函数 sigmoid将一个实数输入映射到[0,1]范围内，如下图（左）所示。使用sigmoid作为激活函数存在以下几个问题： 梯度饱和。当函数激活值接近于 阅读全文

摘要： """ 1、30s上手keras """ #keras的核心数据结构是“模型”，模型是一种组织网络层的方式,keras 的主要模型是Sequential模型,Sequential是一系列网络层按顺序构成的栈 from keras.models import Sequential model=Sequential() ###将一些网络层通过.add()叠加起来，就构成了一个模型 from kera... 阅读全文

摘要： 在使用PLSQL连接oracle数据库处理数据的过程中，常用的操作是通过ID查询出数据，ID需要附上单引号，如果查询的ID为一条或者几条，我们手动添加即可，但是如果是几百条、几千条的话，就需要使用一些方法来进行批量处理。 这里就介绍使用Excel表格进行批量添加的方法。 表格制作过程如下： A2表格 阅读全文

摘要： pyttsx的python的文字转语音的包，但是pyttsx的官方网站上资源只更新2012年，所以在py3中使用pip install pyttsx或者下载安装包进行安装时，虽然可以安装成功，但是import时候会出问题。 会显示导入出错。 解决方法： 阅读全文

摘要： 使用Selenium爬虫时，可能会遇到一些下拉菜单，动态加载，如果直接使用find_element_by_函数会报错，显示selenium.common.exceptions.ElementNotVisibleException: Message: element not visible。 意思是e 阅读全文