摘要：
写在前面 本文绝大部分内容翻译自Understanding LSTM Networks，这是一篇相当清晰的讲解LSTM的文章，文章做到了避开了复杂公式的同时还讲清楚了这一较为复杂的RNN网络。 本文在翻译的过程中并未逐字逐句翻译，但求易读，同时还结合了一些自己的理解和Andrew Ng课程中的笔记， 阅读全文
posted @ 2021-04-02 19:19
seekerJunYu
阅读(888)
评论(0)
推荐(0)
摘要：
所记均为笔者在工作中用到的一些实践方法, 目前打算把机器学习部分全都整理在一篇文章中 向量Vectors spark中的向量直接分为密集和稀疏向量,两者的表示方式也是有很大的不同. from pyspark.ml.linalg import Vectors densVec = Vectors.den 阅读全文
posted @ 2020-11-21 17:08
seekerJunYu
阅读(365)
评论(0)
推荐(0)
摘要：
fill关键字的用法 Replace null values, alias for na.fill(). DataFrame.fillna() and DataFrameNaFunctions.fill() are aliases of each other. Parameters value – 阅读全文
posted @ 2020-11-21 17:01
seekerJunYu
阅读(672)
评论(0)
推荐(0)
摘要：
过滤筛选 在pyspark中支持了用filter/where等方法进行数据筛选与过滤的操作(这样的操作在习惯用pandas后未免会觉得有点冗余). from pyspark.sql import SparkSession spark = SparkSession.bulider.appName('t 阅读全文
posted @ 2020-11-21 16:54
seekerJunYu
阅读(3071)
评论(1)
推荐(0)
摘要：
行运算 from functools import reduce mean_res = reduce(lambda data,idx :data.withColumn('mean', data['mean'] + data[idx]), range(len(mean_.columns)), mean 阅读全文
posted @ 2020-11-21 16:50
seekerJunYu
阅读(417)
评论(0)
推荐(0)
摘要：
agg操作&自定义聚合函数 agg-groupby的情况 pyspark中的agg聚合运算应该才能达到聚合字段的目的, apply的运算都是一行一行的运算且并没有真实的聚合. pyspark中已经对agg操作定义了很多方便的运算函数,可以直接调用来对其进行运算. from: + + + + + + 阅读全文
posted @ 2020-11-21 16:49
seekerJunYu
阅读(5707)
评论(0)
推荐(0)
摘要：
前言 pandas作为一个常用的数据处理与运算的框架,以其编程灵活方便受到许多数据爱好者的喜爱。在spark2.2中也添加了Pandas_UDF这一API，使得工程师们在编写spark程序时也可以运用Pandas_UDF方法可以快速改造pandas代码转向pyspark Pyspark和Pandas 阅读全文
posted @ 2020-11-21 16:48
seekerJunYu
阅读(985)
评论(0)
推荐(0)
摘要：
本机配置: system :Win10 64bit GPU: 1050Ti 4G 安装前的准备工作 在配置pytorch的GPU版环境前需要确定好需要安装的pytorch版本，从而确定CUDA与CUDANN的对应版本，各个包的版本一定要能够对应上，否则会出错。 pytorch各个版本的下载链接： h 阅读全文
posted @ 2020-08-24 10:59
seekerJunYu
阅读(945)
评论(0)
推荐(0)
摘要：
（部分内容可能需要梯子） 一大波问题: VP面试注意问题 面试过程中业务、总监、HR、VP分别考什么？应该注意什么？ 机器学习算法小结与收割offer遇到的问题 面试准备--简答篇 BAT机器学习面试1000题系列（第1~305题） 面试笔试整理 面试整理_1 面试整理_2 面试笔试整理3：深度学习 阅读全文
posted @ 2020-07-10 00:04
seekerJunYu
阅读(361)
评论(0)
推荐(0)
摘要：
AUC是一种衡量机器学习模型分类性能的重要且非常常用的指标,其只能用于二分类的情况. AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率( :-) 没办法这句话就是这么绕, rap~). AUC作为数值,那么到底是怎么来的?怎么理解 阅读全文
posted @ 2020-07-09 23:56
seekerJunYu
阅读(2711)
评论(0)
推荐(0)
浙公网安备 33010602011771号