技术研究与问题解决

2020年2月6日

摘要：网上有很多关于sklearn的学习教程，大部分都是简单的讲清楚某一方面，其实最好的教程就是官方文档。官方文档地址：https://scikit-learn.org/stable/ （可是官方文档非常详细，同时许多人对官方文档的理解和结构上都不能很好地把握，我也打算好好学习sklearn，这可能是机阅读全文

posted @ 2020-02-06 18:50 技术研究与问题解决阅读(262) 评论(0) 推荐(0)

2020年2月5日

线性回归理解（附纯python实现）

摘要：线性回归理解（附纯python实现）阅读全文

posted @ 2020-02-05 20:36 技术研究与问题解决阅读(178) 评论(0) 推荐(0)

Flatmap 和map 区别

摘要： map将函数作用到数据集的每一个元素上，生成一个新的分布式的数据集(RDD)返回 map函数的源码： def map(self, f, preservesPartitioning=False): """ Return a new RDD by applying a function to each 阅读全文

posted @ 2020-02-05 14:59 技术研究与问题解决阅读(2195) 评论(0) 推荐(0)

【spark】常用转换操作：reduceByKey和groupByKey

摘要： 1.reduceByKey(func) 功能：使用 func 函数合并具有相同键的值。示例： 1 2 3 4 val list = List("hadoop","spark","hive","spark") val rdd = sc.parallelize(list) val pairRdd = 阅读全文

posted @ 2020-02-05 14:07 技术研究与问题解决阅读(430) 评论(0) 推荐(0)

python中的Iterable对象和Iterator

摘要：参考链接：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143178254193589df9c612d2449618ea460e7a672a366000?tdsourceta 阅读全文

posted @ 2020-02-05 10:21 技术研究与问题解决阅读(158) 评论(0) 推荐(0)

2020年2月3日

logistic回归损失函数（非常重要，深入理解）

摘要： 2.2 logistic回归损失函数（非常重要，深入理解）上一节当中，为了能够训练logistic回归模型的参数w和b，需要定义一个成本函数使用logistic回归训练的成本函数为了让模型通过学习来调整参数，要给出一个含有m和训练样本的训练集很自然的，希望通过训练集找到参数w和b，来得到自己阅读全文

posted @ 2020-02-03 22:20 技术研究与问题解决阅读(1334) 评论(0) 推荐(0)

Logistic回归算法梯度公式的推导

摘要： Logistic回归算法梯度公式的推导阅读全文

posted @ 2020-02-03 19:58 技术研究与问题解决阅读(139) 评论(0) 推荐(0)

2020年1月19日

ik分词器动态加载数据到ik的系统词库（不采用配置文件配置自定义词库的方式）...

摘要： ik分词器动态加载数据到ik的系统词库（不采用配置文件配置自定义词库的方式）... 阅读全文

posted @ 2020-01-19 12:05 技术研究与问题解决阅读(641) 评论(0) 推荐(0)

Solr动态加载分词器的自定义词库扩展词库解决方案

摘要： Solr动态加载分词器的自定义词库扩展词库解决方案阅读全文

posted @ 2020-01-19 11:30 技术研究与问题解决阅读(275) 评论(0) 推荐(0)

2020年1月18日

spark-mllib 密集向量和稀疏向量

摘要： MLlib支持局部向量和矩阵存储在单台服务器，也支持存储于一个或者多个rdd的分布式矩阵。局部向量和局部矩阵是用作公共接口的最简单的数据模型。基本的线性代数运算由Breeze提供。在监督学习中使用的训练示例在MLlib中称为“标记点”。因此，向量和矩阵，标记点是 spark-mllib基本的阅读全文

posted @ 2020-01-18 19:15 技术研究与问题解决阅读(316) 评论(0) 推荐(0)

公告