TTyb

【机器学习】算法原理详细推导与实现(七):决策树算法

摘要：【机器学习】算法原理详细推导与实现(七):决策树算法在之前的文章中，对于介绍的分类算法有逻辑回归算法和朴素贝叶斯算法，这类算法都是二分类的分类器，但是往往只实际问题中$y$不仅仅只有${0,1}$，当出现一个新的类别$y=2$时，之前的分类器就不太适用，这里就要介绍一个叫做决策树的新算法，该算法对阅读全文

posted @ 2020-08-22 08:23 TTyb 阅读(704) 评论(0) 推荐(0) 编辑

hive排序后collect_set

摘要：假设存在表格如下： select 'a' as category, 19 as duration union all select 'b' as category, 15 as duration union all select 'c' as category, 12 as duration uni 阅读全文

posted @ 2020-05-27 11:29 TTyb 阅读(2498) 评论(0) 推荐(0) 编辑

conda install 下载慢报错解决

摘要：下载失败出现如下报错：解决方法一出现错误即是下载失败，配置清华大学镜像源：解决方法二如果清华大学镜像源里面没有这个库，那么还是会从原来的镜像里面下载。这里解决方法是使用等其他下载器将下载到本地，执行本地安装：如果出现错误：需要清理之前的缓存：然后再重新执行本地安装阅读全文

posted @ 2020-04-22 14:41 TTyb 阅读(1406) 评论(0) 推荐(0) 编辑

hive -f -e 替换\t为逗号

摘要：在后面加入即可： hive e "select from tablename" | tr "\t" "," local.csv 阅读全文

posted @ 2020-04-17 14:59 TTyb 阅读(449) 评论(0) 推荐(0) 编辑

spark dataframe 转换 json

摘要：首先新建一个打印结构是： spark 自带函数列表型json 但是如果想得到第一列为，第二列为，那么写法是这样子的：合并JSONArray key:value 但是上面发现每一个都放在一个括号里面，怎么把他们合并成起来？只需要文本处理一下：怎么把这个字符串变成通过值来取得？定义一阅读全文

posted @ 2020-04-14 15:41 TTyb 阅读(1338) 评论(0) 推荐(0) 编辑

将markdown文章包括公式图片完美导入知乎

摘要：打开编辑器，，切记打开正则表达式和匹配新行：将文章公式中的\$\$替换：替换成将文章公式中的\$替换：替换成最后使用知乎的导入markdown 功能即可，实例可看 "【机器学习】算法原理详细推导与实现(一):线性回归" PS：知乎的 markdown 和CSDN的格式相同，用C 阅读全文

posted @ 2020-04-04 22:16 TTyb 阅读(765) 评论(0) 推荐(0) 编辑

【机器学习】算法原理详细推导与实现(六):k-means算法

摘要：【机器学习】算法原理详细推导与实现(六):k means算法之前几个章节都是介绍有监督学习，这个章节介绍无监督学习，这是一个被称为的聚类算法，也叫做 k均值聚类算法。聚类算法在讲监督学习的时候，通常会画这样一张图：这时候需要用回归或者将这些数据分成正负两类，这个过程称之为监督学习阅读全文

posted @ 2020-02-23 09:52 TTyb 阅读(1266) 评论(0) 推荐(0) 编辑

【机器学习】算法原理详细推导与实现(五):支持向量机(下)

摘要：【机器学习】算法原理详细推导与实现(五):支持向量机(下) 上一章节介绍了支持向量机的生成和求解方式，能够根据训练集依次得出$\omega$、$b$的计算方式，但是如何求解需要用到核函数，将在这一章详细推导实现。核函数在讲核函数之前，要对上一章节得到的结果列举出来。之前需要优化的凸函数为： \[ 阅读全文

posted @ 2020-02-07 12:15 TTyb 阅读(484) 评论(0) 推荐(1) 编辑

【机器学习】算法原理详细推导与实现(四):支持向量机(上)

摘要：【机器学习】算法原理详细推导与实现(四):支持向量机(上) 在之前的文章中，包括线性回归和逻辑回归，都是以线性分界线进行分割划分种类的。而本次介绍一种很强的分类器【支持向量机】，它适用于线性和非线性分界线的分类方法。函数间隔概念为了更好的理解非线性分界线，区别两种分界线对于分类的直观理解，第一种阅读全文

posted @ 2020-02-05 16:52 TTyb 阅读(566) 评论(0) 推荐(0) 编辑

Linux查看文件夹大小

摘要： ``` du -h --max-depth=1 ./ ``` 阅读全文

posted @ 2019-09-04 11:02 TTyb 阅读(263) 评论(0) 推荐(0) 编辑

爬虫之抓js教程

摘要：在初学的爬虫过程中，很多人还不知道有些字段是如何生成的，怎样模拟生成这些字段来拼接头部。为了再次纪念【宏彦获水】成语初次面世，特地用【百度登陆】写下一篇登陆百度的教程，以供大家参考。前面学习了如何在的时候想服务器发送多变的请求数据，从而达到搜索的效果，而实际上！所以本文将要介绍如何向百度服务器阅读全文

posted @ 2019-07-13 17:07 TTyb 阅读(3365) 评论(0) 推荐(1) 编辑

爬虫之抓包教程

摘要：在初学的爬虫过程中，很多人还不知道如何抓包，怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世，特地用【百度搜索】写下一篇作者常用工具的抓包教程，以供大家参考。抓包过程中，一般是的抓包和抓包，其中抓包分为：普通get、带参数get、json抓包，其中是重中之重。而一般阅读全文

posted @ 2019-07-07 16:29 TTyb 阅读(3711) 评论(0) 推荐(1) 编辑

spark org.apache.spark.ml.linalg.DenseVector cannot be cast to org.apache.spark.ml.linalg.SparseVector

摘要：在使用转换特征后，想要放入去训练的时候出现错误：修改如下：阅读全文

posted @ 2019-07-05 10:13 TTyb 阅读(1485) 评论(0) 推荐(1) 编辑

【机器学习】算法原理详细推导与实现(三):朴素贝叶斯

摘要：【机器学习】算法原理详细推导与实现(三):朴素贝叶斯在上一篇算法中，逻辑回归作为一种二分类的分类器，一般的回归模型也是是判别模型，也就根据特征值来求结果概率。形式化表示为 $p(y|x;\theta)$，在参数 $\theta$ 确定的情况下，求解条件概率 $p(y|x)$ 。通俗的解阅读全文

posted @ 2019-07-05 10:09 TTyb 阅读(1670) 评论(0) 推荐(0) 编辑

【机器学习】算法原理详细推导与实现(二):逻辑回归

摘要：【机器学习】算法原理详细推导与实现(二):逻辑回归在上一篇算法中，线性回归实际上是连续型的结果，即 $y\in R$ ，而逻辑回归的 $y$ 是离散型，只能取两个值 $y\in \{0,1\}$，这可以用来处理一些分类的问题。 logistic函数我们可能会遇到一些分类问题，例如阅读全文

posted @ 2019-06-25 10:19 TTyb 阅读(1693) 评论(4) 推荐(2) 编辑

个人博客转至：tybai.com