TTyb

python dataframe 一行变多行

摘要： python代码报错： 'DataFrame' object has no attribute 'explode' 原因是pandas版本低于0.25，在0.25以上才有explode函数，所一不想升级的可以自己拆分没有explode 原始数据： import pandas as pd df = 阅读全文

posted @ 2022-07-06 11:50 TTyb 阅读(699) 评论(0) 推荐(0)

pandas dataframe apply 传入外部参数 args

摘要： # !/usr/bin/python3 import pandas as pd # 如果x小于threshold就等于1，否则等于0 def juege_threshold(x,threshold): return 1 if x<=threshold else 0 data_dict={"value 阅读全文

posted @ 2022-05-12 10:37 TTyb 阅读(491) 评论(0) 推荐(0)

plot_importance多分类、排序不匹配、图片数值不显示

摘要：多分类 params = {'booster': 'gbtree', 'objective': 'reg:squarederror', "learning_rate": 0.01, 'n_estimators': 500, "missing": -1} multioutputregressor_xg 阅读全文

posted @ 2022-01-24 15:36 TTyb 阅读(379) 评论(0) 推荐(0)

【机器学习】算法原理详细推导与实现(七):决策树算法

摘要：【机器学习】算法原理详细推导与实现(七):决策树算法在之前的文章中，对于介绍的分类算法有逻辑回归算法和朴素贝叶斯算法，这类算法都是二分类的分类器，但是往往只实际问题中$y$不仅仅只有$\{0,1\}$，当出现一个新的类别$y=2$时，之前的分类器就不太适用，这里就要介绍一个叫做决策树的阅读全文

posted @ 2020-08-22 08:23 TTyb 阅读(1293) 评论(0) 推荐(0)

hive排序后collect_set

摘要：假设存在表格如下： select 'a' as category, 19 as duration union all select 'b' as category, 15 as duration union all select 'c' as category, 12 as duration uni 阅读全文

posted @ 2020-05-27 11:29 TTyb 阅读(4472) 评论(0) 推荐(0)

conda install 下载慢报错解决

摘要：下载失败出现如下报错：解决方法一出现错误即是下载失败，配置清华大学镜像源：解决方法二如果清华大学镜像源里面没有这个库，那么还是会从原来的镜像里面下载。这里解决方法是使用等其他下载器将下载到本地，执行本地安装：如果出现错误：需要清理之前的缓存：然后再重新执行本地安装阅读全文

posted @ 2020-04-22 14:41 TTyb 阅读(1903) 评论(0) 推荐(0)

hive -f -e 替换\t为逗号

摘要：在后面加入即可： hive e "select from tablename" | tr "\t" "," local.csv 阅读全文

posted @ 2020-04-17 14:59 TTyb 阅读(675) 评论(0) 推荐(0)

spark dataframe 转换 json

摘要：首先新建一个打印结构是： spark 自带函数列表型json 但是如果想得到第一列为，第二列为，那么写法是这样子的：合并JSONArray key:value 但是上面发现每一个都放在一个括号里面，怎么把他们合并成起来？只需要文本处理一下：怎么把这个字符串变成通过值来取得？定义一阅读全文

posted @ 2020-04-14 15:41 TTyb 阅读(2469) 评论(0) 推荐(0)

将markdown文章包括公式图片完美导入知乎

摘要：打开编辑器，，切记打开正则表达式和匹配新行：将文章公式中的\$\$替换：替换成将文章公式中的\$替换：替换成最后使用知乎的导入markdown 功能即可，实例可看 "【机器学习】算法原理详细推导与实现(一):线性回归" PS：知乎的 markdown 和CSDN的格式相同，用C 阅读全文

posted @ 2020-04-04 22:16 TTyb 阅读(1402) 评论(0) 推荐(0)

【机器学习】算法原理详细推导与实现(六):k-means算法

摘要：【机器学习】算法原理详细推导与实现(六):k means算法之前几个章节都是介绍有监督学习，这个章节介绍无监督学习，这是一个被称为的聚类算法，也叫做 k均值聚类算法。聚类算法在讲监督学习的时候，通常会画这样一张图：这时候需要用回归或者将这些数据分成正负两类，这个过程称之为监督学习阅读全文

posted @ 2020-02-23 09:52 TTyb 阅读(3753) 评论(0) 推荐(0)

【机器学习】算法原理详细推导与实现(五):支持向量机(下)

摘要：【机器学习】算法原理详细推导与实现(五):支持向量机(下) 上一章节介绍了支持向量机的生成和求解方式，能够根据训练集依次得出$\omega$、$b$的计算方式，但是如何求解需要用到核函数，将在这一章详细推导实现。核函数在讲核函数之前，要对上一章节得到的结果列举出来。之前需要优化的凸函数为： \[ 阅读全文

posted @ 2020-02-07 12:15 TTyb 阅读(743) 评论(0) 推荐(1)

【机器学习】算法原理详细推导与实现(四):支持向量机(上)

摘要：【机器学习】算法原理详细推导与实现(四):支持向量机(上) 在之前的文章中，包括线性回归和逻辑回归，都是以线性分界线进行分割划分种类的。而本次介绍一种很强的分类器【支持向量机】，它适用于线性和非线性分界线的分类方法。函数间隔概念为了更好的理解非线性分界线，区别两种分界线对于分类的直观理解，第一种阅读全文

posted @ 2020-02-05 16:52 TTyb 阅读(894) 评论(0) 推荐(0)

Linux查看文件夹大小

摘要： ``` du -h --max-depth=1 ./ ``` 阅读全文

posted @ 2019-09-04 11:02 TTyb 阅读(340) 评论(0) 推荐(0)

爬虫之抓js教程

摘要：在初学的爬虫过程中，很多人还不知道有些字段是如何生成的，怎样模拟生成这些字段来拼接头部。为了再次纪念【宏彦获水】成语初次面世，特地用【百度登陆】写下一篇登陆百度的教程，以供大家参考。前面学习了如何在的时候想服务器发送多变的请求数据，从而达到搜索的效果，而实际上！所以本文将要介绍如何向百度服务器阅读全文

posted @ 2019-07-13 17:07 TTyb 阅读(4278) 评论(0) 推荐(2)

爬虫之抓包教程

摘要：在初学的爬虫过程中，很多人还不知道如何抓包，怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世，特地用【百度搜索】写下一篇作者常用工具的抓包教程，以供大家参考。抓包过程中，一般是的抓包和抓包，其中抓包分为：普通get、带参数get、json抓包，其中是重中之重。而一般阅读全文

posted @ 2019-07-07 16:29 TTyb 阅读(5132) 评论(0) 推荐(1)

个人博客转至：tybai.com