爬虫之抓js教程
摘要: 在初学的爬虫过程中，很多人还不知道有些字段是如何生成的，怎样模拟生成这些字段来拼接头部。为了再次纪念【宏彦获水】成语初次面世，特地用【百度登陆】写下一篇登陆百度的教程，以供大家参考。 前面学习了如何在 的时候想服务器发送多变的请求数据，从而达到搜索的效果，而实际上 ！所以本文将要介绍如何向百度服务器阅读全文
posted @ 2019-07-13 17:07 TTyb 阅读(91) 评论(0) 编辑
爬虫之抓包教程
摘要: 在初学的爬虫过程中，很多人还不知道如何抓包，怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世，特地用【百度搜索】写下一篇作者常用工具的抓包教程，以供大家参考。 抓包过程中，一般是 的抓包和 抓包，其中 抓包分为： 普通get、带参数get、json抓包 ，其中 是重中之重。而 一般阅读全文
posted @ 2019-07-07 16:29 TTyb 阅读(40) 评论(0) 编辑
spark org.apache.spark.ml.linalg.DenseVector cannot be cast to org.apache.spark.ml.linalg.SparseVector
摘要: 在使用 转换特征后，想要放入 去训练的时候出现错误： 修改如下：阅读全文
posted @ 2019-07-05 10:13 TTyb 阅读(8) 评论(0) 编辑
【机器学习】算法原理详细推导与实现(三):朴素贝叶斯
摘要: 【机器学习】算法原理详细推导与实现(三):朴素贝叶斯 在上一篇算法中，逻辑回归作为一种二分类的分类器，一般的回归模型也是是判别模型，也就根据特征值来求结果概率。形式化表示为 $p(y|x;\theta)$，在参数 $\theta$ 确定的情况下，求解条件概率 $p(y|x)$ 。通俗的解释为：在给定阅读全文
posted @ 2019-07-05 10:09 TTyb 阅读(197) 评论(0) 编辑
【机器学习】算法原理详细推导与实现(二):逻辑回归
摘要: 【机器学习】算法原理详细推导与实现(二):逻辑回归 在上一篇算法中，线性回归实际上是 连续型 的结果，即 $y\in R$ ，而逻辑回归的 $y$ 是离散型，只能取两个值 $y\in \{0,1\}$，这可以用来处理一些分类的问题。 logistic函数 我们可能会遇到一些分类问题，例如想要划分 鸢阅读全文
posted @ 2019-06-25 10:19 TTyb 阅读(216) 评论(4) 编辑
【机器学习】算法原理详细推导与实现(一):线性回归
摘要: 【机器学习】算法原理详细推导与实现(一):线性回归 今天我们这里要讲第一个有监督学习算法，他可以用于一个回归任务，这个算法叫做 线性回归 房价预测 假设存在如下 组房价数据： | 面积(m^2)| 价格(万元) | |: :|: :| | 82.35 | 193 | | 65.00 | 213 | 阅读全文
posted @ 2019-06-13 10:49 TTyb 阅读(265) 评论(2) 编辑
Python3 打包exe
摘要: cx_Freeze（不推荐） 以前只用 支持将 打包成 ，示例如下： 在你要打包的 文件下新建这个 文件： 然后在当前命令行执行： 这时候会在当前目录下生成一个 文件，里面就有一个 注意： cx_Freeze 打包回忽略依赖文件，所有一般依赖文件要手动从 site packge 里面拷贝到build阅读全文
posted @ 2019-05-13 10:40 TTyb 阅读(47) 评论(0) 编辑
基于漫威系列电影好看程度排序
摘要: 引申问题 在选择电影时，如果热门电影A有 人观众打分，冷门电影B有 个人打分，他们的豆瓣评分都是 分，怎么比较两部电影的好坏？平时我们都有一种感觉，很多人去评价，这个东西就更可信，只有一两个人说好，可能是托，那么感觉上是电影A更好。 再例如《漫威》系列电影中，距离《复仇者联盟4》上映一周，豆瓣分都是阅读全文
posted @ 2019-04-29 11:18 TTyb 阅读(967) 评论(0) 编辑
淘宝天猫商品库存抓取分析
摘要: 昨天收到公众号粉丝的爬虫需求： 因此花费两天时间抓取完成，基于 抓取， 可视化页面查看，目前支持网页可视化查看： 用途 实时监控竞品销量： 使用方式 下载代码 首先在我的 上面下载该项目的代码，项目地址为： "tbtmStore" 代码的结构路径为： static bootstrap.min.css阅读全文
posted @ 2019-04-19 18:30 TTyb 阅读(358) 评论(0) 编辑
flask下载excel
摘要: `flask` 应用的基本结构： 将 "bootstrap.min.css" 放到 文件夹下，在 文件夹下新建 ，里面写入如下信息： 在 中写入如下内容： 运行在浏览器访问 "127.0.0.1:88" 可以看到新建的页面，在页面访问 "127.0.0.1/download" 可以下载生成的 :阅读全文
posted @ 2019-03-28 16:22 TTyb 阅读(30) 评论(0) 编辑
DataFrameNaFunctions无fill方法
摘要: 当我使用 ，为了填补 里面的 值转换为 ，代码如下所示： 出现如下错误 : 原来在 版本暂时不支持 写法，因此查询众多方式得到解决：阅读全文
posted @ 2019-03-06 09:56 TTyb 阅读(79) 评论(0) 编辑
零基础如何做一个不花钱的个人网站？
摘要: 很多网友在后台留言，或者私聊作者有关于作者独立博客是怎么做的，想要作者写一篇教程关于建立独立博客的，由此开始准备建立独立博客的教程。 在 世纪流量为主，作者的博客至今为止也就才建立 年，如今已累计有 个的 访问过，更是建立了自己独有的品牌。如果你在百度上面搜索 ，排名前面的位置都是关于作者的博客。 阅读全文
posted @ 2019-01-04 09:42 TTyb 阅读(246) 评论(8) 编辑
pyspark列合并为一行
摘要: 将 利用 列合并为一行，类似于 的 函数。例如如下 : 需要按照列相同的列 将 合并，想要的结果为： 利用 去实现就好， 里面可以用 实现，可以看这个 "Spark中SQL列合并为一行" ，而这里的 合并缺很奇怪， "官方文档" 的实例为： 作者自己尝试得到： 不是想要的效果。而 能得到相同的效果：阅读全文
posted @ 2018-12-29 16:09 TTyb 阅读(275) 评论(0) 编辑
链家二手房楼盘爬虫
摘要: 前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 万！平均 万/平： 查看请求信息 本次用的是火狐浏览器32.0配合 和 使用，基于 环境，前期步骤： 1. 首先打开 浏览器，清除网页所有的历史纪录，这是为了防止以前的 影响服务阅读全文
posted @ 2018-12-24 11:20 TTyb 阅读(1135) 评论(6) 编辑
hive删除表和表中的数据
摘要: hive删除表和表中的数据，以及按分区删除数据 hive删除表： hive删除表中数据： hive按分区删除数据：阅读全文
posted @ 2018-12-14 11:42 TTyb 阅读(1680) 评论(0) 编辑
