个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub

置顶随笔

[置顶]零基础如何学Python爬虫技术?

摘要: 在作者学习的众多编程技能中,爬虫技能无疑是最让作者着迷的。与自己闭关造轮子不同,爬虫的感觉是与别人博弈,一个在不停的构建 反爬虫 规则,一个在不停的破译规则。 如何入门爬虫?零基础如何学爬虫技术?那前提肯定会是需要学习一门 简单易入门 的编程语言了,就作者而言, 无疑是最合适的!到2014年7月为止阅读全文

posted @ 2017-05-29 11:34 TTyb 阅读(1649) 评论(1) 编辑

2019年5月13日

Python3 打包exe

摘要: cx_Freeze(不推荐) 以前只用 支持将 打包成 ,示例如下: 在你要打包的 文件下新建这个 文件: 然后在当前命令行执行: 这时候会在当前目录下生成一个 文件,里面就有一个 注意: cx_Freeze 打包回忽略依赖文件,所有一般依赖文件要手动从 site packge 里面拷贝到build阅读全文

posted @ 2019-05-13 10:40 TTyb 阅读(12) 评论(0) 编辑

2019年4月29日

基于漫威系列电影好看程度排序

摘要: 引申问题 在选择电影时,如果热门电影A有 人观众打分,冷门电影B有 个人打分,他们的豆瓣评分都是 分,怎么比较两部电影的好坏?平时我们都有一种感觉,很多人去评价,这个东西就更可信,只有一两个人说好,可能是托,那么感觉上是电影A更好。 再例如《漫威》系列电影中,距离《复仇者联盟4》上映一周,豆瓣分都是阅读全文

posted @ 2019-04-29 11:18 TTyb 阅读(686) 评论(0) 编辑

2019年4月19日

淘宝天猫商品库存抓取分析

摘要: 昨天收到公众号粉丝的爬虫需求: 因此花费两天时间抓取完成,基于 抓取, 可视化页面查看,目前支持网页可视化查看: 用途 实时监控竞品销量: 使用方式 下载代码 首先在我的 上面下载该项目的代码,项目地址为: "tbtmStore" 代码的结构路径为: static bootstrap.min.css阅读全文

posted @ 2019-04-19 18:30 TTyb 阅读(135) 评论(0) 编辑

2019年3月28日

flask下载excel

摘要: `flask` 应用的基本结构: 将 "bootstrap.min.css" 放到 文件夹下,在 文件夹下新建 ,里面写入如下信息: 在 中写入如下内容: 运行在浏览器访问 "127.0.0.1:88" 可以看到新建的页面,在页面访问 "127.0.0.1/download" 可以下载生成的 :阅读全文

posted @ 2019-03-28 16:22 TTyb 阅读(19) 评论(0) 编辑

2019年3月6日

DataFrameNaFunctions无fill方法

摘要: 当我使用 ,为了填补 里面的 值转换为 ,代码如下所示: 出现如下错误 : 原来在 版本暂时不支持 写法,因此查询众多方式得到解决:阅读全文

posted @ 2019-03-06 09:56 TTyb 阅读(39) 评论(0) 编辑

2019年1月4日

零基础如何做一个不花钱的个人网站?

摘要: 很多网友在后台留言,或者私聊作者有关于作者独立博客是怎么做的,想要作者写一篇教程关于建立独立博客的,由此开始准备建立独立博客的教程。 在 世纪流量为主,作者的博客至今为止也就才建立 年,如今已累计有 个的 访问过,更是建立了自己独有的品牌。如果你在百度上面搜索 ,排名前面的位置都是关于作者的博客。 阅读全文

posted @ 2019-01-04 09:42 TTyb 阅读(199) 评论(8) 编辑

2018年12月29日

pyspark列合并为一行

摘要: 将 利用 列合并为一行,类似于 的 函数。例如如下 : 需要按照列相同的列 将 合并,想要的结果为: 利用 去实现就好, 里面可以用 实现,可以看这个 "Spark中SQL列合并为一行" ,而这里的 合并缺很奇怪, "官方文档" 的实例为: 作者自己尝试得到: 不是想要的效果。而 能得到相同的效果:阅读全文

posted @ 2018-12-29 16:09 TTyb 阅读(121) 评论(0) 编辑

2018年12月24日

链家二手房楼盘爬虫

摘要: 前言 想看下最近房价是否能入手,抓取链家 二手房 、 新房 的信息,发现广州有些精装修 88平米 的 3房2厅 首付只要 万!平均 万/平: 查看请求信息 本次用的是火狐浏览器32.0配合 和 使用,基于 环境,前期步骤: 1. 首先打开 浏览器,清除网页所有的历史纪录,这是为了防止以前的 影响服务阅读全文

posted @ 2018-12-24 11:20 TTyb 阅读(1081) 评论(6) 编辑

2018年12月14日

hive删除表和表中的数据

摘要: hive删除表和表中的数据,以及按分区删除数据 hive删除表: hive删除表中数据: hive按分区删除数据:阅读全文

posted @ 2018-12-14 11:42 TTyb 阅读(528) 评论(0) 编辑

hive新建分区表

摘要: hive新建分区表语句如下:阅读全文

posted @ 2018-12-14 11:41 TTyb 阅读(25) 评论(0) 编辑

2018年12月4日

csdn阅读更多需要注册登录csdn

摘要: csdn目前设置每日使用5次后必须登录才能看到阅读更多的内容,异常恶心。因此搜罗了方法去解决这个问题 方法一 打开想看的 后,在 里边执行以下代码: 方法二: 在如下网址下载 并安装,目前测试只能用于 : "GreasFork"阅读全文

posted @ 2018-12-04 10:27 TTyb 阅读(87) 评论(0) 编辑

2018年11月21日

pandas和spark的dataframe互转

摘要: pandas的dataframe转spark的dataframe spark的dataframe转pandas的dataframe 由于 的方式是单机版的,即 的方式是单机版的,所以参考 "breeze_lsw" 改成分布式版本:阅读全文

posted @ 2018-11-21 16:50 TTyb 阅读(905) 评论(0) 编辑

2018年11月6日

代码转换为html显示

摘要: 需要将代码转换为 使其显示好看一些,可以在这里进行装换: "https://tohtml.com/" "http://hilite.me/"阅读全文

posted @ 2018-11-06 10:21 TTyb 阅读(26) 评论(0) 编辑

2018年11月1日

subprocess实时获取结果和捕获错误

摘要: 需要调用命令行来执行某些命令,主要是用 实时获取结果和捕获错误,发现subprocess的很多坑。 普通获取结果方式,其需要命令完全执行才能返回结果: 客 实时获取结果: 想要获取报错机制,使用 "check_output" 捕捉报错和使用 "check_call" 捕捉报错,及时在 "Popen"阅读全文

posted @ 2018-11-01 15:50 TTyb 阅读(50) 评论(0) 编辑

2018年10月29日

centos7开放端口和防火墙设置

摘要: centos7开放端口和防火墙设置。 查看防火墙状态: 如果显示: 打开防火墙服务: 永久开放 协议下的 端口: 重启防火墙: 重新加载防火墙: 查看当前开放的端口和协议: 显示为: 启动端口服务,方便让 下 过来: 停止防火墙服务: 永久停止防火墙,开机不会启动:阅读全文

posted @ 2018-10-29 17:08 TTyb 阅读(30) 评论(0) 编辑

导航

公告


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock