个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub
上一页 1 2 3 4 5 6 7 8 ··· 14 下一页

2018年8月29日

Python3+Flask+uwsgi部署

摘要:python3 按照常规的方式安装即可: 添加环境变量 修改 的python Flask uwsgi 我的网页的路径为: 在当前路径下新建 ,写入如下信息 完成保存退出,启动命令并查看进程: 如果想要停止uwsgi,就可以杀死所有: 阅读全文

posted @ 2018-08-29 15:21 TTyb 阅读(1562) 评论(0) 推荐(0) 编辑

2018年8月28日

Windows7下安装pyspark

摘要:安装需要如下东西: java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致,这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 阅读全文

posted @ 2018-08-28 09:51 TTyb 阅读(975) 评论(0) 推荐(0) 编辑

2018年3月5日

spark Could not write all entries

摘要:使用 将 储存到 出现如下报错: 这个无法查到定位到报错位置,所以在新建 的时候进行如下配置: 得到新的错误: 报错显示: 负载过高,需要重新修复 本想重启 ,发现是机器 ,查错成功 阅读全文

posted @ 2018-03-05 09:13 TTyb 阅读(625) 评论(0) 推荐(0) 编辑

spark按某几列删除dataframe重复行

摘要:新建一个 : 想根据 和 来删除重复行,即删掉 且 的重复行。利用 无法删除 利用 可以根据 来删除: 阅读全文

posted @ 2018-03-05 09:12 TTyb 阅读(4677) 评论(0) 推荐(0) 编辑

spark对elasticsearch增删查改

摘要:增 新建一个 ,插入到索引 ,直接调用 ,让 为自己设定的 : 删 目前 没有开放删除的 ,所以删除只能用命令行: 查 根据时间范围查询,其中 可以为空,代表不以任何查询条件查询: 改 例如需要将 的 改成 , 改成 ,可以新建一个 ,按照 储存,这样 就会自动覆盖相同 下的数据: 阅读全文

posted @ 2018-03-05 09:10 TTyb 阅读(4195) 评论(0) 推荐(0) 编辑

2018年2月2日

hdfs创建删除文件和文件夹

摘要:在 中,基于 命令可以给 创建文件和文件夹,或者删除文件和文件夹 创建文件的命令为: 创建文件夹的命令为: 删除文件的命令为: 删除文件夹的命令为: 阅读全文

posted @ 2018-02-02 08:53 TTyb 阅读(1815) 评论(0) 推荐(0) 编辑

2018年1月24日

spark调用hdfsAPI

摘要:`spark hdfs API` 查询文件名字、删除文件: 获取HDFS上面某个路径下的所有文件的名字 删除HDFS上面某个文件 阅读全文

posted @ 2018-01-24 09:10 TTyb 阅读(612) 评论(0) 推荐(0) 编辑

2018年1月12日

hadoop退出安全模式Name node is in safe mode

摘要:在使用 的时候出现如下错误: 处于安全模式,所以需要退出安全模式,一般以如下方法可以解决: 实在不行还可以用如下方式: 阅读全文

posted @ 2018-01-12 09:40 TTyb 阅读(8519) 评论(0) 推荐(0) 编辑

2018年1月11日

dataframe的select传入不定参数

摘要:在提取 里面的列时,需要传入不定参数,即 。例如某个 如下: 一般提取某列或者某几列的时候是这样子写的: 但是有需求需要传入不定参数提取不定的列,则可以将需要提取的列放入到一个 中,再如此调用: 因为 官方定义的时候是支持传入不定参数的: 唯一的要求是 里面元素的类型是 类型。 阅读全文

posted @ 2018-01-11 09:04 TTyb 阅读(1545) 评论(0) 推荐(0) 编辑

2017年12月27日

github pages代码高亮highlighter

摘要:`github pages highlighter jekyll 3.0 rouge` 终于搞定了: 下载代码高亮库 在 中输入: 可以下载 出来,将这个 文件放到 项目中存放 的目录下,并在 中引用这个库,请自行更改引用的路径: 配置文件 中添加这些: 将博文 文件中的 替换为 : 调试代码高亮 阅读全文

posted @ 2017-12-27 09:44 TTyb 阅读(1633) 评论(0) 推荐(0) 编辑

2017年12月26日

spark System memory must be at least

摘要:运行 程序的时候出现错误: 在 里面找到: 设置大小: 阅读全文

posted @ 2017-12-26 09:53 TTyb 阅读(321) 评论(0) 推荐(0) 编辑

2017年12月6日

spark计算两个DataFrame的差集、交集、合集

摘要:`spark dataframe dataframe` : 差集 except + + |sentence| + + |f8934y | + + 交集 intersect + + |sentence| + + | asf| | 2143| + + 合集 union + + |sentence| + 阅读全文

posted @ 2017-12-06 11:47 TTyb 阅读(9776) 评论(0) 推荐(1) 编辑

2017年11月22日

Linux查看系统、核数、CPU、位数

摘要:查看系统: 结果为 查看核数和CPU: 个核,处理器为 , 位 阅读全文

posted @ 2017-11-22 11:13 TTyb 阅读(544) 评论(0) 推荐(0) 编辑

2017年11月11日

淘宝天猫商品抓取

摘要:知己知彼,百战百胜。意为如果对敌我双方的情况都能了解透彻,打起仗来百战就不会有危险。语出《孙子·谋攻篇》:“知彼知己,百战不殆;不知彼而知己,一胜一负;不知彼,不知己,每战必殆。” 任何一个电子商务公司想要存活下去,必须要时时掌控市场的动态,包括但不局限于: 1. 爆款款式 2. 热卖销量 3. 加 阅读全文

posted @ 2017-11-11 15:38 TTyb 阅读(4703) 评论(3) 推荐(3) 编辑

2017年11月9日

Linux suse 11 sp1 安装教程

摘要:在 中打开 文件,进入主界面,选择 : 语言选择 简体中文 ,键盘选择 美国US ,选择下一步,点击继续: 选择 全部安装 ,点击下一步: 区域选择 亚洲 ,时区选择 上海 ,点击下一步: 选择桌面看个人喜好,我选择新版本的 ,点击下一步: 选择 基于分区 ,下一步: 填写账号密码,我写的密码太简单 阅读全文

posted @ 2017-11-09 11:13 TTyb 阅读(987) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 8 ··· 14 下一页

导航


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock