个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub
共 14 页: 上一页 1 2 3 4 5 6 7 下一页 末页

2018年9月28日

python将整数均分成N等分

摘要:在python中,需要将整数均分成N等分。python divide integers N equal parts sum 拆分整数 def split_integer(m, n): assert n 0 quotient = int(m / n) remainder = m % n if rema 阅读全文

posted @ 2018-09-28 11:07 TTyb 阅读 (1908) 评论 (0) 编辑

Windows7下安装pyspark

摘要:安装需要如下东西: java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致,这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 阅读全文

posted @ 2018-09-28 11:06 TTyb 阅读 (103) 评论 (0) 编辑

python的append insert extend pop del remove使用

摘要:对于 数组的操作,有插入和删除,下面介绍各个函数的功能: 插入 插入的函数有 、`insert extend` append 是在数组的末尾插入一个元素 ,如下代码为在数组 的末尾插入元素 : insert 是在 位置插入 一个元素,如下代码为在数组第 个位置插入元素 : extend 是在末尾插入 阅读全文

posted @ 2018-09-28 11:01 TTyb 阅读 (92) 评论 (0) 编辑

马尔科夫链

摘要:为了预测天气,假设观察多次后,得到天气变化的概率存在如下转换: 第一天|第二天|概率 : :|: :|: : 晴天|晴天|0.2 晴天|阴天|0.3 晴天|雨天|0.5 阴天|晴天|0.1 阴天|阴天|0.6 阴天|雨天|0.3 雨天|晴天|0.4 雨天|阴天|0.5 雨天|雨天|0.1 那么转移概 阅读全文

posted @ 2018-09-28 10:58 TTyb 阅读 (76) 评论 (0) 编辑

dataframe行变换为列

摘要:新建一个 : 需要将 的内容按照 分割,得到如下效果: 目前有两种方式实现。 方式一 使用 里面的函数,具体的方式可以看 "functions" : 方式二 使用 ,具体的方式可以看 "spark使用udf给dataFrame新增列" 阅读全文

posted @ 2018-09-28 10:57 TTyb 阅读 (223) 评论 (0) 编辑

scala获取某个时间间隔的时间

摘要:原始 : 还可以是 、 、 、 等等,打印结果如下: 阅读全文

posted @ 2018-09-28 10:56 TTyb 阅读 (646) 评论 (0) 编辑

2018年8月29日

Python3+Flask+uwsgi部署

摘要:python3 按照常规的方式安装即可: 添加环境变量 修改 的python Flask uwsgi 我的网页的路径为: 在当前路径下新建 ,写入如下信息 完成保存退出,启动命令并查看进程: 如果想要停止uwsgi,就可以杀死所有: 阅读全文

posted @ 2018-08-29 15:21 TTyb 阅读 (1076) 评论 (0) 编辑

2018年8月28日

Windows7下安装pyspark

摘要:安装需要如下东西: java "jdk 8u181 windows x64.exe" spark "spark 2.1.3 bin hadoop2.7" hadoop(版本要与spark的一致,这里都是hadoop2.7) "hadoop 2.7.7" Anaconda(这个是为了预防python出 阅读全文

posted @ 2018-08-28 09:51 TTyb 阅读 (699) 评论 (0) 编辑

2018年3月5日

spark Could not write all entries

摘要:使用 将 储存到 出现如下报错: 这个无法查到定位到报错位置,所以在新建 的时候进行如下配置: 得到新的错误: 报错显示: 负载过高,需要重新修复 本想重启 ,发现是机器 ,查错成功 阅读全文

posted @ 2018-03-05 09:13 TTyb 阅读 (472) 评论 (0) 编辑

spark按某几列删除dataframe重复行

摘要:新建一个 : 想根据 和 来删除重复行,即删掉 且 的重复行。利用 无法删除 利用 可以根据 来删除: 阅读全文

posted @ 2018-03-05 09:12 TTyb 阅读 (2997) 评论 (0) 编辑

spark对elasticsearch增删查改

摘要:增 新建一个 ,插入到索引 ,直接调用 ,让 为自己设定的 : 删 目前 没有开放删除的 ,所以删除只能用命令行: 查 根据时间范围查询,其中 可以为空,代表不以任何查询条件查询: 改 例如需要将 的 改成 , 改成 ,可以新建一个 ,按照 储存,这样 就会自动覆盖相同 下的数据: 阅读全文

posted @ 2018-03-05 09:10 TTyb 阅读 (2918) 评论 (0) 编辑

2018年2月2日

hdfs创建删除文件和文件夹

摘要:在 中,基于 命令可以给 创建文件和文件夹,或者删除文件和文件夹 创建文件的命令为: 创建文件夹的命令为: 删除文件的命令为: 删除文件夹的命令为: 阅读全文

posted @ 2018-02-02 08:53 TTyb 阅读 (948) 评论 (0) 编辑

2018年1月24日

spark调用hdfsAPI

摘要:`spark hdfs API` 查询文件名字、删除文件: 获取HDFS上面某个路径下的所有文件的名字 删除HDFS上面某个文件 阅读全文

posted @ 2018-01-24 09:10 TTyb 阅读 (482) 评论 (0) 编辑

2018年1月12日

hadoop退出安全模式Name node is in safe mode

摘要:在使用 的时候出现如下错误: 处于安全模式,所以需要退出安全模式,一般以如下方法可以解决: 实在不行还可以用如下方式: 阅读全文

posted @ 2018-01-12 09:40 TTyb 阅读 (3708) 评论 (0) 编辑

2018年1月11日

dataframe的select传入不定参数

摘要:在提取 里面的列时,需要传入不定参数,即 。例如某个 如下: 一般提取某列或者某几列的时候是这样子写的: 但是有需求需要传入不定参数提取不定的列,则可以将需要提取的列放入到一个 中,再如此调用: 因为 官方定义的时候是支持传入不定参数的: 唯一的要求是 里面元素的类型是 类型。 阅读全文

posted @ 2018-01-11 09:04 TTyb 阅读 (1124) 评论 (0) 编辑

共 14 页: 上一页 1 2 3 4 5 6 7 下一页 末页

导航


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock