|
摘要：
1. 集群任务队列: 一般有 root.default, root.online, root.offline, root.spark-thiftserver Hue提交的任务一般默认在 default队列 如果是紧急任务，可以提交到其他队列，会快很多 方法： 指定队列 set mapreduce.j 阅读全文
posted @ 2018-07-10 10:27
Suckseedeva
阅读(472)
评论(0)
推荐(0)
摘要：
1. kaggle泰坦尼克数据titanic完整下载，原作者良心分享 https://download.csdn.net/download/lansui7312/9936840 2. 缺失值处理 3. 阅读全文
posted @ 2018-05-04 17:37
Suckseedeva
阅读(707)
评论(0)
推荐(0)
摘要：
1. 读取和保存 csv文件 2. pandas如何根据字段进行过滤 3. python脚本运行日志保存 4. 排序，生成序列号 5. join操作 6. dataframe 某个字段的类型转化 7. spark 和python的 Data Frame之间互相转换 8. python 对hive读和 阅读全文
posted @ 2018-04-28 16:33
Suckseedeva
阅读(597)
评论(0)
推荐(0)
摘要：
建表可以用 map<string,string> 查询时可以按照 aaa[bbb], aaa 是map字段名，bbb是其中的参数名，就可以取到这个参数的值了 当参数名bbb是string时，需要加双引号。例： aaa： {"url":"http://Detail?activityId=7"} aaa 阅读全文
posted @ 2018-04-18 17:07
Suckseedeva
阅读(14245)
评论(0)
推荐(0)
摘要：
场景： 在执行insert into或insert overwrite任务时，中途手动将程序停掉，会出现卡死情况（无法提交MapReduce），只能执行查询操作，而drop insert操作均不可操作，无论执行多久，都会保持卡死状态 临时解决办法是……把表名换一个…… 根本原因是：hive表被锁或者 阅读全文
posted @ 2018-04-12 11:28
Suckseedeva
阅读(15138)
评论(0)
推荐(0)
摘要：
安装直接按这个步骤了： https://hub.mybinder.org/user/ipython-ipython-in-depth-xj8fraz8/notebooks/binder/Index.ipynb 然后启动notebook： cd /Users/yuanyuan/Documents/Bi 阅读全文
posted @ 2018-04-04 21:39
Suckseedeva
阅读(610)
评论(0)
推荐(0)
摘要：
1 删除非空文件夹 2 把int转化成binary 3 pycharm 快捷键 CTRL + ? 可以快速注释或者取消注释所在行和选中区域 CTRL + ALT + B 可以定位，查看函数的实现 阅读全文
posted @ 2017-12-25 20:47
Suckseedeva
阅读(252)
评论(0)
推荐(0)
摘要：
https://jingyan.baidu.com/article/5bbb5a1b3f471613eba17908.html 阅读全文
posted @ 2017-12-14 10:16
Suckseedeva
阅读(1028)
评论(0)
推荐(0)
摘要：
K12 教育: kidgarden twelveth grade 指幼儿园起到十二年级(高三)的基础教育 FAQ：frequently asked questions 常见问题解答 http://www.tmtpost.com/2913379.html 阅读全文
posted @ 2017-11-22 20:18
Suckseedeva
阅读(687)
评论(0)
推荐(0)
摘要：
原因：两个表join的时候，不支持两个表的字段 非相等 操作。 可以把不相等条件拿到 where语句中。 例如： right JOIN test.dim_month_date p2 on p1.month=p2.y_month and p1.day<=p2.day 可以改写成 right JOIN 阅读全文
posted @ 2017-11-08 16:08
Suckseedeva
阅读(19671)
评论(0)
推荐(0)
|
浙公网安备 33010602011771号