05 2019 档案

hadoop命令行
摘要：持续更新中。。。。。。。。。。。。。。。。 1. 设置目录配额 命令：hadoop dfsadmin -setSpaceQuota 样例：hadoop dfsadmin -setSpaceQuota 3000 /group/d_sdo_data/user/liuxiaowen 注意： 这里统计空间的 阅读全文
posted @ 2019-05-30 23:06 吊车尾88 阅读(257) 评论(0) 推荐(0)
Spark中的多线程并发处理
摘要：Spark中的多任务处理 Spark的一个非常常见的用例是并行运行许多作业。 构建作业DAG后，Spark将这些任务分配到多个Executor上并行处理。但这并不能帮助我们在同一个Spark应用程序中同时运行两个完全独立的作业，例如同时从多个数据源读取数据并将它们写到对应的存储，或同时处理多个文件等 阅读全文
posted @ 2019-05-13 14:39 吊车尾88 阅读(4996) 评论(0) 推荐(0)