寒假学习

2. 为什么要在全部的服务器安装jieba库?

因为YARN是集群运行, Executor可以在所有服务器上执行, 所以每个服务器都需要有jieba库提供支

撑

3. 如何尽量提高任务计算的资源?

计算CPU核心和内存量, 通过--executor-memory 指定executor内存, 通过--executor-cores 指定

executor的核心数

通过--num-executors 指定总executor数量