摘要：
提高速度和性能。可以从下面几个点去优化 可以在本地运行调试来优化性能，但是本地和集群是完全不同的环境，数据流模式也截然不同，性能优化要在集群上测试。有些问题如（内存溢出）只能在集群上重现。 HPROF任务分析工具，使用下面命令启动jdk自带的分析工具，提供CPU和堆栈使用情况。 % hadoop j 阅读全文
posted @ 2020-01-08 21:04
一字千金
阅读(113)
评论(0)
推荐(0)
摘要：
1.1 集群运行 1.1.1 集群运行步骤 (1)打包 打作业jar包发送给集群，hadoop通过搜索驱动程序的类路径（驱动程序中通过setJarByClass设置）自动查找作业的的jar文件，打包命令： mvn package –DskipTests //–DskipTests 跳过测试的意思 （ 阅读全文
posted @ 2020-01-08 21:00
一字千金
阅读(295)
评论(0)
推荐(0)
浙公网安备 33010602011771号