摘要：一、转换算子转换算子 textfile，也会惰性加载 Transformation，懒执行，需要Action触发执行filter过滤 RDD[T]==>RDD[T],窄依赖 mapRDD[T] ->RDD[O], 窄依赖 flatMapRDD[T]–>RDD[[O]],一对多 ，窄依赖, mapTo 阅读全文

摘要：1.maven依赖 2.方法介绍（junit） （1）@BeforeClass：静态方法，当前测试类加载前调用； （2）@AfterClass：静态方法，当前测试类回收前调用； （3）@Before：每一次执行@Test修饰的测试方法前调用，常用于初始化； （4）@After：每一次执行完@Test 阅读全文

摘要：转载于：https://www.cnblogs.com/huiandong/p/9982516.html 本文是转载，但是经过验证，该文中的方法在编译的时候没问题，运行就报版本问题。尚未找到解决方法，仍需手动维护两个版本spark程序。 1. spark 1.x 升级到spark 2.x 对于普通的 阅读全文