HELLO WORLD

摘要： Maven 了解： 解决：项目间依赖问题 推荐：https://www.cnblogs.com/whgk/p/7112560.html 配置 环境：win10，JDK 1、官网下载 zip，解压 2、配置win环境变量，检测安装成功（mvn -v） 3、配置maven本地仓库 repository 阅读全文

摘要： 评估体系结构的重要因数 - 质量属性 3类质量属性： 系统的质量属性 受架构影响的商业属性 与架构本生相关的质量属性 常见的系统质量属性： 可用性 可修改性 性能 安全性 可测试性 易用性 质量属性场景： （1）刻画质量属性的手段，由六部分组成：刺激源、刺激、环境、制品、响应、响应度量； （2）以一 阅读全文

摘要： 形式：（参数）=> 表达式 [ 一种匿名函数 ] 解：x=输入参数，“=>” 右边是表达式（处理参数）； x._2 ： x变为（**，x，**...）元组的第二个元素； map （）：将每一条输入参数映射为一个新的对象，在spark中会生成新的RDD，如下 flatmap （）对比 解：先 line 阅读全文

摘要： >>非集成： 环境需要 * spark 2.4.0 * scala 2.11.12 * sbt （打包） 开发过程 1、shell命令下创建项目目录结构 *****/ project / src / main / scala -> . / ClassName.scala （ touch + gedi 阅读全文

摘要： 【基本操作】 1* 从文件系统中加载数据创建RDD -> 本地文件系统 ->HDFS 2* 转换操作 [ 会创建新的RDD ，没有真正计算 ] >> filter() >> map() >> flatMap() >> groupByKey() >> reduceByKey() 3* 行动操作 [] 阅读全文

摘要： 开发环境 * JDK * SDK * AndroidStudio * Genimotioin HelloWorld [ 第一个Android项目建立 ] * 创建项目 [ 项目相关目录 ] Hello [ project ] -> app ->src ->main ->java -> res -> 阅读全文

摘要： spark shell 交互 启动：bin 目录下 ./spark-shell --master local [ ×× ] --jars ×××.jar 进入[ >> scala ]交互[ spark 由scala开发 ] 退出：quit / ctrl+D 编程环境 [ 使用spark API] 1 阅读全文

摘要： spark-shell 本地文件系统数据读写 [ file:// ] 读取 ：sc.textFile (" ****") 写入：saveAsTextFile ("****") HDFS文件的读写 [ hdfs:// ] 读取 ：sc.textFile (" ****") 写入：saveAsTextF 阅读全文

摘要： 相关版本： VMware ubuntuKylin16.04 JDK ：openjdk Hadoop-2.9.1 步骤： 1、SSH 配置 [ 远程登陆 ] [ 配置SSH免码登陆 ] *测试：ssh localhost 2、JDK 配置 *测试：java -version / echo $JAVA_ 阅读全文

摘要： 简单步骤： 前提：hadoop 环境搭建（我的是伪分布式） 1、官网下载spark 2、spark部署（单机模式）： （1）解压 （2）移动文件到自定义目录下（同时修改文件名-原来的名字太长） （3）修改 ！配置文件：spark-env.sh [ spark与hdfs可以数据交互 ] 3、检测spa 阅读全文