哦心有

摘要： 今天复习了scala语言的函数式编程。 函数至简原则：能省则省 1）至简原则细节 （1）return 可以省略，Scala 会使用函数体的最后一行代码作为返回值 （2）如果函数体只有一行代码，可以省略花括号 （3）返回值类型如果能够推断出来，那么可以省略（:和返回值类型一起省略） （4）如果有 re 阅读全文

摘要： 今天继续学习sparksql的核心编程 在 Spark SQL 中 SparkSession 是创建 DataFrame 和执行 SQL 的入口，创建 DataFrame 有三种方式：通过 Spark 的数据源进行创建；从一个存在的 RDD 进行转换；还可以从 Hive Table 进行查询返回。 阅读全文

摘要： 今天学习sparksql。 sparksql的特点： 1.易整合 无缝的整合了 SQL 查询和 Spark 编程 2.统一的数据访问 使用相同的方式连接不同的数据源 3.兼容 Hive 在已有的仓库上直接运行 SQL 或者 HiveQL 4.标准数据连接 通过 JDBC 或者 ODBC 来连接 Da 阅读全文

摘要： 阅读王概凯的架构漫谈，也有一些自己的感受 作为软件工程师或者架构师，我们大部分时候是要去解决别人的问题，“别人”是谁，是值得好好思考的。当问题的主体离架构师越远，就会让找出问题主体的过程越加困难，我们再举一个软件行业比较熟悉的例子：用户给产品经理提出要求，想要一把锤子。这是典型的拿解决方案作为问题的 阅读全文

摘要： 今天上课阅读了架构漫谈前四篇，初步了解了软件架构定义和意义。 1、 什么是架构？ 答：架构是一个项目的整体划分为不同的部分，每个部分由不同的角色完成，并能够实现不同部分的沟通，从而将不同部分有机结合为整体，完成项目整体所需要完成的任务。 2、 为什么要出现架构? 答：架构是为了更加高效的完成项目产生 阅读全文

摘要： 最近使用虚拟机提示磁盘控件不足，所以上网查询了如何进行磁盘扩容，这里分享一下个人磁盘扩容的经验 磁盘扩容我是使用了linux LVM技术，即磁盘扩容技术。 首先打开vmware编辑虚拟机设置 进入后点击添加 之后操作如图： 选择磁盘下一步 使用推荐的就可以 直接下一步 设置想要扩容磁盘的大小，这里我 阅读全文

摘要： 今天学习直播回放，安装了flume和kafka，并学习到了数据分仓的概念，完成了数据生成模块，并完成部分数据采集模块的部署。 阅读全文

摘要： 今天学习了sparksql的使用对，对dataframe的使用更加的熟练，能够其函数使用更加熟练使用 阅读全文

摘要： 今天学习了sparkcore的知识 阅读全文

摘要： 今天完成了spark实验七 一、实验目的 （1） 通过实验掌握基本的 MLLib 编程方法； （2） 掌握用 MLLib 解决一些常见的数据分析问题，包括数据导入、成分分析和分类 和预测等。 二、实验平台 操作系统：Ubuntu16.04 JDK 版本：1.7 或以上版本Spark 版本：2.1.0 阅读全文