摘要： Spark Streaming入门 今天学习的主要内容有： 流处理概念：静态数据批处理 vs 动态数据流处理。 DStream本质：DStream是一系列连续的RDD（每个时间片生成一个RDD）。 StreamingContext：核心入口，定义批处理间隔（batch interval）。 入门案例 阅读全文

摘要： 今天学习如何从内存管理到Shuffle调优 内容要点： 资源配置黄金法则：小Executor（5核以内）+ 多Executor，避免超大Executor导致GC压力过大。 Shuffle优化： 避免groupByKey，优先使用reduceByKey（Map端预聚合）。 Join优化：小表使用bro 阅读全文

摘要： 今天系统学习了Spark SQL与DataFrame 内容要点如下： Spark SQL架构：Catalyst优化器、Tungsten执行引擎。 编程抽象对比：RDD vs DataFrame（Schema约束） vs DataSet（类型安全）。 DataFrame创建：从JSON/CSV/Par 阅读全文

摘要： 今天通过学习在hadoop数据库中使用spark操作文件 “Spark 读取文件系统的数据 （1）在 spark-shell 中读取 Linux 系统本地文件“/home/hadoop/test.txt”，然后统计出文 件的行数； （2）在 spark-shell 中读取 HDFS 系统文件“/us 阅读全文

摘要： 今天学习了Scala 语言基础以下是总结： 学习了计算级数的方法即： case class Point(var x:Double,var y:Double) extends Drawable{ def shift(deltaX:Double,deltaY:Double){x+=deltaX;y+=d 阅读全文

摘要： 课堂积极发言+3 阅读全文

摘要： 复习UML，各种图各有用途，但最核心、最需要下功夫理解的，无疑是类图。它直接决定了代码的结构和质量。 UML图快速回顾 结构图（静态）：描述系统由什么组成，如类图、组件图。 行为图（动态）：描述系统如何工作，如用例图、序列图、状态图。 简单来说，先用用例图搞清需求，然后用类图搭建骨架，最后用序列图等 阅读全文

摘要： 本周概要： 本周的学习进入了更深入的阶段。Java Web开始接触核心的状态保持和动态页面技术，Hadoop开始钻研其核心编程模型，Python也开始进行数据处理。感觉知识体系正在逐渐连点成线。 总学习时长： 约 35 小时 投入代码时间： 约 20 小时 解决问题时间： 约 9 小时 理论学习时间 阅读全文

摘要： 本周开始深入编码实践。主要围绕Java Web的Servlet和JDBC展开，成功实现了第一个具有完整CRUD（增删改查）功能的模块。Hadoop环境也终于搭建成功。 总学习时长： 约 32 小时 投入代码时间： 约 18 小时 解决问题时间：约 10 小时 理论学习时间： 约 4 小时 Java 阅读全文

摘要： 总学习时长： 约 25 小时 投入代码时间： 约 8 小时 解决问题时间： 约 12 小时 理论学习时间： 约 5 小时 Java Web 方面 (约 15 小时)： 学习内容： 复习了Java SE基础，重点看了JDBC的内容。理解了B/S架构和C/S架构的区别，了解了Servlet在整个Java 阅读全文