懵懂的菜鸟

摘要： Spark是UC Berkeley AMP lab开发的一个集群计算的框架，类似于Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入HDFS，更适用于需要迭代的MapReduce算法场景中，可以获得更好的性能提升。例如一次排序测试中，对100TB数据进行 阅读全文

摘要： IoC，（Inverse of Control）控制反转，其包含两个内容：其一是控制，其二是反转。在程序中，被调用类的选择控制权从调用它的类中移除，转交给第三方裁决。这个第三方指的就是Spring的容器。IoC另解，依赖注入（Dependency Injection），调用类对被调用类的依赖关系由第 阅读全文

摘要： 1NF:若果关系模式R的所有属性的值域中每一个值都是不可分解的值 2NF:满足1NF,且R中每一个非主属性完全依赖于R中的某个候选键。 例：成绩表（学号，课程号，成绩）关系中， 完全函数依赖：（学号，课程号）→ 成绩，学号 －\→ 成绩，课程号 －\→ 成绩，所以（学号，课程号）→ 成绩 是完全函数 阅读全文

摘要： 最后总结一下： 数据库 比较流行的有：MySQL, Oracle, SqlServer等数据仓库 比较流行的有：AWS Redshift, Greenplum, Hive等 把数据从业务性的数据库中提取、加工、导入分析性的数据库就是传统的 ETL 工作 ETL（数据仓库技术） ETL是构建数据仓库的 阅读全文