班课2
摘要：
1. hadoop分为三部分 Hadoop distributed file system(HDFS) MapReduce YARN(Yet Another Resource Neigotiator) Hadoop2.0才开始有的 2. NameNode可以理解为元数据，不实际存储数据本身（只有一个 阅读全文
posted @ 2020-06-16 15:40 Eleni 阅读(122) 评论(0) 推荐(0)
班课2
摘要：
1. Hadoop是一个open-source software framework以分布式方式存储大数据，并行处理大数据，建立在大型商品硬件集群上 2. Hadoop can handle volume, velocity, variety 3. 对volume而言，Hadoop提供： 冗余、容错 阅读全文
posted @ 2020-06-12 12:31 Eleni 阅读(150) 评论(2) 推荐(0)
班课1
摘要：
1. 大数据流程 数据源 -- 数据采集 -- 数据存储 -- 数据计算 -- 数据应用 2. 最重要的V volume，variety（不同种类），velocity（速度） 阅读全文
posted @ 2020-06-08 16:09 Eleni 阅读(110) 评论(0) 推荐(0)
班课1
摘要：
1. 算法即有明确可执行步骤的方法 2. 大数乘法：如果输入的数字太大，程序会计算不出来，但是对于string，位数是没有限制的 但是普通的乘法时间复杂度太高，解决思路也是将很大的数拆分成较小的部分（PPT中为例，将A拆成A1，A0。由公式可以看出，A1更为重要 不断调用递归至A B均为1 给出的证 阅读全文
posted @ 2020-06-08 11:24 Eleni 阅读(147) 评论(0) 推荐(0)
lecture 2
摘要：
1. veracity (quality) how correct the data is, shows if we can trust the data challenging因为易于发生，影响巨大且难以控制 2. variability variety指same data, different 阅读全文
posted @ 2020-06-05 14:30 Eleni 阅读(132) 评论(0) 推荐(0)
lecture 1
摘要：
1. 如果两个人分同一批东西，则一个人负责分，另一个人可以先行挑选 如果三个人分一批东西，则一个人负责分，另两个人先行挑选，若选中了不同的东西则第三个人取被剩下的一个 为了避免两个人选择了同一个东西，可以让第一个人尽可能的分出总量的三分之一，如果另外两人中的第一个人同意但最后一个人认为这部分大于三分 阅读全文
posted @ 2020-06-04 14:10 Eleni 阅读(162) 评论(0) 推荐(0)
lecture 1
摘要：
1. not double pass, all homeworks submitted through give. All exams questions are short answers 2. consultation is Friday through zoom from 1 to 2 3. 阅读全文
posted @ 2020-06-02 16:26 Eleni 阅读(132) 评论(0) 推荐(0)
题目
摘要：
1. K-NN algorithm does more computation on test time rather than train time True, 因为要计算query与其他所有点之间的距离 2. 用decision tree表示Boolean function，可以先将真值表画出来 阅读全文
posted @ 2020-05-03 08:26 Eleni 阅读(167) 评论(0) 推荐(0)
final 3
摘要：
1. Bias-Variance Decomposition bias：模型真实值与预测值之间的差距（模型本身问题） variance：由于训练数据不同导致的误差 2. stability variance小，bias大的模型 同一个数据集产生两个set，同一个training algorithm对 阅读全文
posted @ 2020-05-02 14:28 Eleni 阅读(263) 评论(0) 推荐(0)
浙公网安备 33010602011771号