HDFS

1.hadoop是一个大数据运算框架,使用降维计算,例如乘法转化为加法,然后使用分布式并行运算

2.HDFS正是Hadoop中用来存储大数据的,是主从模式

3.数据分隔存储再block,namenode记录数据目录,存储在哪个datanode中,datanode存储真实数据,为避免数据丢失同一份数据在不同datanode上存多份,hdfs依赖zookeeper实现不同节点的同步

4.HDFS采用divide and conquer(分治)的方式存储

5.Python中处理Hbase的库是happybase

6.Hadoop的API有:map reduce

posted @ 2019-05-15 20:15  番薯大大  阅读(167)  评论(0编辑  收藏  举报