大数据框架

大数据框架

 

系统平台	Hadoop、CDH、HDP
监控管理	CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle
文件系统	HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio
资源调度	YARN、Mesos
协调框架	ZooKeeper 、Etcd、Consul
数据存储	HBase、Cassandra、ScyllaDB 、MongoDB、Accumulo 、Redis 、Ignite、Arrow 、Geode、                                      CouchDB、Kudu、CarbonData
数据处理	MapReduce、Spark、Flink、Storm、Tez、Samza、Apex、Beam、Heron
查询分析	Hive、SparkSQL、Presto、Kylin、Impala、Druid、ElasticSearch、HAWQ、Lucene、Solr、                                  Phoenix
数据收集	Flume、Filebeat、Logstash、Chukwa
数据交换	Sqoop 、Kettle、DataX 、NiFi
消息系统	Pulsar、Kafka、RocketMQ、ActiveMQ、RabbitMQ
任务调度	Azkaban、Oozie、Airflow
数据治理	Ranger 、Sentry、Atlas
可视化	Kibana 、D3.js、ECharts
数据挖掘	Mahout 、MADlib 、Spark ML、TensorFlow、Keras
云平台	Amazon S3、GCP、Microsoft Azure