摘要：主要组件 1.Sqoop Client 定义了用户使用Sqoop的方式，包括客户端命令行CLI和浏览器两种方式，浏览器允许用户直接通过Http方式完成Sqoop的管理和数据的导出 2.Sqoop Server 1）Connector：所有Connector的实现放置到Sqoop server端，且C 阅读全文

摘要：当用户通过shell命令提交迁移作业后，Sqoop会从关系型数据库中读取元信息，并根据并发度和数据表大小将数据划分成若干分片，每片交给一个Map Task处理，这样多个Map Task同时读取数据库中当数据，并行当将数据写入目标存储系统，比如HDFS、HBase和Hive等。 缺点 1.Connec 阅读全文

摘要：Sqoop应用场景： 1.数据迁移，将关系型数据库中的数据导入Hadoop存储系统 2.可视化分析结果，将Hadoop处理之后产生的结果导入关系型数据库，以便进行可视化展示 3.数据增量导入：减少hadoop分析过程中对关系型数据库对性能，通常将数据单独导入一份到hadoop存储系统中。 Sqoop 阅读全文

摘要：数据分析层：Hive SparkSQL、Apache Beam、Mabout MLLib 计算引擎层：MapReduce Tez、Spark、Impala Presto、Storm Spark Streaming 资源管理与服务协调：YARN、ZooKeeper 数据存储层：序列化与文件格式、HDF 阅读全文