数据分析步骤思考

1、爬虫爬取相应的数据。

2、爬取后进行数据清洗，可使用MapReduce，也可使用csv文件。

3、在虚拟机创建好数据库，表，使用hive或beeline创建。

4、导出到本地MySQL数据库，进行数据分析。