hzuCode

摘要：大数据技术——数据处理和分析 场景：数据清洗，数据规范化，统计分析等。 1. 实时处理 对于实时数据及时处理，并输出结果。 推荐技术： SPARK STEAMING：一小段时间的批数据进行处理并产出。支持交互查询， STROM：纯实时处理，来一条处理一条。低延时，高容错性。 对于这两个技术，也是针对 阅读全文

摘要：主要介绍大数据获取的应用和场景，组件和技术不做详述，之后介绍。 1. 网络爬虫 根据URL，并按照一定规则爬取网页内容，存储进库。 相关概念： https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB 推荐技术： PYTHON 阅读全文