随笔分类 -  Hadoop数据分析

摘要: 阅读全文
posted @ 2021-12-22 11:13 ahu-lichang 阅读(139) 评论(0) 推荐(0)
摘要:1、离线数据分析流程 一个应用广泛的数据分析系统:“web日志数据挖掘” 1.1 需求分析 1.1.1 案例名称 “网站或APP点击流日志数据挖掘系统”。 1.1.2 案例需求描述 “Web点击流日志”包含着网站运营很重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网页访问人数最多,哪个网页 阅读全文
posted @ 2017-04-24 10:30 ahu-lichang 阅读(5327) 评论(0) 推荐(0)
摘要:远程登录Linux中的MySQL时,如果直接在工具中创建数据库时,有可能出现下面图中这样的错误: 这种错误是在远程登录时造成的,如果直接在Linux中本地操作没有问题(在Linux中的MySQL下,通过sql语句操作不会出现这样的错误)。 造成错误原因:远程登录,创建数据库时,出现权限不足!!! 解 阅读全文
posted @ 2017-04-13 11:00 ahu-lichang 阅读(14547) 评论(0) 推荐(0)
摘要:日志数据分析:1.背景1.1 hm论坛日志,数据分为两部分组成,原来是一个大文件,是56GB;以后每天生成一个文件,大约是150-200MB之间;1.2 日志格式是apache common日志格式;每行记录有5部分组成:访问ip、访问时间、访问资源、访问状态、本次流量;27.19.74.143 - 阅读全文
posted @ 2017-04-11 22:45 ahu-lichang 阅读(5254) 评论(1) 推荐(0)