2019年7月3日

IDEA实现SpringBoot热部署

摘要: 1.pom.xml添加依赖 2.IDEA Settings->Build,Execution,Deployment->Compiler 开启Build project automatically 3.IDEA快捷键 ctrl+shift+a,输入Registry,找到下面这行,开启。 以上即可实现热 阅读全文

posted @ 2019-07-03 11:06 Lijiajun 阅读(434) 评论(0) 推荐(0) 编辑

2019年6月21日

基于Hive的对BiliBili用户信息进行数据分析

摘要: 用户表字段信息: 1.查出前1000位用户的用户名,关注数和粉丝数。 2.查询关注数大于100的用户的用户名和关注数。 3.查询粉丝数大于100的用户的用户名,粉丝数。 4.查询id为1000的用户的用户名。 5.查询性别为女的用户的用户名。 select name,sex from bilibil 阅读全文

posted @ 2019-06-21 00:13 Lijiajun 阅读(1505) 评论(0) 推荐(0) 编辑

2019年6月20日

Hadoop综合大作业

摘要: 我把爬取的数据从数据库中导出,直接设置导出格式为txt,还有不导出列名,所以第一步是txt文件上传到HDFS 1.将爬虫大作业产生的txt文件上传到HDFS 导入成功,查看数据 2.对CSV文件进行预处理生成无标题文本文件 无需处理第二步。 3.把hdfs中的文本文件最终导入到数据仓库Hive中 创 阅读全文

posted @ 2019-06-20 00:28 Lijiajun 阅读(236) 评论(0) 推荐(0) 编辑

2019年6月4日

分布式文件系统HDFS 练习

摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoop用户) 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input 阅读全文

posted @ 2019-06-04 20:50 Lijiajun 阅读(208) 评论(0) 推荐(0) 编辑

2019年5月16日

安装Hadoop

摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux,MySql 安装Linux登录后的界面: 安装MySql成功测试 2.windows 与 虚拟机互传文件 在机房能实现,自己电脑win10家庭 阅读全文

posted @ 2019-05-16 21:45 Lijiajun 阅读(160) 评论(0) 推荐(0) 编辑

2019年5月9日

爬虫综合大作业

摘要: 作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 一.把爬取的内容保存到数据库sqlite3 代码 运行效果 保存到MySQL数据库 代码 运行效果 二.爬虫综合大作业 爬虫综合大作业文章路径:https://w 阅读全文

posted @ 2019-05-09 21:11 Lijiajun 阅读(372) 评论(0) 推荐(0) 编辑

2019年4月12日

爬取全部的校园新闻

摘要: 作业来自于: https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests. 阅读全文

posted @ 2019-04-12 17:47 Lijiajun 阅读(242) 评论(0) 推荐(0) 编辑

2019年4月1日

理解爬虫原理

摘要: 作业要求来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 利用程序模拟客户向浏览器发送请求,然后获取返回的响应,最后根据需要处理响应,获取需要的数据。 2. 理解爬虫开发过程 1).简要说明浏览器 阅读全文

posted @ 2019-04-01 13:13 Lijiajun 阅读(227) 评论(0) 推荐(0) 编辑

2019年3月25日

中文词频统计与词云生成

摘要: 作业来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文

posted @ 2019-03-25 13:42 Lijiajun 阅读(307) 评论(0) 推荐(0) 编辑

2019年3月16日

复合数据类型,英文词频统计

摘要: 作业来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表的增删改查 运行结果: 元组的增删改查 运行结果 集合的增删改查 运行结果 字典的增删改查 运行结果 2.总结 阅读全文

posted @ 2019-03-16 22:21 Lijiajun 阅读(362) 评论(0) 推荐(0) 编辑

导航