摘要： 1.pom.xml添加依赖 2.IDEA Settings->Build,Execution,Deployment->Compiler 开启Build project automatically 3.IDEA快捷键 ctrl+shift+a,输入Registry,找到下面这行，开启。 以上即可实现热 阅读全文

摘要： 用户表字段信息： 1.查出前1000位用户的用户名，关注数和粉丝数。 2.查询关注数大于100的用户的用户名和关注数。 3.查询粉丝数大于100的用户的用户名，粉丝数。 4.查询id为1000的用户的用户名。 5.查询性别为女的用户的用户名。 select name,sex from bilibil 阅读全文

摘要： 我把爬取的数据从数据库中导出，直接设置导出格式为txt,还有不导出列名，所以第一步是txt文件上传到HDFS 1.将爬虫大作业产生的txt文件上传到HDFS 导入成功，查看数据 2.对CSV文件进行预处理生成无标题文本文件 无需处理第二步。 3.把hdfs中的文本文件最终导入到数据仓库Hive中 创 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 1.安装Linux，MySql 安装Linux登录后的界面： 安装MySql成功测试 2.windows 与 虚拟机互传文件 在机房能实现，自己电脑win10家庭 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 一.把爬取的内容保存到数据库sqlite3 代码 运行效果 保存到MySQL数据库 代码 运行效果 二.爬虫综合大作业 爬虫综合大作业文章路径：https://w 阅读全文

摘要： 作业来自于： https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数，并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests. 阅读全文

摘要： 作业要求来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 利用程序模拟客户向浏览器发送请求，然后获取返回的响应，最后根据需要处理响应，获取需要的数据。 2. 理解爬虫开发过程 1).简要说明浏览器 阅读全文

摘要： 作业来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import ji 阅读全文

摘要： 作业来自于 https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表，元组，字典，集合分别如何增删改查及遍历。 列表的增删改查 运行结果： 元组的增删改查 运行结果 集合的增删改查 运行结果 字典的增删改查 运行结果 2.总结 阅读全文