2019年6月19日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓 阅读全文
posted @ 2019-06-19 21:19 3fufu 阅读(450) 评论(0) 推荐(0) 编辑
  2019年5月31日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo 阅读全文
posted @ 2019-05-31 18:18 3fufu 阅读(138) 评论(0) 推荐(0) 编辑
  2019年5月16日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 安装Linux,MySql 测试数据库 通过windows互传文件 安装Hadoop 执行namenode格式化 启动hadoop 伪分布式hadoop启动成功 阅读全文
posted @ 2019-05-16 16:22 3fufu 阅读(106) 评论(0) 推荐(0) 编辑
  2019年5月9日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sqli 阅读全文
posted @ 2019-05-09 00:06 3fufu 阅读(352) 评论(0) 推荐(0) 编辑
  2019年4月12日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge 阅读全文
posted @ 2019-04-12 17:17 3fufu 阅读(175) 评论(0) 推荐(0) 编辑
  2019年3月29日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛, 沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起 阅读全文
posted @ 2019-03-29 17:30 3fufu 阅读(251) 评论(0) 推荐(0) 编辑
  2019年3月22日
摘要: 作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba j 阅读全文
posted @ 2019-03-22 18:32 3fufu 阅读(410) 评论(0) 推荐(0) 编辑
摘要: 本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表: 对列表的数据项进行修改或更新,你也可以使用append()方法来添加列表项;可以使用 del 语句来删除 阅读全文
posted @ 2019-03-22 16:05 3fufu 阅读(202) 评论(0) 推荐(0) 编辑
  2019年3月8日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 运行结果截图: 凯撒密码编码与解码 运行结果截图: 网址观察与批量生成 运行结果截图: 2.英文词频统计预处理 阅读全文
posted @ 2019-03-08 17:54 3fufu 阅读(208) 评论(0) 推荐(0) 编辑
  2019年3月1日
摘要: 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.分析所采用数据的来源有哪些? (1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户 阅读全文
posted @ 2019-03-01 18:04 3fufu 阅读(428) 评论(0) 推荐(0) 编辑