2019年6月19日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件上传到HDFS 2.对CSV文件进行预处理生成无标题文本文件 3.把hdfs中的文本文件最终导入到数据仓
阅读全文
posted @ 2019-06-19 21:19
3fufu
阅读(461)
推荐(0)
2019年5月31日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3310 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录(hadoo
阅读全文
posted @ 2019-05-31 18:18
3fufu
阅读(146)
推荐(0)
2019年5月16日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 安装Linux,MySql 测试数据库 通过windows互传文件 安装Hadoop 执行namenode格式化 启动hadoop 伪分布式hadoop启动成功
阅读全文
posted @ 2019-05-16 16:22
3fufu
阅读(114)
推荐(0)
2019年5月9日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3159 可以用pandas读出之前保存的数据: newsdf = pd.read_csv(r'F:\duym\gzccnews.csv') 一.把爬取的内容保存到数据库sqli
阅读全文
posted @ 2019-05-09 00:06
3fufu
阅读(395)
推荐(0)
2019年4月12日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3002 0.从新闻url获取点击次数,并整理成函数 newsUrl newsId(re.search()) clickUrl(str.format()) requests.ge
阅读全文
posted @ 2019-04-12 17:17
3fufu
阅读(188)
推荐(0)
2019年3月29日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2881 1. 简单说明爬虫原理 如果我们把互联网比作一张大的蜘蛛网,数据便是存放于蜘蛛网的各个节点,而爬虫就是一只小蜘蛛, 沿着网络抓取自己的猎物(数据)爬虫指的是:向网站发起
阅读全文
posted @ 2019-03-29 17:30
3fufu
阅读(261)
推荐(0)
2019年3月22日
摘要:
作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2822 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba j
阅读全文
posted @ 2019-03-22 18:32
3fufu
阅读(442)
推荐(0)
摘要:
本次作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2753 1.列表,元组,字典,集合分别如何增删改查及遍历。 列表: 对列表的数据项进行修改或更新,你也可以使用append()方法来添加列表项;可以使用 del 语句来删除
阅读全文
posted @ 2019-03-22 16:05
3fufu
阅读(219)
推荐(0)
2019年3月8日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2684 1.字符串操作: 解析身份证号:生日、性别、出生地等。 运行结果截图: 凯撒密码编码与解码 运行结果截图: 网址观察与批量生成 运行结果截图: 2.英文词频统计预处理
阅读全文
posted @ 2019-03-08 17:54
3fufu
阅读(222)
推荐(0)
2019年3月1日
摘要:
作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/2639 1.分析所采用数据的来源有哪些? (1)交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、“企业资源规划”(ERP)系统数据、销售系统数据、客户
阅读全文
posted @ 2019-03-01 18:04
3fufu
阅读(501)
推荐(0)