prous

摘要： 1.将爬虫大作业产生的csv文件上传到HDFS 此处选取的是rank.csv文件 启动hadoop 在hdfs上创建文件并上传rank.csv至hdfs 查看上传至hdfs上文件的前5条信息 2.对CSV文件进行预处理生成无标题文本文件 编辑pre_deal.sh文件进行数据的取舍处理 3.把hdf 阅读全文

摘要： 作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1. 用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 （1）HDFS的功能：元数据、检查点、DataNode功能 HDF 阅读全文

摘要： 利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文

摘要： 起源： 2003-2004年，Google公布了部分GFS和MapReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。 2005年，Hadoop作为Lucene的 阅读全文

摘要： 老师：MissDu 提交作业 老师：MissDu 提交作业 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import create_engine conInfo = "mysql+pymysql:/ 阅读全文

摘要： 老师：MissDu 修改提交 老师：MissDu 修改提交 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的 阅读全文

摘要： 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(newsId)) requests.get(clickUrl) newC 阅读全文

摘要： 老师：MissDu 提交作业 老师：MissDu 提交作业 1. 简单说明爬虫原理 通过技术手段来快速获取互联网的内容，并从中提取有价值的信息的过程。 2. 理解爬虫开发过程 request->response->process->extract 伪造或者模仿用户行为访问网页->获取网页内容-> 阅读全文

摘要： 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' 阅读全文

摘要： https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/26961.列表，元组，字典，集合的增删改查及遍历。 列表，元组，字典，集合的联系与区别: 词频统计： 阅读全文