摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 到网上下载经典长篇英文小说just a gril，保存到gril.txt。 启动hadoop集群 将wc文件夹的gril.txt上传文件至hdfs的word文件夹 启动hive 创建原始文档表 导入文件内容 阅读全文

摘要： 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 2. 用Hadoop提供的HBase Shell命令完成相同任务： 列出HBase所有的表的相关信息；list 在终端打印出学生表的所有记录数据； 向学生表添加课程列族； 向课程列族添加数学列并登记成绩为85； 阅读全文

摘要： 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 5查看hdfs中的文件(-ls) 6.显示hdfs中该的文件内容 7.删除本地的txt文件并查看目录 8.从hdfs中将txt下载地本地原来的位置。 9.从hdfs中删除txt并查看目录 阅读全文

摘要： 一、主题 2016年4月14日，在湖人巨星科比·布莱恩特退役战结束后，NBA豪门湖人队开启进入重建的脚步， 本人根据爬取虎扑湖人队NBA的新闻来进行数据分析，分析出湖人队重建的过程。 二、编写Python程序爬取相关数据 1.进入虎扑NBA湖人队的新闻首页后，首先选择一个新闻分析获取新闻的发布时间、 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) def getNewDetail( 阅读全文

摘要： 1. 用正则表达式判定邮箱是否输入正确 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCli 阅读全文

摘要： import requests from bs4 import BeautifulSoup from datetime import datetime res = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/') res.encodin 阅读全文

摘要： 0.可以新建一个用于练习的html文件，在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 2.利用BeautifulSoup的HTML解析器，生成结构树 3.找出特定标签的html元素 4.取得含有特定CSS属性的元素 5.练习： 取出h1标签的文本 取出a标签 阅读全文

摘要： 运行结果： 中文统计 结果： 阅读全文