张树恒

摘要： Hadoop综合大作业 一、用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 1.启动hadoop及其相关组件程序 2.创建工作空间文件夹 3.上传数据源文件到hdfs 4.启动hive 5.初始化hive关联数据库类型，以解决相关程序运行时错误 6.创建数据 阅读全文

摘要： 1. 用Python编写WordCount程序并提交任务 文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔 1、编写Map函数，Reduce函数 2、将其权限进行修改 3、在本机上运行测试代码 4、在HDFS上运行（ 5、查看运行结果 修改*. 阅读全文

摘要： 一、Hadoop提供的Shell命令完成相同任务： 1、在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 2、在本地查看文件位置（ls） 3、在本地显示文件内容 4、使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的inp 阅读全文

摘要： 准备工作 1、进入豆瓣网图书频道：https://book.douban.com 2、寻找感兴趣的图书，进入其页面并查看该图书的评论 3、分析评论数据URL地址特性，得到其共有部分为：https://book.douban.com/subject/book_id/comments? 其中book_i 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) import requests f 阅读全文

摘要： 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文

摘要： 1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 2. 分析字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将其中的发布时间由str转换成datetime类型。 阅读全文

摘要： 1.利用requests.get(url)获取网页页面的html文件 2.利用BeautifulSoup的HTML解析器，生成结构树 3.找出特定标签的html元素 5.练习： 取出h1标签的文本 取出a标签的链接 取出所有li标签的所有内容 取出一条新闻的标题、链接、发布时间、来源 阅读全文

摘要： fo= open('/home/heng/test.txt', 'r') str=fo.read() tep = ''',.?:'"''' exclude = {'the','and','of','to','in','a','he','for','t','we','don','i','you' 阅读全文

摘要： 1.组合数据类型练习： 1.组合数据类型练习： 分别定义字符串，列表，元组，字典，集合，并进行遍历。 总结列表，元组，字典，集合的联系与区别。 定义字符串并遍历 str="zhangshuheng" for i in str: print(i) 定义列表，并进行遍历 a = ['z','h','a' 阅读全文