摘要：
一：概述大数据对思维方式的重要影响。 自从互联网诞生以来，数据在互联网时代的作用也越来越明显。在这样形势之下，人们对事情的思维方式也发生了质的改变。毫无疑问，大数据对人们思维方式的影响是巨大的。在互联网时代以前，人们的行事方式和处理事件的方式是一种比较“野性”的臆测，或者说是推演，而在互联网时代背景 阅读全文
摘要：
Hadoop综合大作业 ： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。 一：用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行 阅读全文
摘要：
通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计，结果放在表word_count里 查看统计结果 结果显示： 阅读全文
摘要：
1. 2. 3. 4. 5. 6. 7. 阅读全文
摘要：
爬虫大作业： 1.选一个自己感兴趣的主题（所有人不能雷同）。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬 阅读全文
摘要：
一、Hadoop提供的Shell命令完成相同任务： 二、 阅读全文
摘要：
1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3. 安装pandas，用pand 阅读全文
摘要：
#判断邮箱电话格式 a = "1207384251@qq.com" b = '020-12345678' mail = re.search('\d{6,12}@[a-zA-Z0-9]+.[a-zA-Z0-9]+', a).group(0) tele_num = re.search('\d{3,4}-\d{6,8}', b).group(0) print(mail+'\n'+tele_num) ... 阅读全文
摘要：
1.英文词频统 for c in sep: news = news.replace(c,' ') 2.中文词频统计 阅读全文
摘要：
组合数据类型练习： 一、分别定义字符串，列表，元组，字典，集合，并进行遍历。 1.定义字符串，并进行遍历 1 2 3 str='hello' for i in str: print(i) 1 2 3 str='hello' for i in str: print(i) 1 2 3 str='hell 阅读全文
摘要：
import turtle turtle.setup(600,400,0,0) turtle.bgcolor('red') turtle.color('yellow') turtle.fillcolor('yellow') def mygoto(x,y): turtle.up() turtle.goto(x,y) turtle.down() def draw(l):... 阅读全文