摘要： 1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 启动Hadoop。 建表 ,把hdfs文件系统中文件夹里的文本文件load进去,写hiveQL命令统计 结果： 阅读全文

摘要： 通过hadoop上的词频统计 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 结果放在表word_count里 统计结果 通过hadoop上的词频统计 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 阅读全文

摘要： 1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据： 学生表（Student）（不包括最后一列） 学号（S_No） 姓名（S_Name） 性别（S_Sex） 年龄（S_Age） 课程（course） 2015001 Zhangsan male 23 2015003 阅读全文

摘要： 1.自己感兴趣的主题或网站。 http://www.18ladys.com/ 1).用于数据爬取并生成txt文件的py文件： 4.因为爬取的是各个中药的类别及名字，没有爬取更细节的数据，所以显示出来的多是一些中药名词 5. 1).数据爬取并生成txt文件的py文件 2).利用python相关的包生成 阅读全文

摘要： 一 1/在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 2.在本地查看文件位置（ls） 3.在本地显示文件内容 4.使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下 5.查看hdfs中的文件(-ls) 阅读全文

摘要： 1. 将新闻的正文内容保存到文本文件。 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有单条新闻汇总-->列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 复制代码 def getClick 阅读全文

摘要： 1. 用正则表达式判定邮箱是否输入正确。 2. 用正则表达式识别出全部电话号码。 3. 用正则表达式进行英文分词。re.split('',news) 4. 使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个函数 def getCl 阅读全文

摘要： 下载一首英文的歌词或文章 生成词频统计 排序 排除语法型词汇，代词、冠词、连词 输出词频最大TOP20以及将分析对象存为utf-8编码的文件，通过文件读取的方式获得词频分析内容。 中文频词 阅读全文

摘要： 分别定义字符串，列表，元组，字典，集合，并进行遍历。 总结列表，元组，字典，集合的联系与区别。 字符串 ls='handsomeboy' for i in ls: print(i) 列表： 1 2 3 4 5 6 7 str1 = ['nike','vans',[1996,7,28]] for i in str1: print(i) nike vans [1996,... 阅读全文

摘要： Pycharm开发环境设置与熟悉。 练习基本输入输出： print('你好,{}.'.format(name)) print(sys.argv) 库的使用方法： import ... from ... import ... 条件语句： if (abs(pos()))<1: break 循环语句： f 阅读全文