摘要: 这段程序大概这样: 编译后的字节码为: 现在,如果把程序换一下: 现在字节码为: 阅读全文
posted @ 2018-07-09 10:51 Lger 阅读(341) 评论(0) 推荐(0) 编辑
摘要: 工程大致结构: project | src | pojo | Temp.java | dao | TempDao.java | TempDao.xml | web | TempController.java | resources | applicationContext.xml | springM 阅读全文
posted @ 2018-06-17 19:57 Lger 阅读(275) 评论(0) 推荐(0) 编辑
摘要: Hadoop综合大作业 要求: 1. 用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。 2. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产生的文本文件 这里的具体操作步骤如下: 将网页上的歌词段落爬取下来 通过jieba分词后 阅读全文
posted @ 2018-05-24 22:30 Lger 阅读(364) 评论(0) 推荐(0) 编辑
摘要: 通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹 上传文件至hdfs 启动Hive 创建原始文档表 导入文件内容到表docs并查看 用HQL进行词频统计,结果放在表word_count里 查看统计结果 以上的要求实现如下: 以下是运行结果截图: 阅读全文
posted @ 2018-05-16 21:26 Lger 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 用mapreduce 处理气象数据集 编写程序求每日最高最低气温,区间最高最低气温 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数据情况 阅读全文
posted @ 2018-05-09 20:51 Lger 阅读(1930) 评论(0) 推荐(2) 编辑
摘要: 1. 以下关系型数据库中的表和数据,要求将其转换为适合于HBase存储的表并插入数据: 学生表(Student) | 学号(S_No) | 姓名(S_Name) | 性别(S_Sex) | 年龄(S_Age) | | | | | | | 2015001 | Zhangsan | male | 23 阅读全文
posted @ 2018-05-08 21:40 Lger 阅读(260) 评论(0) 推荐(0) 编辑
摘要: 要求: 1. 选一个自己感兴趣的主题。 2. 用python 编写爬虫程序,从网络上爬取相关主题的数据。 3. 对爬了的数据进行文本分析,生成词云。 4. 对文本分析结果进行解释说明。 5. 写一篇完整的博客,描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6. 最后提交爬取的全部数据 阅读全文
posted @ 2018-04-27 20:10 Lger 阅读(529) 评论(1) 推荐(0) 编辑
摘要: 在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt,里面可以随意输入一些单词. 在本地查看文件位置(ls) 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件( ls) 显示hdfs中该的文件 阅读全文
posted @ 2018-04-24 21:59 Lger 阅读(554) 评论(0) 推荐(1) 编辑
摘要: "1. 使用过程" "2. 背景" "3. 遇到问题" "3.1 不指定Hibernate数据库方言,默认SQL生成方式" "3.2 抛出异常Hibernate加入了@Transactional事务不会回滚" "3.3 Hibernate使用Spring Test测试加入了@Transactiona 阅读全文
posted @ 2018-04-21 08:49 Lger 阅读(1687) 评论(0) 推荐(1) 编辑
摘要: 1.将新闻的正文内容保存到文本文件 2.将新闻数据结构化为字典的列表: 单条新闻的详情 字典news 一个列表页所有单条新闻汇总 列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3.安装pandas,用pandas.DataF 阅读全文
posted @ 2018-04-12 18:20 Lger 阅读(171) 评论(0) 推荐(0) 编辑