04 2018 档案

在‘句子迷’爬取网友总结的方文山歌词并作词频统计
摘要：要求： 1. 选一个自己感兴趣的主题。 2. 用python 编写爬虫程序，从网络上爬取相关主题的数据。 3. 对爬了的数据进行文本分析，生成词云。 4. 对文本分析结果进行解释说明。 5. 写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6. 最后提交爬取的全部数据 阅读全文
posted @ 2018-04-27 20:10 Lger 阅读(563) 评论(1) 推荐(0)
熟悉常用的HDFS操作
摘要：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls） 在本地显示文件内容 使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。 查看hdfs中的文件( ls) 显示hdfs中该的文件 阅读全文
posted @ 2018-04-24 21:59 Lger 阅读(569) 评论(0) 推荐(1)
Hibernate | Spring JPA | MySQL 使用过程遇到的一些问题
摘要："1. 使用过程" "2. 背景" "3. 遇到问题" "3.1 不指定Hibernate数据库方言，默认SQL生成方式" "3.2 抛出异常Hibernate加入了@Transactional事务不会回滚" "3.3 Hibernate使用Spring Test测试加入了@Transactiona 阅读全文
posted @ 2018-04-21 08:49 Lger 阅读(1728) 评论(0) 推荐(1)
课程作业——数据结构化与保存
摘要：1.将新闻的正文内容保存到文本文件 2.将新闻数据结构化为字典的列表: 单条新闻的详情 字典news 一个列表页所有单条新闻汇总 列表newsls.append(news) 所有列表页的所有新闻汇总列表newstotal.extend(newsls) 3.安装pandas，用pandas.DataF 阅读全文
posted @ 2018-04-12 18:20 Lger 阅读(179) 评论(0) 推荐(0)
课程作业——获取全部校园新闻
摘要：作业要求： 1. 取出一个新闻列表页的全部新闻 包装成函数。 2. 获取总的新闻篇数，算出新闻总页数。 3. 获取全部新闻列表页的全部新闻详情。 4. 找一个自己感兴趣的主题，进行数据爬取，并进行分词分析。不能与其它同学雷同。 前三个要求代码如下： 结果截图： 第四个要求中，我爬取了校园所有的新闻描 阅读全文
posted @ 2018-04-11 14:00 Lger 阅读(295) 评论(0) 推荐(0)
Spring Boot整合Spring Security
摘要：Spring Boot对于该家族的框架支持良好，但是当中本人作为小白配置还是有一点点的小问题，这里分享一下。这个项目是使用之前发布的 "Spring Boot会员管理系统" 重新改装，将之前filter登录验证改为Spring Security 1. 配置依赖 Spring Boot框架整合Spri 阅读全文
posted @ 2018-04-07 14:47 Lger 阅读(1282) 评论(2) 推荐(0)