余鱼瑜渔

摘要： 今天学习自然语言的算法 TF-IDF 算法 ：关键词提取 TF-IDF的主要思想就是：如果某个词在一篇文档中出现的频率高，也就是TF高；在语料库中其他的文档中很少出现，就是DF低，也就是IDF高，则认为这个词具有很好的类区分能力。 TF为词频（Term Frequency），表示词t在文档d中出现的 阅读全文

摘要： 今天学了爬虫，实现了一些爬虫案例，如从猫眼电影网址中爬取Top100的电影数据，最受期待的电影等。 爬虫三部曲： 第一步：获取网页数据（响应） 1 def reptile(url): 2 try: 3 response = requests.get(url,headers=headers) 4 if 阅读全文

摘要： 今天在虚拟机上搭建好了spark运行环境，实现了里面自带的测试案例。安装了sbt（scala编程打包工具）。安装了maven。 阅读全文

摘要： 1，string类型转化为JSON格式 var str = "{}" 数据均是虚造 使用JSON.parse(str); 使用该方法必须要注意str的格式，数据的所有属性如上述数据的x，必须为其添加引号，属性的value值如果是字符串的话就要加引号如果是数字或者是bool类型的话就可以加可不加。 阅读全文

摘要： 1，数据清洗，导入hive中 未处理的数据 处理过后的数据 阅读全文

摘要： 一，第一章~第三章 了解问题 （1）谁碰到了问题 （2）问题的本质是什么 解决问题 （1）理想状态和现实状态之间的差别 （2）幻想问题是真实存在的问题 （3）通过让“事情变得更糟”来解决问题 第一章和第二章交代了故事的一个背景和故事发展的起因经过，同时引出如何正确思考问题（谁遇见了问题，问题的本质） 阅读全文

摘要： package hjy.hadoop; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.a 阅读全文

摘要： 这个星期主要是在写小学期的web程序。这一次的实践让我融会贯通了暑假学习的web开发知识。以下是完成项目后的一个实验总结。 艾妮运动会成绩管理系统经验总结 1,事务的sql语句查询 (1) 注意开事务，执行语句，结束事务后都要加分号“;” Eg: start TRANSACTION; insert 阅读全文

摘要： 本周感觉最大的收获就是学习了bootstrap-table插件懂得如何去配置，使用它。 阅读全文

摘要： 本周学习了 1，学习了监听器，使用HttpSessionActivationListener对Session对象中的一些属性对象进行活化与钝化的操作。 2，学习了Filter过滤器，通过学习一些案例懂得了如何对response对象，request对象进行增强处理，对用户进行权限访问等，比如reque 阅读全文