zijin89

摘要： 机器学习重点研究如何让机器人模拟人类的学习行为，用以获取新的知识和技能，改善具体算法的性能。分为监督学习、无监督学习、半监督学习、强化学习。 MLlib（即machine learning lib）是spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器,有速度快、易用性、集成度高的 阅读全文

摘要： 今天是学习spark的第四天，学习如何使用Dstream 上一个代码是为了设置数据监控和文件的读取，只要在30秒内输入新的文件，监控器会读取输入的内容。 在此过程中如果import代码行加入如下代码，可以使监视器输出的内容只有读取的值没有日志（下面两行放在object里）： import org.a 阅读全文

摘要： 1、在虚拟机上安装IDE 首先将将scala-intellij-bin-1.4.15.zip移至虚拟机的用户主目录下 cd idea-IC-141.178.9/ 打开idea ide bin/idea.sh 开始设置ide： ok->Darcula->Next:Default plugins->St 阅读全文

摘要： 今天是学习spark的第一天。 首先我的环境是ubuntu虚拟系统，安装了cloud01，cloud02，cloud03三个虚拟系统，并以cloud01为Master，创建了hadoop集群，安装spark前，已经有了JDK、Hadoop2X，scala2.10.4 1.首先将已经下载好的scala 阅读全文