鎏鑫岁月

摘要： 如何跟踪论文的作者？ 参考：http://muchong.com/html/201501/8466798.html 1、谷歌学术，可以搜到镜像网站如 http://dir.scmor.com/google/ https://g.chenjx.cn 2、百度学术 3、Researchgate 4、sc 阅读全文

摘要： 1、mapreduce任务可以用linux上的crontab来执行定时任务 用crontab执行定时任务时注意：手动运行脚本会执行，可是定时就不行。原因：应该重新指定环境变量 2、spark任务还可以用sparkStreamingContext来设置，spark任务执行时间间隔，来执行定时任务。 两 阅读全文

摘要： http://blog.csdn.net/alivetime/article/details/6288446 http://blog.csdn.net/wzq294328238/article/details/48054525 当设置了extraClassPath后，在spark上运行spark-s 阅读全文

摘要： 加州理工学院公开课：机器学习与数据挖掘：http://open.163.com/special/opencourse/learningfromdata.html 机器学习：那些具体的算法，得到精确模型，统行学家又称为统计学习 数据挖掘：数据库，数据清洗，数据可视化 深度学习：在图像，语音，富媒体取得 阅读全文

摘要： 一、HBase相关概念 HFile是HBase专用的HDFS文件格式。域服务器中的HFile实现负责从HDFS读取HFile，以及将HFile写入到HDFS。 分布式的HBase实例依赖于处在运行状态的Zookeeper集群。 默认情况下，HBase管理一个Zookeeper集群（HBase将Zoo 阅读全文

摘要： http://bbs.qcloud.com/forum.php?mod=viewthread&tid=21062&page=1 外网登录端口3389是否开启 在腾讯云安全策略里面查看，设置安全组，默认是全部开放的 阅读全文

摘要： http://bbs.qcloud.com/thread-11554-1-1.html ubuntu 默认没有激活root 要激活比较简单，就是在root权限下为root设置一下密码 sudo passwd root 设置密码即可 如果要ssh远程登录，则更改配置 sudo vi /etc/ssh/ 阅读全文

摘要： 1、安装jdk 2、安装scala，更改/etc/profile 加入： export SCALA_HOME=/root/bigData/scala-2.11.8 export PATH=${SCALA_HOME}/bin:$PATH source /etc/profile 生效 测试：直接输入sc 阅读全文

摘要： HDFS：Hadoop分布式文件系统 特性：1、可扩展，高性能，适用于特定类型的应用，不是通用的分布式文件系统。 2、HDFS针对高速流式读取，对随机查找性能差 3、支持写入、删除、追加和读取，不支持更新。它假定的应用场景是数据一次性写入HDFS，然后多次读取（访问模型）。 4、HDFS不提供本地数 阅读全文

摘要： 1、遇到错误，认真查看日志，这才是解决问题的王道啊！ 不过很多时候，尤其是开始摸索的时候，一下要接触的东西太多了，学东西也太赶了，加上boss不停的催进度，结果欲速则不达，最近接触大数据，由于平台是别人搭建的，搭没搭好不知道，也不清楚细节，出了问题也不知道是自己这边的还是平台的问题。有的时候就是小问 阅读全文