摘要：
背景 之前用的机器现在没卡，今天暂时换了另一个机器。我之前是打包过我的conda环境的，今天脑抽觉得解包创建新conda环境有点慢，关键的包也没几个，就直接install了。 执行了下面几个命令： $ conda create -n ltlCL python=3.6 $ pip install to 阅读全文
摘要：
我自己机器的显存不足以支持我运行一些大规模的模型训练，所以要用组里的服务器远程训练。但有时候一些模型，为了看效果（比如图片相关的）（效果不行得停掉改参数吧），用了visdom显示，为了看visdom显示的效果我得给远程服务器配个xrdp远程桌面。（这是我最开始的想法） 经过多方阅读，这个博主写的脚本 阅读全文
摘要：
为了用pyinstaller打包exe打成个小一点的包，新建了一个专门用来打包的conda新环境， 这个环境conda install的时候会说“OpenSSL_Error”，然后说你没装这个OpenSSL我们需要这个来conda install blabla，原来几个环境都没遇见过（也就是说我并不 阅读全文
摘要：
背景和引出的问题 关于anaconda：之前学的时候不想总开虚拟机，发现nvidia的cuda和cudnn在windows系统下也可以搞，就直接在主机上配了。加上听说在windows下用conda管理更好（但用着其实也就那样，但没啥大毛病就一直用着），就主机上装了个anaconda，用它的noteb 阅读全文
摘要：
这篇记录的的是怎么在vim里让scala代码高亮，主要内容是一个.vimrc，需要保存在用户目录下，因为我是用hadoop用户编写scala，所以放在了hadoop用户的home里。 这个.vimrc的内容是东拼西凑来的，对于spark来说，它最实用的地方在于能够让scala高亮，正常的vim编辑器 阅读全文
摘要：
真的，之前在学了实验楼线上环境的课，线上环境用着也舒服，我以为我spark入门了。 然后之前有一段时间去欢快地研究了机器学习，sciki learn是真的好用。 然后，我复习了一下之前spark mllib，感觉思路一下子清晰了很多，因为理解了调的包是个什么东西了,而且还知道了spark自带的数据结 阅读全文
该文被密码保护。 阅读全文
摘要：
[TOC] 从 Spark 2.0 开始， spark.mllib 包中的基于 RDD 的 API 已经进入了维护模式。Spark 的主要的机器学习 API 现在是 spark.ml 包中的基于 DataFrame 的 API 。 所以除了Mllib之外spark里面还有一个ml库，也是用来支持机器 阅读全文
摘要：
[TOC] 资料 "Spark机器学习库（MLlib）中文指南" "关于spark机器学习的知乎专栏" "Spark入门实战系列 8.Spark MLlib（上） 机器学习及SparkMLlib简介" "基本Kmeans算法介绍及其实现" [spark MLlib 概念 1：相关系数（ PPMCC 阅读全文
摘要：
[TOC] SparkStreaming相关概念 概述 SparkStreaming主要用作对流数据的实时处理，比如：实时的 web 日志数据分析、实时追踪页面访问统计数据等。 流数据的特点有： 数据一直在变化 数据无法回退 数据始终源源不断涌进 Spark Streaming 是在 Spark 上 阅读全文