surimj

摘要： Hadoop中文手册：http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html 英文手册：http://hadoop.apache.org/docs/stable/hadoop project dist/hadoop common/Co 阅读全文

摘要： 查看文件的行数 查看文件多行内容 ，查看文件前num行 ，查看文件后num行 ,查看文件num1至num2行 查看文件每行列数 查看文件第一列(\t分隔) 查看某列含有某个内容的所有行(\t分隔) 切分文件cut 按域切分（截取文件多列） d默认为\t，可省略 如，以\t分隔的多列文件，取3 6列： 阅读全文

摘要： 基本操作 插入 i 保存 w 保存并退出 wq 不保存强制退出 q! 撤销 u 删除一行 dd 光标移动 移动到行首 0 移动到行尾 $ 复制 文件内多行复制 esc模式下： 1、v 选中复制的区域 2、y 复制 3、光标移动到要复制的开头 p 复制完成 跨文件多行复制 1、先打开其中一个文件 vi 阅读全文

摘要： 访问远程tensorboard 在远程服务器上运行tensorflow模型时，需要借助tensorboard来可视化训练过程时，要远程访问tensorboard的方法如下： 在本地的终端连接远程服务器， L参数用来创建SSH隧道，后面接的是local port:host:remote port，创建 阅读全文

摘要： 在项目中需要使用一批格式相同的新的数据集训练，可以不用把新的数据集拷贝到原来的训练数据目录下，而只需要在原来的训练数据目录下建立一个新数据文件的链接即可。 或者说当我们需要在不同的目录，用到相同的文件时，我们不需要在每一个需要的目录下都放一个必须相同的文件，我们只要在某个固定的目录，放上该文件，然后 阅读全文

摘要： 记录实习工作中学到的新东西 服务器下ubuntu+cuda9.0+cuDNN7.0+tensorflow gpu环境搭建 1.登陆服务器 windows系统下用xshell或者MobaXterm，新建session，输入服务器ip连接。 2.安装cuda9.0 （1）在英伟达官网进入cuda下载页（ 阅读全文

摘要： Error analysis Carrying out error analysis Error analysis是手动分析算法错误的过程。 通过一个例子来说明error analysis的过程。假设你在做猫图像识别的算法，它的错误率高达10%，你希望提高它的表现。 你已经有了一些改进的想法，包括： 阅读全文

摘要： Optimization algorithms 优化算法以加速训练。 Mini batch gradient descend Batch gradient descend：每一小步梯度下降否需要计算所有的训练样本。很耗时。 Mini batch gradient descend：将训练集分为很多小的 阅读全文

摘要： Setting up your optimization problem Normalizing inputs（归一化输入） 归一化输入是可以减速训练的一种方法，包括两步： 1. 均值归零 $$ \mu = \frac{1}{m}\sum_{i=1}^{m}{x^{(i)}}$$ $$x := x 阅读全文

摘要： Introduction to ML strategy Why ML strategy 可以改进ML系统的策略很多，因此教授大家一些分析ML系统的问题和选择适当有效的策略使得更有效率的提升系统性能的strategy和建立和管理大的ML系统。 Orthogonalization（正交化） 比如，老式电 阅读全文