02 2018 档案

tensorflow经验
摘要：1 分布式中worker报错 tensorflow.python.framework.errors_impl.UnavailableError: Transport closed 并无其他报错细节，可尝试上调ps的个数以解决。 2 利用tf.feature_column里面各种特征转换的方法，可输入 阅读全文
posted @ 2018-02-28 19:35 JimTheMan 阅读(206) 评论(0) 推荐(0)
rsync经验
摘要：rsync是linux平台传输文件非常方便的文件服务器，可以将文件在本地和remote方便的传输。 特点：1 增量更新; 2 成熟的权限管理 等等 常用command： 1 传输文件从source到destination rsync -avP source destination a:archiev 阅读全文
posted @ 2018-02-24 19:33 JimTheMan 阅读(176) 评论(0) 推荐(0)
任务管理工具--Airflow经验
摘要：Airflow是一款任务管理工具，管理、可视化相互依赖的任务（Bash任务），可把workflow当成DAG图。 今天尝试了一下apache airflow，之所以尝试，因为业务脚本过多，相互依赖复杂。可视化和可理解性很差。 之前希望使用Oozie或者Azkaban进行管理，今天发现了Airflow 阅读全文
posted @ 2018-02-24 14:45 JimTheMan 阅读(1580) 评论(0) 推荐(0)
生活经验随笔
摘要：简介 本随笔列举个人生活经验，仅供大家参考。本随笔持续更新。 爱情 带女朋友回父母家，家里的装修摆设大小地段，会给爱盘算的人太多参考。-2018年02月22日16:46:06 健康-饮食 咖啡因需要6小时代谢，尽量下午4点后不要再引用咖啡-2018年02月22日16:46:06 代谢慢的人，下午4点 阅读全文
posted @ 2018-02-22 16:46 JimTheMan 阅读(86) 评论(0) 推荐(0)
spark DataSetHolder.toDF 的问题
摘要：有个朋友给了这样一段代码： 编译的时候会报错： 但如果把 case class 定义放到main方法外面，编译就没问题。 我猜测和DataSetHolder.toDF时候在scala里面对泛型的使用有关系，但没仔细调查验证。在此暂存一下 阅读全文
posted @ 2018-02-09 14:06 JimTheMan 阅读(797) 评论(0) 推荐(0)
try catch in java/python/scala
摘要：try catch是代码里面非常实用捕获异常的方式 in java: try{} catch (*Exception e) {e.printStackTrace(); dosomething(); } finally{} in scala: try{} catch { case e : * Exce 阅读全文
posted @ 2018-02-09 00:06 JimTheMan 阅读(119) 评论(0) 推荐(0)
最近在玩咖啡
摘要：最近也不抽烟了也不喝酒了，还改了一些其他的坏习惯。总之身体很寂寞啊，没有坏习惯其实挺难受的。 我喜欢苦的东西，我喜欢爱尔兰黑啤guiness，喜欢抽烟斗。为了用点没那么“坏”的习惯来兑换，我买了个咖啡壶，买了点咖啡，每天喝。 壶：摩卡壶moka 2bar的热水漫过咖啡粉，会将油脂（creama）冲泡 阅读全文
posted @ 2018-02-08 23:45 JimTheMan 阅读(136) 评论(0) 推荐(0)
深度学习机器配置
摘要：近来有深度学习demo的需要，自己搭了一台台式机。列一下配置，供记录和参考。参考了很多中英文的博客，包括百度知道的问答和百度图拉丁吧的经验。 英文博客是15年的一篇：http://timdettmers.com/2015/03/09/deep-learning-hardware-guide/ 配置如 阅读全文
posted @ 2018-02-08 23:36 JimTheMan 阅读(325) 评论(0) 推荐(0)