摘要： 在应用spark时，经常要获取任务的执行进度，可以参照jobProgressListener的设计来完成该功能。 以下代码仅供参考，欢迎交流。 效果显示： 代码： 博客记录是个好习惯，计划一下以后几期的博客。 由浅入深，围绕机器学习的主题，来学习介绍。 模型评估与选择 线性模型 决策树 神经网络 支 阅读全文

摘要： 基于tensorflow的验证码识别 背景介绍： 验证码图片样例： python库： tensorflow， opencv, pandas， gpu机器。 训练集： 10w 图片, 200step左右开始收敛。 策略： 切分图片，训练单字母识别。预测时也是同样切分。（ps:不切分训练及识别，跑了一夜 阅读全文

摘要： 提交命令形如： 测试辅助类： 阅读全文

摘要： 一、员工个人对2016年重点工作、核心绩效指标进行罗列。 1、 机器学习平台一期 参与机器学习平台从无到有的建设过程、伴随机器学习平台的成长、对于机器学习技术领域问题的定位及解决思路、常用算法基本原理及对应问题、spark（ml）熟悉及scala 语言应用等方面都有了长足的进步。对深度学习、人工智能 阅读全文

摘要： 实验前后效果对比： 之前：执行13个节点，耗时16分钟 之后：同样13个节点，耗时3分钟 具体逻辑请参照代码及注释。 阅读全文

摘要： 1.定义 【aggregate】 /** * Aggregate the elements of each partition, and then the results for all the partitions, using * given combine functions and a neutral "zero value". This f... 阅读全文

摘要： IntelliJ Idea 常用快捷键列表 转自：http://lavasoft.blog.51cto.com/62575/97730 Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包Alt+ 阅读全文

摘要： 统计效果： 代码部分： 阅读全文

该文被密码保护。 阅读全文

摘要： import java.io.IOException; import java.io.InputStream; import java.security.PrivilegedExceptionAction; import java.text.SimpleDateFormat; import java.util.concurrent.ConcurrentHashMap; import java.u... 阅读全文