摘要:本文目的 在介绍estimator分布式的时候,官方文档由于版本更新导致与接口不一致。具体是:在estimator分布式当中,使用dataset作为数据输入,在1.12版本中,数据训练只是dataset的数据,就是所有设备加起来,跑一遍数据。 而在2.0版本中,训练数据是dataset的数据乘以分 阅读全文
posted @ 2019-09-04 15:09 Alexanderhaha 阅读 (228) 评论 (0) 编辑
摘要:关键元素定义 1) Graph 定义计算流,包括操作和值的具体类型 2) Operation 定义操作,包含一些属性,用于操作的变体。比如不同种类的数字相加 3) Kernel 定义操作的具体实现,区分平台,不同平台的kernel不同 4) Session 与tensorflow交互,扩展图和执行图 阅读全文
posted @ 2019-08-27 13:29 Alexanderhaha 阅读 (36) 评论 (0) 编辑
摘要:模块作用 tf.data api用于创建训练前导入数据和数据处理的pipeline,使得处理大规模数据,不同数据格式和复杂数据处理变的容易。 基本抽象 提供了两种基本抽象: Dataset 和 Iterator Dataset 表示元素序列集合,每个元素包含一个或者多个Tensor对象,每个元素是一 阅读全文
posted @ 2019-08-13 23:29 Alexanderhaha 阅读 (233) 评论 (0) 编辑
摘要:本文目的 在介绍estimator分布式的时候,官方文档由于版本更新导致与接口不一致。具体是:在estimator分布式当中,使用dataset作为数据输入,在1.12版本中,数据训练只是dataset的数据,就是所有设备加起来,跑一遍数据。 而在2.0版本中,训练数据是dataset的数据乘以分 阅读全文
posted @ 2019-09-04 15:09 Alexanderhaha 阅读 (228) 评论 (0) 编辑
摘要:关键元素定义 1) Graph 定义计算流,包括操作和值的具体类型 2) Operation 定义操作,包含一些属性,用于操作的变体。比如不同种类的数字相加 3) Kernel 定义操作的具体实现,区分平台,不同平台的kernel不同 4) Session 与tensorflow交互,扩展图和执行图 阅读全文
posted @ 2019-08-27 13:29 Alexanderhaha 阅读 (36) 评论 (0) 编辑
摘要:模块作用 tf.data api用于创建训练前导入数据和数据处理的pipeline,使得处理大规模数据,不同数据格式和复杂数据处理变的容易。 基本抽象 提供了两种基本抽象: Dataset 和 Iterator Dataset 表示元素序列集合,每个元素包含一个或者多个Tensor对象,每个元素是一 阅读全文
posted @ 2019-08-13 23:29 Alexanderhaha 阅读 (233) 评论 (0) 编辑
摘要:新闻标签提取的评价方法 一、 目标: 用于评价不同的标签提取算法的优劣,以及算法中参数选取的效果评价。 二、 困难: 标签提取效果的好坏具有强烈的主观性,对一条新闻提取标签的价好坏,通过机器来做的话,比较困难。 三、 解决方案: 选取一定数量的新闻集,经过标签提取得到标签集,通过比较标签集的分布,来 阅读全文
posted @ 2017-06-10 09:15 Alexanderhaha 阅读 (262) 评论 (0) 编辑
摘要:基于TF-IDF的新闻标签提取 1. 新闻标签 新闻标签是一条新闻的关键字,可以由编辑上传,或者通过机器提取。新闻标签的提取主要用于推荐系统中,所以,提取的准确性影响推荐系统的有效性。同时,对于将标签展示出来的新闻网站,标签的准确性也会影响用户体验。 2. 新闻标签提取算法 新闻首先是一段文本,新闻 阅读全文
posted @ 2017-06-07 18:03 Alexanderhaha 阅读 (1728) 评论 (0) 编辑
摘要:一、 标签系统 标签是一种无层次化结构、 用来描述信息的关键词, 可以作为物品的元信息。 利用标签可以更好地组织和推荐物品。根据解决的问题, 可以将标签系统分为两种:1. 根据 Item 的标签为用户推荐 Item;2. 在用户打标签时, 推荐合适的 Item 的标签; 二、 标签算法及优化 a. 阅读全文
posted @ 2017-05-27 12:01 Alexanderhaha 阅读 (5031) 评论 (0) 编辑