摘要: 思考如果tf读取文件是这样的:1. 读取文件, 2. 将文件数据送入内存计算。 那么就意味这读取和计算是串行的,效率低下。 那么提高效率的一个简单途径,就是将两个步骤并行化。 这样就可以把数据读取与数据计算分离。 tf改进tf的数据读取更进一步,添加了一个文件名管理队列,用于先将需要处理的数据的文件 阅读全文
posted @ 2019-10-10 16:57 不说谎的匹诺曹 阅读(169) 评论(0) 推荐(0) 编辑
摘要: 现在有这样一个任务:我们有一个文本,内容如下: 文本里面有中英文标点符号,英文字符,数字,字母,中文,空格等等,现在我们需要把这些文本按行读取,前面的标号(ws0012cs3d4 )保持不变,后面文本过滤成仅包含中文文本的数据,然后把标号和文本重新拼起来,如下形式: 保存在新的文件中。 代码如下: 阅读全文
posted @ 2019-10-10 16:56 不说谎的匹诺曹 阅读(1748) 评论(0) 推荐(1) 编辑