摘要: r,rb 那么在读文件时,有无b标识的的主要区别在哪里呢? 1、文件使用方式标识 'r':默认值,表示从文件读取数据。'b':表示要读写二进制数据 2、读文件 进行读文件操作时,直到读到文档结束符(EOF)才算读取到文件最后,Python会认为字节\x1A(26)转换成的字符为文档结束符(EOF), 阅读全文
posted @ 2018-10-09 14:15 胡立峰 阅读(2837) 评论(0) 推荐(0) 编辑
摘要: 在使用RNN based model处理序列的应用中,如果使用并行运算batch sample,我们几乎一定会遇到变长序列的问题。 通常解决变长的方法主要是将过长的序列截断,将过短序列用0补齐到一个固定长度(例如max_length)。 最后由n个sample组成的dataset能形成一个shape 阅读全文
posted @ 2018-07-19 16:26 胡立峰 阅读(7328) 评论(1) 推荐(0) 编辑
摘要: 自然语言处理任务,比如caption generation(图片描述文本生成)、机器翻译中,都需要进行词或者字符序列的生成。常见于seq2seq模型或者RNNLM模型中。 这篇博文主要介绍文本生成解码过程中用的greedy search 和beam search算法实现。其中,greedy sear 阅读全文
posted @ 2018-07-19 14:36 胡立峰 阅读(7926) 评论(0) 推荐(1) 编辑
摘要: 问题: 如: 报错: AttributeError: 'Variable' object has no attribute 'set_value' 解决办法: 阅读全文
posted @ 2018-07-18 10:44 胡立峰 阅读(1325) 评论(0) 推荐(0) 编辑
摘要: # Install OpenBLAS at /usr/local/openblas git clone https://github.com/xianyi/OpenBLAS cd OpenBLAS make -j $(($(nproc) + 1)) sudo make PREFIX=/usr/loc 阅读全文
posted @ 2017-03-24 18:01 胡立峰 阅读(2771) 评论(0) 推荐(0) 编辑
摘要: ALTER COLUMN:设置或删除列的默认值(操作速度非常快) 例子: CHANGE COLUMN:列的重命名、列类型的变更以及列位置的移动 例子: MODIFY COLUMN:除了不能给列重命名之外,他干的活和CHANGE COLUMN是一样的 例子: 阅读全文
posted @ 2016-12-26 17:50 胡立峰 阅读(5747) 评论(0) 推荐(1) 编辑
摘要: 开发的原因,需要对吞吐量(TPS)、QPS、并发数、响应时间(RT)几个概念做下了解,查自百度百科,记录如下:1. 响应时间(RT) 响应时间是指系统对请求作出响应的时间。直观上看,这个指标与人对软件性能的主观感受是非常一致的,因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许 阅读全文
posted @ 2016-12-25 22:55 胡立峰 阅读(411107) 评论(0) 推荐(38) 编辑
摘要: 总结下负载均衡的常用方案及适用场景 轮询调度 以轮询的方式依次请求调度不同的服务器;实现时,一般为服务器带上权重;这样有两个好处: 优点:实现简单、高效;易水平扩展; 缺点:请求到目的结点的不确定,造成其无法适用于有写的场景(缓存,数据库写) 应用场景:数据库或应用服务层中只有读的场景; 优点:实现 阅读全文
posted @ 2016-11-27 22:16 胡立峰 阅读(7333) 评论(0) 推荐(1) 编辑
摘要: 负载均衡器 可以是专用设备,也可以是在通用服务器上运行的应用程序。 分散请求到拥有相同内容或提供相同服务的服务器。 专用设备一般只有以太网接口,可以说是多层交换机的一种。 负载均衡器一般会被分配虚拟IP地址,所有来自客户端的请求都是针对虚拟IP地址完成的。负载均衡器通过负载均衡算法将来自客户端的请求 阅读全文
posted @ 2016-11-27 21:32 胡立峰 阅读(10890) 评论(0) 推荐(1) 编辑
摘要: 大多数域名注册商都支持对统一主机添加多条A记录,这就是DNS轮询,DNS服务器将解析请求按照A记录的顺序,随机分配到不同的IP上,这样就完成了简单的负载均衡。下图的例子是:有3台联通服务器、3台电信服务器,要实现“联通用户流量分摊到3台联通服务器、其他用户流量分摊到电信服务器”这个效果的设置。 DN 阅读全文
posted @ 2016-11-27 21:15 胡立峰 阅读(30864) 评论(0) 推荐(3) 编辑