摘要: Spark MLlib Spark分布式计算原理 Spark(分布式的计算平台),分布式:指计算节点之间不共享内存,需要通过网络通信的方式交换数据。Spark最典型的应用方式是建立在大量廉价计算节点(廉价主机、虚拟的docker container)上;但这种方式区别于CPU+GPU的架构和共享内存 阅读全文
posted @ 2019-12-24 17:53 雨婷墨染 阅读(3335) 评论(0) 推荐(3) 编辑
摘要: 1. np.where & np.in1d 阅读全文
posted @ 2019-11-25 22:33 雨婷墨染 阅读(140) 评论(0) 推荐(0) 编辑
摘要: 1.groupby & agg & collect_set 实现列转行的聚合 阅读全文
posted @ 2019-11-25 15:30 雨婷墨染 阅读(493) 评论(0) 推荐(0) 编辑
摘要: 1.LSTM&GRU的原理 https://blog.csdn.net/jerr__y/article/details/58598296 https://github.com/starflyyy/Gated-Recurrent-Unit-GRU 2.多层LSTM pytorch里有一个num_lay 阅读全文
posted @ 2019-11-23 14:32 雨婷墨染 阅读(1578) 评论(0) 推荐(0) 编辑
摘要: 一、张量的维度操作 1.squezee & unsqueeze 2.张量扩散,在指定维度上将原来的张量扩展到指定大小,比如原来x是31,输入size为[3, 4],可以将其扩大成34,4为原来1个元素的复制 3.转置,torch.transpose 只能交换两个维度 permute没有限制 4.改变 阅读全文
posted @ 2019-11-20 15:47 雨婷墨染 阅读(8670) 评论(0) 推荐(0) 编辑
摘要: 1. 挂载 sudo mkdir mnt/D sudo fdisk -l #找到windows(本人window磁盘为/dev/sdb4)sudo mount /dev/sdb4 /mnt/D -o iocharset=utf8,umask=0 报错:只读:The disk contains an 阅读全文
posted @ 2019-11-20 10:45 雨婷墨染 阅读(372) 评论(0) 推荐(0) 编辑
摘要: 在实现deepfm是进行特征编码时遇到RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.FloatTensor but got torch.cuda.Fl 阅读全文
posted @ 2019-11-19 15:22 雨婷墨染 阅读(1970) 评论(0) 推荐(0) 编辑
摘要: 开始用附加驱动安装了nvidia 435,但是分辨率依然只有1024*768,意识到是显卡驱动装得有问题,故按照下面的blog安装了驱动。 https://www.cnblogs.com/zmbreathing/p/Nvidia-driver_ubuntu.html nvidia-smi 显示错误N 阅读全文
posted @ 2019-11-18 15:21 雨婷墨染 阅读(2320) 评论(0) 推荐(0) 编辑
摘要: 。 阅读全文
posted @ 2019-11-18 14:56 雨婷墨染 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 文件系统: Linux上文件分为:用户数据(user data, 文件数据块(data block):记录文件真实内容的地址)和元数据(meta data,文件附加属性(文件大小、创建时间、所有者)inode号,文件索引节点号,文件唯一标识符而非文件名,系统和程序通过inode号寻找正确的文件数据块 阅读全文
posted @ 2019-03-06 12:13 雨婷墨染 阅读(192) 评论(0) 推荐(0) 编辑