08 2021 档案

常用的多臂赌博机算法——Bandit Algorithms for Website Optimization
摘要:"Bandit Algorithms for Website Optimization by John Myles White. Copyright 2013 John Myles White, 978-1-449-34133-6." 书中代码原地址: https://github.com/john 阅读全文

posted @ 2021-08-31 13:06 Angry_Panda 阅读(188) 评论(0) 推荐(0)

文化入侵之外就没有别的入侵了吗——如何看待中国唯一的一条日本风情街(大连日本风情街)
摘要:最近新闻上对#大连日本风情街开业引争议#这个事情报道很多,国人的反映可以分为势均力敌的两派,要么反对,要么同意。 其实看到国人的这个反应我还是蛮意外的,原本以为会是一边倒的反对居然还会出现大量的支持声,这实属意料之外。 支持的人理由大致就是,我们开日本风情街,卖日本货,赚日本人的钱,这也是一种爱国。 阅读全文

posted @ 2021-08-31 09:39 Angry_Panda 阅读(264) 评论(1) 推荐(0)

让本科生带着自己设计的芯片毕业
摘要:网上偶见新闻《“北京最美科技工作者”包云岗:让本科生带着自己设计的芯片毕业》,文中讲的是中国科学技术大学的老师带领本科生将芯片设计作为本科的毕设,最后成功完成并运行linux系统。看到网上说又有哪个哪个地方投资了几百亿去建立芯片研发生产中心的新闻我是基本不感冒的,因为几十年来这样的事情时常发生却从没 阅读全文

posted @ 2021-08-18 20:54 Angry_Panda 阅读(136) 评论(1) 推荐(0)

外网的一个还不错的高性能计算教程: High Performance Computing
摘要:地址: https://info.gwdg.de/wiki/doku.php?id=wiki:hpc:start High Performance Computing User provided application documentation Installing Software (e.g. 阅读全文

posted @ 2021-08-17 12:09 Angry_Panda 阅读(206) 评论(1) 推荐(0)

MPI在Deep Learning的主流时代背景下除了传统计算领域外对DL的应用前景如何,MPI与NCCL的区别在哪???
摘要:做分布式计算的基本上10年之前只听说过MPI,14年之前只听过hadoop的MapReduce,17年之前只听过TensorFlow。 那么这三个分布式计算软件或者说框架有什么区别呢???现在都是搞deep learning的为主,也就是Tensorflow和Pytorch的,那么之前的MPI,Ma 阅读全文

posted @ 2021-08-17 00:12 Angry_Panda 阅读(1020) 评论(0) 推荐(0)

【转载】 Parallel Computing in Python using mpi4py
摘要:原地址: https://research.computing.yale.edu/sites/default/files/files/mpi4py.pdf 说明: 本文只摘录了部分因为比较重点的部分内容,如要查阅全部请关注原地址: https://research.computing.yale.ed 阅读全文

posted @ 2021-08-16 22:16 Angry_Panda 阅读(78) 评论(0) 推荐(0)

MPI经典课程视频 —— 中国科学技术大学-并行计算(国家级精品课) —— 陈国良院士的06年课程
摘要:课程视频地址: https://www.bilibili.com/video/BV1U7411N78e 阅读全文

posted @ 2021-08-16 19:59 Angry_Panda 阅读(184) 评论(0) 推荐(0)

MPI4PY的数据类型 —— MPI4Py data type
摘要:原文地址: http://education.molssi.org/parallel-programming/03-distributed-examples-mpi4py/index.html MPI4Py data type C data type MPI.BYTE 8 binary digits 阅读全文

posted @ 2021-08-16 14:10 Angry_Panda 阅读(91) 评论(0) 推荐(0)

版权必须被尊重 —— 《七夕奇妙游》盗用插画事件有感
摘要:河南卫视一改往日低迷的作风在今年一举推出了一系列的国风节目赢得了满堂喝彩,其中却也出了插曲,就是近日报出的《七夕奇妙游》插画盗用事件。事件发生后官方的解释是沟通不畅导致的误用,而这个解释是否可以服众呢?真的是失误造成的误用还是对于原创版权的不尊重呢,不难想象一个省级的官方卫视是多么大牌的存在,也或许 阅读全文

posted @ 2021-08-15 09:28 Angry_Panda 阅读(89) 评论(1) 推荐(0)

互联网企业不要妄想大而不倒!
摘要:读《不要妄想大而不倒!人民日报再次点名阿里,事情越闹越大了》有感。 在当前社会下,一个互联网企业如何做到大而不倒,我想这首先就要看企业的发展目标是以赚钱为首要目的还是以科技手段造福社会为第一目的。 首先就要看互联网企业近期最为诟病的几个项目: 1.互联网金融 2.互联网社区团购(菜篮子) 3.互联网 阅读全文

posted @ 2021-08-14 22:31 Angry_Panda 阅读(108) 评论(1) 推荐(0)

分享某Python下的mpi教程 —— A Python Introduction to Parallel Programming with MPI 1.0.2 documentation ( 续 #2 )
摘要:接前文: 分享某Python下的mpi教程 —— A Python Introduction to Parallel Programming with MPI 1.0.2 documentation 之 https://materials.jeremybejarano.com/MPIwithPyth 阅读全文

posted @ 2021-08-14 22:29 Angry_Panda 阅读(255) 评论(0) 推荐(0)

为什么使用服务器CPU运算Tensorflow、Pytorch代码会导致近百个逻辑核心的CPU使用率高达100%呢
摘要:2022年11月10日更新 本文所提问题与CPU的向量计算(simd)关系并不大,主要原因就是CPU多线程并行计算所导致的。不过CPU的SIMD导致CPU功耗大幅度上升并且导致CPU降频运行也确实会影响CPU的整体运行性能,但是本文所提问题主要在于服务器由于CPU核心多因此框架运行启动的线程数量也同 阅读全文

posted @ 2021-08-13 10:45 Angry_Panda 阅读(2080) 评论(2) 推荐(0)

分享某Python下的mpi教程 —— A Python Introduction to Parallel Programming with MPI 1.0.2 documentation
摘要:如题: 无意中发现了一个Python下的mpi教程《A Python Introduction to Parallel Programming with MPI 1.0.2 documentation》 地址如下: https://materials.jeremybejarano.com/MPIwi 阅读全文

posted @ 2021-08-13 08:14 Angry_Panda 阅读(188) 评论(0) 推荐(0)

使用pycharm专业版(支持远程调试及运行)如何运行mpi的代码呢???(mpi4py的代码)
摘要:问题如题: 请注意:这里pycharm专业版的远程调试及运行该如何设置不进行介绍。 由于mpi进程启动是需要执行mpiexec或mpirun命令的,然而在pycharm中我们只能远程调用Python命令,无法直接调用mpiexec和mpirun命令,因此使用pycharm远程运行mpi代码存在一定困 阅读全文

posted @ 2021-08-13 08:09 Angry_Panda 阅读(703) 评论(0) 推荐(0)

使用MPI时执行代码时运行命令中参见的几种参数设置
摘要:我们写完mpi代码以后需要通过执行命令运行写好的代码,此时在运行命令中加入设置参数可以更好的控制程序的运行,这里就介绍一下自己常用的几种参数设置。 相关资料,参看前文: https://www.cnblogs.com/devilmaycry812839668/p/15107935.html 现有硬件 阅读全文

posted @ 2021-08-12 13:45 Angry_Panda 阅读(20611) 评论(0) 推荐(2)

为什么我要弃用华为的软件产品——mindspore从入门到放弃之感想
摘要:从本博主前段时间的博文就可以看到博主写了好多关于华为软件mindspore的入门资料和编译方法以及一些bug的修复,但是无奈之下发现这些简单而且显而易见的bug不仅长期存在与软件中而且在提交PR后而一直没有修复,从而可以看出相关软件开发人员并没有一个完整的开发流程,管理不善,开发业务运行不畅。而这些 阅读全文

posted @ 2021-08-12 11:34 Angry_Panda 阅读(1005) 评论(5) 推荐(0)

网络文件系统nfs服务端配置客户端权限时的demo例子
摘要:参考: https://www.cnblogs.com/devilmaycry812839668/p/15127755.html 由上面的参考资料我们可以知道在nfs服务端进行配置时对于客户端的权限设定主要有以下字段: no_root_squash root_squash all_squash an 阅读全文

posted @ 2021-08-11 18:06 Angry_Panda 阅读(387) 评论(0) 推荐(0)

Ubuntu18.04系统下网络文件系统nfs的安装及简单配置
摘要:硬件环境: 两台Ubuntu18.04服务器使用局域网连接,IP分别为192.168.11.66 和 192.168.11.206。 nfs的安装: 分别在192.168.11.66 和 192.168.11.206电脑上执行命令: sudo apt-get install nfs-kernel-s 阅读全文

posted @ 2021-08-11 14:21 Angry_Panda 阅读(991) 评论(0) 推荐(0)

【转载】 NFS服务器端的权限设置学习 Linux运维学习
摘要:原文地址: http://blog.chinaunix.net/uid-31484238-id-5785140.html NFS服务器端的权限设置,即/etc/exports文件配置格式中小括号()里的参数集,那么参数有什么用途呢? 参数名称 参数用途 rw Read-write,表示可读写权限 r 阅读全文

posted @ 2021-08-11 12:58 Angry_Panda 阅读(668) 评论(0) 推荐(1)

【转载】 Sun RPC 编程简介
摘要:原文地址: http://blog.chinaunix.net/uid-1724205-id-2813082.html 一、 概述 在传统的编程概念中,过程是由程序员在本地编译完成,并只能局限在本地运行的一段代码,也即其主程序和过程之间的运行关系是本地调用关系。因此这种结构在网络日益发展的今天已无法 阅读全文

posted @ 2021-08-11 11:10 Angry_Panda 阅读(702) 评论(0) 推荐(0)

【转载】 SUN RPC的传输层实现机制 —— rpcbind(nfs文件系统中的rpc)
摘要:原文地址: https://blog.csdn.net/dingguo815/article/details/5421675 通信语义 为保证RPC语义的实现,我们必须在两种可能中进行选择。一方面,为尽量使远程过程调用的行为像一个本地过程调用,RPC应该使用一种像TCP这样可靠的运输,而且应该对程序 阅读全文

posted @ 2021-08-11 10:47 Angry_Panda 阅读(671) 评论(0) 推荐(0)

【转载】sun的rpc ——rpcbind(nfs文件系统中的rpc)
摘要:原文地址: https://blog.csdn.net/wangpeng138375/article/details/8169071 Sun的RPC服务 ONC RPC(Open Network Computing Remote Procedure Call)是一个由Sun Microsystem公 阅读全文

posted @ 2021-08-11 10:43 Angry_Panda 阅读(622) 评论(0) 推荐(0)

【转载】 从零开始编写一个简单的Linux文件系统
摘要:版权声明:本文为CSDN博主「shuxiaogd」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/shuxiaogd/article/details/48829671 最近想研究一下Linux文件系统,最好的开始 阅读全文

posted @ 2021-08-10 21:12 Angry_Panda 阅读(753) 评论(0) 推荐(0)

在单机条件下,MPI4PY与纯Python多进程代码来比较是否有性能优势???
摘要:如题: 最近在看MPI4PY的代码,但是发现这东西除了编写简洁外(少量代码实现复杂的多进程通信,包括单机和多机),好像也没有别的太多功能,当然MPI本身在多机通信广播、规约上做的很成熟,但是假设我们只是在一个单机上来运行Python多进程代码,那么使用MPI4PY除了代码简洁上以外在运行性能上是否会 阅读全文

posted @ 2021-08-09 16:50 Angry_Panda 阅读(1100) 评论(0) 推荐(0)

多网卡系统下如何使用tcp协议实现MPI的分布式多机运行(mpi的实现使用openmpi)
摘要:如题: 最近在看MPI方面的东西,主要是Python下的MPI4PY,学校有超算机房可以使用MPI,但是需要申请什么的比较麻烦,目的也本就是为了学习一下,所以就想着在自己的电脑上先配置一下。 现有硬件:两台装有Ubuntu18.04的操作系统(下面简称A电脑,B电脑) A电脑: 24物理核心(48逻 阅读全文

posted @ 2021-08-06 11:56 Angry_Panda 阅读(4187) 评论(5) 推荐(0)

Ubuntu18.04 server 双网卡,一个设置为静态IP, 一个设置为动态IP
摘要:操作目的如题: 修改网络配置文件: sudo vim /etc/netplan/50-cloud-init.yaml 修改内容如下: # This file is generated from information provided by # the datasource. Changes to 阅读全文

posted @ 2021-08-03 19:38 Angry_Panda 阅读(1064) 评论(1) 推荐(0)

【转载】 Ubuntu 中开机自动执行脚本的两种方法
摘要:原文地址: https://www.jianshu.com/p/6366d7070642 作者:貘鸣来源:简书 方法1: rc.local脚本是一个ubuntu开机后会自动执行的脚本,我们可以在该脚本内添加命令行指令。 方法2: 1. 建立自己的脚本, 例如: #!/bin/bash cd /hom 阅读全文

posted @ 2021-08-03 19:26 Angry_Panda 阅读(2080) 评论(0) 推荐(0)

Ubuntu18.04server 双网卡,开机自动设置路由并启动校园网网络认证程序(Ubuntu开机自动设置路由,开机自启动应用程序)
摘要:本博主为高龄在校生,实验室服务器需要假期时候无人守候也能实现自动登录校园网从而实现网络连接,以使实验室同学在家也可以使用校园vpn连接服务器。 由于假期时候实验室没有人,而假期实验室可能会出现断电断网问题(假期一般需要定期检修校园的电力和网络),虽然服务器设置了来电自启动但是网络连接却是不好解决的问 阅读全文

posted @ 2021-08-03 17:28 Angry_Panda 阅读(1277) 评论(1) 推荐(0)

mpi4py 官方使用手册
摘要:一直好奇mpi4py的使用手册在哪,找了好久最后在anaconda上发现了线索: https://anaconda.org/conda-forge/mpi4py Home: https://mpi4py.bitbucket.io/ Development: https://bitbucket.org 阅读全文

posted @ 2021-08-03 07:32 Angry_Panda 阅读(513) 评论(0) 推荐(0)

【转转】 Huber Loss
摘要:原文地址: https://www.cnblogs.com/nowgood/p/Huber-Loss.html Huber Loss 是一个用于回归问题的带参损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。 当预测偏差小于 δ 时,它采用平方 阅读全文

posted @ 2021-08-01 20:37 Angry_Panda 阅读(142) 评论(0) 推荐(0)

【转载】 MPP大规模并行处理架构详解
摘要:本文来自博客园,作者:五分钟学大数据 原文链接:https://www.cnblogs.com/itlz/p/14998858.html 面试官:说下你知道的MPP架构的计算引擎? 这个问题不少小伙伴在面试时都遇到过,因为对MPP这个概念了解较少,不少人都卡壳了,但是我们常用的大数据计算引擎有很多都 阅读全文

posted @ 2021-08-01 18:32 Angry_Panda 阅读(216) 评论(0) 推荐(0)

导航