随笔分类 - python编程
该分类用于存放python编程相关的一些知识点和笔记
摘要：我们知道GPU加速在可并行化程度比较高的算法中，能够发挥出比较大的作用，展示出明显的加速效果，而对于一些线程之间存在依赖这样的场景就不一定能够起到很大的加速作用。CUDA官方针对此类问题，提供了atomic的内置函数解决方案，包含有求和、求最大值等常用函数。而这些函数的特点就在于，线程与线程之间需要有一个时序的依赖关系。就比如说求最大值的函数，它会涉及到不同线程之间的轮询。经过测试，CUDA的这种atomic的方案，实现起来非常方便，性能也很乐观，相比于自己动手实现一个不断切割、递归的规约函数，还是要容易快捷的多。
阅读全文
摘要：本文针对于Python中使用Numba的GPU加速程序的一些基本概念和实现的方法，比如GPU中的线程和模块的概念，以及给出了一个矢量加法的代码案例，进一步说明了GPU加速的效果。需要注意的是，由于Python中的Numba实现是一种即时编译的技术，因此第一次运算时的时间会明显较长，所以我们一般说GPU加速是指从第二步开始的运行时间。对于一些工业和学界常见的场景，比如分子动力学模拟中的系统演化，或者是深度学习与量子计算中的参数优化，都是相同维度参数多步运算的一个过程，非常适合使用即时编译的技术，配合以GPU高度并行化的加速效果，能够在实际工业和学术界的各种场景下发挥巨大的作用。
阅读全文
摘要：Numpy这个库在Python编程中非常的常用，不仅在性能上补足了Python语言的一些固有缺陷，还具有无与伦比的强大生态。但是即使都是使用Python，Numpy也未必就达到了性能的巅峰，对于我们自己日常中使用到的一些计算的场景，针对性的使用CUDA的功能来进行GPU的优化，是可以达到比Numpy更高的性能的。
阅读全文
摘要：本文主要通过介绍两个python中常用的编码规范格式化工具：autopep8和black来讲解python编程中一些快速处理编程规范问题的方法，同时也说明了这些软件的局限性。编程规范也是人为制定的，事实上在实际项目中，也不是所有的编程规范都需要满足，这就需要项目的组织者或者领导者有自己的基本判断。结合代码规范检查工具flake8以及文章中介绍的这些代码规范格式化工具，最重要的还是要配合以人的判断和调整，才能使得项目具有更好的可读性、可维护性以及更友善的生态。
阅读全文
摘要：在本文中我们主要介绍了利用Two-Pass的算法来检测区域连通性，并给出了Python3的代码实现，当然在实现的过程中因为没有使用到Union这样的数据结构，仅仅用了字典来存储标签之间的关系，因此效率和代码可读性都会低一些，单纯作为用例的演示和小规模区域划分的计算是足够用了。在该代码实现方案中，还有一点与原始算法不一致的是，本实现方案中打新的标签是读取上、上左和左三个方向的格点，但是存储标签的映射关系时，是读取了上、上左、上右和左这四个方向的格点。
阅读全文
摘要：本文通过对pyvista这一相对“冷门”的python三维可视化工具的摸索，总结了安装与基本的使用示例，包括单模块、多模块、静态图、动态画板、gif和mp4视频的导出等。总体来说pyvista是一款渲染效果很棒的可视化软件，但是性能相对来说没有那么可观，对于规模不大的体系还是一个非常好用的工具，推荐使用。
阅读全文
摘要：这篇文章主要介绍Facebook所主导的机器学习框架PyTorch的容器化安装方法，基于HPC环境常用的Singularity高性能容器，并且兼容与结合了Docker容器镜像的生态，非常的友好。在容器化的编程环境中，我们不仅可以避免不同框架对于python库或者系统软件版本的依赖冲突，还可以很大程度上解决因为没有root权限以及网络外访权限的环境下所带来的极大的麻烦，故推荐使用这种方案进行安装和运行。
阅读全文
摘要：本文通过4个测试案例分析了在python中读取文件指定行内容的方案，并得到了一些运行耗时的数据。从需求上来说，如果是对于小规模的数据，比如几百行规模的数据，建议使用readline循环遍历来操作，速度也相当不错，或者是linecache中的函数实现也是可以的，甚至可以直接用readlines将整个文本内容加载到内存中。但是对于数据规模比较大的场景，比如超过了千万行的级别，那么使用sed指令的方式对指定行内容进行读取的方式，应该是所有方式中最快速的。
阅读全文
摘要：本文主要展示了一些lambda表达式的使用示例，通过这些示例，我们可以了解到lambda表达式的常用语法以及使用的场景。在一般情况下，其最大的意义还是简化了python中函数的定义方式，在可读性上远不如def所定义的函数。
阅读全文
摘要：本文介绍了python的迭代器yield，其实关于yield，我们可以简单的将其理解为单个元素的return。这样不仅就初步理解了yield的使用语法，也能够大概了解到yield的优势，也就是在计算过程中每次只占用一个元素的内存，而不需要一直存储大量的元素在内存中。
阅读全文
摘要：为了使得输入参数的可扩展性更好，python中自带了args和kwargs两种方法，可以用于表示一个tuple类型的可变长度入参。其中args是一系列的一元变量的输入，kwargs是一系列键值对的输入，可以认为是一个二元变量的输入。虽然这两种方案也都可以用自行实现的tuple来替代，但是直接使用这两种定义会节省很多自定义可变入参的繁琐。
阅读全文
摘要：在科学计算中对于恒定不变的数据，不一定需要实时保存在内存中，或者是需要跨平台运算的数据，我们可以将其保存为numpy格式的列表文件npy或者npz。而如果存储的文件过大，本文也额外介绍了简单的tar压缩与解压缩的使用方法。
阅读全文
摘要：本文介绍了numba的两个装饰器的原理与测试案例，以及python中两坐标轴绘图的案例。其中基于即时编译技术jit的装饰器，能够对代码中的for循环产生较大的编译优化，可以配合并行技术使用。而基于SIMD的向量化计算技术，也能够在向量的计算中，如向量间的乘加运算等场景中，实现巨大的加速效果。这都是非常底层的优化技术，但是要分场景使用，numba这个强力的工具并不能保证在所有的计算场景下都能够产生如此的加速效果。
阅读全文
摘要：二维码技术在日常生活和工业应用中都担任着非常重要的角色，这里我们可以使用python的myqr来生成个性化的二维码，比如带图片背景的二维码，或者是动态背景的二维码。经过测试，用微信扫码都成功的识别了出来，也就是说这些二维码都是可以直接拿来使用的。当然，现在技术都已经非常成熟，所以有很多线上的免费的二维码生成器可以使用，配套的也有二维码解码器，可以将生成的二维码翻译成文字。
阅读全文
摘要：本文介绍了两种表格数据的打印工具：tabulate和prettytable的安装与基本使用方法。由于表格数据本身是没有对输出格式进行规范化的，因此打印出来的数据会显得比较杂乱，不利于直观的阅读。因此引入这两种工具，加强了输出结果的可读性。这两者在使用上各有优劣，tabulate支持更多形式的表格样式，而prettytable则使用了更加接近于数据库的操作形式，对于部分用户而言有天然的生态优势。
阅读全文
摘要：本文介绍了用tracemalloc来进行python程序的内存追踪的技术，以及简单的文件映射技术mmap的使用方法介绍和演示。通过这些案例，我们了解到，对于小规模的计算场景，可以将整个的需要计算的元素包含在内存中，这比较方便也比较快速。而对于大规模的文件场景，还是使用内存映射技术更加的快速，这个速度在本文中介绍的几个案例的运行中也能够体会到。内存映射技术已经有很多应用场景，比如前面介绍过的vaex就是得益于内存映射技术。
阅读全文
摘要：基于python也可以开发安卓APP，这需要使用到kivy库来进行开发，再通过buildozer来编译构建。这两个库的安装和使用方式都相对比较简单，我们推荐直接在本地的系统环境下直接部署使用，最大的困难其实在于部署的过程以及配置文件的修改，这也都是比较基础的操作了。最后我们演示了使用文本框和按钮事件，加上python的eval()函数和math数学仓库，实现了一个可以在移动端调用math库中的函数执行数学计算的简单APP，并提供了apk下载网盘地址。
阅读全文
摘要：本文中通过python库diagrams展示了基础的架构图绘制的方法，库中提供了常用的AWS和k8S等场景下常用的组件标签，使得我们用python代码也可以绘制精美清晰的架构图。这里组件之间的连接和耦合关系，也可以通过简单的符号进行实现，这也得益于python中所特有的魔法函数。
阅读全文
摘要：本文介绍了使用opencv-python对输入图像进行处理的基本操作，包括图像读取、图像变换等。有了这些基础的操作支撑后，我们可以执行跟高层次的图像处理，比如常用于深度学习的卷积和池化操作，这里我们也作了简单介绍，并给出了使用示例。
阅读全文
摘要：在前面几篇博客中我们介绍过docker等容器的编程环境解决方案，但是容器作为一个系统级的隔离方案，其实更加强调的是用户间的隔离，这一点也得益其对NameSpace技术的推广和使用。但是在一部分的场景下，比如快速构造一个纯净的python环境、轻量级的操作实现不同python包的共存，容器技术虽然也可以完成，但是功能显得过于冗余，这就需要使用到本文所介绍的virtualenv这样的一个python依赖管理解决方案。文中我们介绍了virtualenv的安装与基本的使用方法，做了一遍比较完整的演示。
阅读全文
浙公网安备 33010602011771号