摘要：16S数据质控流程，一次下机lane包括很多的项目，每个项目有独立的合同号，一个项目可能包含16S或者ITS两种，通过一个完整的pipeline，将上游拆分好的数据全部整理成可以直接分析的数据。原本这个工作是通过并行的sge实现，是运行层面的并行，现在在程序层面实现并行处理，可以脱离sge系统工作。... 阅读全文

摘要：python中实现并发的方式有很多种，通过多进程并发可以真正利用多核资源，而多线程并发则实现了进程内资源的共享，然而Python中由于GIL的存在，多线程是没有办法真正实现多核资源的。对于计算密集型程序，应该使用多进程并发充分利用多核资源，而在IO密集型程序中，多核优势并不明显，甚至由于大多数时间都... 阅读全文

摘要：进程与线程在多任务处理中，每一个任务都有自己的进程，一个任务会有很多子任务，这些在进程中开启线程来执行这些子任务。一般来说，可以将独立调度、分配的基本单元作为线程运行，而进程是资源拥有的基本单位。python支持多进程multiprocessing，以及多线程threading。多进程os.fork()函数可以开启一个进程。该函数会返回两次值，分别在父进程中返回子进程的ID，而在子进程中永远返回0... 阅读全文