Digital-LI

摘要： 转自：http://blog.csdn.net/happydeer/article/details/17023229 最近，我大量阅读了Steve Yegge的文章。其中有一篇叫“Practicing Programming”（练习编程），写成于2005年，读后令我惊讶不已： 与你所相信的恰恰相反，单纯地每天埋头于工作并不能算是真正意义上的锻炼——参加会议并不能锻炼你的人际交往能力；回... 阅读全文

摘要： sublime部分取代linux vi编辑器。 在vi里写代码非常不方便，尤其是定位、复制、粘贴，以及打开多个文档。 现在用sublime直接以sFTP连接到server，即可像编辑本地文件一样方便。 我选择了sublime的sFTP插件 https://codexns.io/products/sf 阅读全文

摘要： 如果一点基础没有最好先拿起一本教材开始学，《机器学习实战》还不错，P93，书上有python源码和练习数据，非常适合新手。 k均值聚类 名词：簇；相似度算法 伪代码 创建K个点作为起始质心 当任意一个点的簇分配结果发生变化时： 对数据集中的每个点： 对每个质心： 计算质心到数据点之间的距离 将数据点分配到距离其最近的簇 ... 阅读全文

摘要： PacBio® RS Software Overview PacBio运行的整个流程是什么？每一步都用到了什么软件？ PacBio软件套件 RS Remote：Design runs remotely，Can assign multiple SMRT® Cells per well with different movie times RS Touch：Loading a ... 阅读全文

摘要： 数据库有多重要就不用说了，每一个计算机相关行业的人都必须要学会基本的数据库操作，因为你总会用到的。 之前转过一些学习资源： 与MySQL的零距离接触 - 慕课网 Python操作MySQL数据库 生物信息学学者学习mysql之路 最近的资料： Linux下mysql 5.6.17安装图文教程详细版 Basics of databases and MySQL D... 阅读全文

摘要： 总是跑数据，却对数据一无所知，这说不过去吧。 看几篇文章吧 Sequencing depth and coverage: key considerations in genomic analyses（只讲二代） Assembly of large genomes using second-generation sequencing（参考文献） Identification of op... 阅读全文

摘要： A Neural Network Playground Understanding neural networks with TensorFlow Playground 机器之心翻译 阅读全文

摘要： 在Linux上各种尝试各种失败，因为没有Linux权限，没法通过yum、apt等工具自动更新系统的底层环境（主要是glibc），而自己手动安装往往十分繁琐。 Windows上安装就比较简单了，但是一定要注意：目前只支持python3.5的64bit版本，有了python后，pip安装numpy后，就可以pip安装tensorflow了，亲测可用。 网上有比较好的入门教程了： 莫烦 tenso... 阅读全文

摘要： 之前转过一篇文章：2016年GitHub排名前20的Python机器学习开源项目(转)，说明现在已经有了很多很好的机器学习的包，我们不必从底层开始实现，只要懂点算法、会看文档，一般人也能玩好机器学习。 随着生信领域的数据量越来越多，我们得到知识的途径必然会发生变化，慢慢地我们将不再使用固定呆板的模型，而是使用灵活的机器学习方法从海量数据中提取出知识。 现在我准备开一系列的机器学习算法原理及py... 阅读全文

摘要： 手头有一套完整的PacBio技术资料，会慢慢的总结到博客上。 写在前面：PacBio公司主要有两个测序平台一个是RS，一个是最新的Sequel，下面如果没有指明则是在讲RS平台。 SMRT测序技术总览（SMRT® Sequencing Technology Overview） 首先必须对下面几个东西形成概念： 1.SMRT Cell：纳米制造的，不可回收的消耗品，每个 cell 里有 1M... 阅读全文

摘要： 这本书确实很好，一直都没有坚持学下去，真是可惜，现在每天打卡，学习一章，并做下学习笔记。 已经有人做过类似的笔记了：统计学习笔记（1）——统计学习方法概论 那我就不用求全，只需要总结框架，并把难懂的知识点重点理解。 第一章讲的基本是理论 统计学习：数据、建模、预测，全称统计机器学习；包括监督学习、无 阅读全文

摘要： 贝叶斯，人人都学过一点，大部分人都以为自己懂了，不就是一个条件概率公式吗，其实还真没那么简单，想完全学通弄透还是要花点力气的 下面的都是你必须弄懂的： 怎么用常识解释贝叶斯公式？ 什么是先验，什么是后验，它们在贝叶斯公式中如何体现，如何解释贝叶斯定理中的每一项？ 贝叶斯学派的核心思想，它与其他派的区别？ 贝叶斯的优势与不足？ 最大似然、贝叶斯和最大后验的区别与联系？ ... 阅读全文

摘要： 当今时代，开源是创新和技术快速发展的核心。本文来自 KDnuggets 的年度盘点，介绍了 2016 年排名前 20 的 Python 机器学习开源项目，在介绍的同时也会做一些有趣的分析以及谈一谈它们的发展趋势。和去年一样，KDnuggets 介绍了 GitHub 上最新的并且排名前 20 的 Python 机器学习开源项目。令人吃惊的是，去年一些最活跃的项目已经停滞不前了，也有一些项目跌出... 阅读全文

摘要： 在生信公司里，有相当一部分人都是负责编写流程和维护流程。 流程pipeline，就是让用户（前端）在填写配置文件后能够一键运行的脚本，最终自动得出结果，并生成报告，有的公司还会将结果上传。 自动化pipeline必须具备的功能： 读取配置文件，生成相应的待执行的脚本 按照先后逻辑关系依次向集群投递任务 能将大任务分割成小的任务，并行执行，缩短项目周期 必须使... 阅读全文

摘要： 今天被人问起如何看懂三代的下机数据，虽然解决了别人的问题，但感觉自己还是没有搞透。 基本的目录结构： |-- HG002new_O1l_BP_P6_021315b_MB_100pM | |-- D01_1.c60e446d-f276-41fc-9384-ffa937e22683.tar.gz | |-- D01_2.19ee4f13-c420-4974-8262-cb1da56b... 阅读全文

摘要： 一般人都知道 H 和 S 的表面上的区别，即 S 就是 soft， H 就是 hard，S 后，序列里还是会保留序列的信息，而 H 则不会。 -------------------------------------------后面都不用看了，H和S没有区别，比对软件不能发现嵌合体-------------------------------------- 但这只是表面上的，在深层次的意义上，... 阅读全文

摘要： PacBio公司的业务范围也就5个（官网）： Whole Genome Sequencing Targeted Sequencing Complex Populations RNA Sequencing Epigenetics 其中全基因组测序应该是PacBio的拿手好戏，因为它这么贵（貌似是二代的10倍），但它的核心优势就是长，还有无偏向性；这在科研上可就立马... 阅读全文

摘要： 之前只接触过双序列比对，现在需要开始用多序列比对了。 基本概念：多序列比对 - 百科 常用的 multiple alignment 软件： Muscle ClustalW T-coffee 软件之间的比较见文章：Muscle,ClustalW和T-coffee的简单比较 阅读全文

摘要： 经常听到和看到 MapReduce，谷歌的利器，广泛应用于分布式计算。但对它的了解一直很浅。 先看一篇最通俗的解释：化繁为简 如何向老婆解释MapReduce？ 如何简单解释 MapReduce 算法 讲原理的文章：hadoop 学习笔记：mapreduce框架详解 谷歌技术"三宝"之MapReduce（系列文章） 拓展阅读：程序员必须知道的10... 阅读全文

摘要： 这算是第二讲了，前面一讲是：Edit Distance编辑距离（NM tag）- sam/bam格式解读进阶 MD是mismatch位置的字符串的表示形式，貌似在call SNP和indel的时候会用到。 当然我这里要说的只是利用它来计算mismatch的个数 MD = line.get_tag('MD') pat = "[0-9]+[ATGC]+" MD_list = re.find... 阅读全文