摘要：之前有个需求要将文件解析再处理，当时直接将整个文件内容读到内存中然后解析，也是没有考虑到大文件的问题，那么要如何解析大文件呢？ 输入：文件的内容是多个json，按顺序排列 输出：解析后的json数据 代码： 实际运行过程中发现程序越跑越慢： 当解析到100多w条json数据时，慢的不能忍 当把代码改 阅读全文

摘要：需求很简单，就是提供一个服务接口收集端上传来的日志文件并保存，要求能承受的QPS为5000。 以前从来都没考虑过Node服务的负载能力，用 koa + co-busboy 接受上传文件请求并用 fs 直接写文件开发完服务并用 pm2 进行进程管理，总觉得心里不踏实，便开始在服务器上，测试 Node 阅读全文

摘要：这周遇到一个有意思的需求，端上同学希望通过 socket 传送表单数据(包含文件内容)到 node 端，根据表单里的文件名、手机号等信息将文件数据保存下来。于是我这样写了一下--socket_server.js： 当后端同学发送数据过来后，我保存在 test.txt 里的数据是： 也就是说，我需要在 阅读全文

摘要：某个周日晚上偶然发现了《火星异种》这部漫画，便在网上在线看了起来。在看的过程中图片加载很慢，而且有时候还不小心点到广告，大大延缓了我看的进度。后来想到能不能把先把漫画全部抓取到本地再去看。 经过一段时间的研究还是有所收获：成功在风之动漫网站上抓取了《火星异种》，以及在腾讯动漫上抓取了《海贼王》。一般 阅读全文