Sangs

摘要： 目标：统计斗鱼(www.douyu.com)人数思路：1. 目录找到douyu播出的所有游戏http://www.douyutv.com/directory2. 借助 chrome 定位到每个游戏的目录页面，正则表达式为 /directory/game/\\w+　比如对于LOL来说，找到 href=... 阅读全文

摘要： 当输入的数据格式不正确时，ActivityData 中会出现 OutofIndex 错误，但更多的时候我们只关心想要的结果而不想了解出现了怎样的错误，然后会写出这样的代码def parseCSV(csv : String) = {try {Some {csv.split("\n").map { li... 阅读全文

摘要： 持久化到mysql，要求一次操作涉及到的多次读写的事务性。使用的 library 是 postgresql-async, akka 版本是 2.11。1. 实现 per-user 逻辑，简单来讲，就是希望一个 user 的所有修改操作都在一个 actor 中阻塞的完成。user 本身有很多状态(st... 阅读全文

摘要： 一年前的自己肯定想不到现在的工作内容，那时候的自己还抱着 effective c++，刷着 leetcode，准备实习生面试呢。我一直以为自己毕业后要做 c++ 服务器端开发，而现在已与当初的想法越走越远了，我把书架上 c++ 的书收了起来，删掉了 cnblog 上 c/c++ 相关的 catego... 阅读全文

摘要： 1. scala 反射，获得所有 field name可以直接从 case class 获得 field 而不必创建实例 (get fields of a class without an instance)def extractFieldNames[T extractFieldNames[Pers... 阅读全文

摘要： 对于 A => B => C 这种 future 之间的操作，akka 默认会自动的按照顺序执行，但对于数据库操作来说，我们希望几个操作顺序执行，就需要使用语法来声明有两种声明 future 先后关系的方法，第一种是 flatMap，第二种是 forimport scala.concurrent.F... 阅读全文

摘要： 1. index 与 typeindex 相当于 mysql 的 database, type 相当于 table2. mappingmapping 相当于 mysql table 的列属性声明。ES 支持非常灵活的数据格式，即便某个属性并没有在mapping中声明，以后也能直接添加到 ES 中存储... 阅读全文

摘要： REST API 接口要求 requster json 的 lifeCycle 域只能填 YOUNG, OLD，对于其他的 lifeCycle，都要给 requester 返回 bad request 消息。public class DataCategory { LifeCycle lifeC... 阅读全文

摘要： spray 是基于 akka 的轻量级 scala 库，可用于编写 REST API 服务。了解 spray 的 DSL 后可以在很短的时间内写出一个 REST API 服务，它的部署并不需要 tomcat , apche 等容器，可以直接 run。对于每一个 route, spray 都会 spr... 阅读全文

摘要： 有组合关系的三个class定义A { B { C {...} ... } ...}每个class都有loadFromJson和writeAsJson方法。过去几年，三个class里的成员变量一直在添加，而数据库里有很多json string类型的老数据，为了能够正确的把它们转化为class，就... 阅读全文