摘要：作为数据工程师，我日常用的主力语言是R，HiveQL，Java与Scala。R是非常适合做数据清洗的脚本语言，并且有非常好用的服务端IDE——RStudio Server；而用户日志主要储存在hive中，因此用HiveQL写job也是日常工作之一；当然R的执行效率确实不靠谱，因此还需要Java（El 阅读全文

摘要：最近的工作主要围绕文本分类，当前的解决方案是用R语言清洗数据，用tm包生成bag of words，用libsvm与liblinear训练模型。这个方案可以hold住6/70万的训练集： LIBLINEAR is efficient for large-scale document classifi 阅读全文