摘要:        
今天完成一个网页抓取功能。 初看时,数据在网页上表格很整齐,没有多少需要特殊处理的地方。有300多页,先抓取前10页。 大致想了下,找url规律、分析数据规律、利用已有框架、建表、写入数据库。给出了半个小时的估计时间。 然而实际完成后,却用了1个小时10分钟。 一路下来其实蛮顺利的,利用已有框架,只    
阅读全文
 
        posted @ 2017-06-30 17:17
SimbaStar
阅读(1500)
推荐(0)
 
		
    
        
        
摘要:        
没事的时候会去leetcode上转转,刷几题。 有什么用呢? 最主要的: 保持思维的灵敏,思考的习惯。它会迫使你思考:有没有还没考虑到的地方;尤其是边界情况,各个特殊情况。久而久之,面对任何问题时,会提醒自己,要多想想,多想想不容易察觉的情况。 有时候会发现一个简单的题目总是通不过测试,检查了半天,    
阅读全文
 
        posted @ 2017-05-11 10:37
SimbaStar
阅读(1424)
推荐(0)
 
		
    
        
        
摘要:        
1. 运行时异常和受检异常 2. 提前预防运行时异常。最常发生的是NPE,而检查NPE是程序员的基本职责。其他的,如除0等运行时异常的检查,需要程序员仔细检查,每个函数都得检查(除非可以确定不会有空指针等情况),哪怕if()语句数量增加。无法通过预检查的异常除外,如在解析一个外部传来的字符串形式数字    
阅读全文
 
        posted @ 2017-05-10 18:33
SimbaStar
阅读(1099)
推荐(0)
            
        
        
摘要:        
用了这么些日子的linux/unix系统,也和别人一起合作开发了不少程序,发现高手都喜欢在命令行上操作,而且控制程序的运行偏好于使用脚本,加上参数如:start、restart、stop等。 后来自己开发程序,也越来越觉得这样是个好的方法: 1)节省时间,一键操作一系列步骤,需要记住的操作只有一两个    
阅读全文
 
        posted @ 2017-05-10 17:09
SimbaStar
阅读(7770)
推荐(0)
            
        
        
摘要:        
install perl Module 1. search module's package on [Google](https://www.google.com) or [CPAN Search Site](http://search.cpan.org/)2. download packages     
阅读全文
 
        posted @ 2017-05-10 15:22
SimbaStar
阅读(913)
推荐(0)
            
        
        
摘要:        
最近想为系统添加一个统计脚本,但是系统内的模块是有perl和java两种语言编写,且模块是通过crontab定时调用的,所以需要使用IPC传输信息。 第一个想到的是socket方式,感觉需要统一设定一个端口,不是特别保险,并且全都在一台服务器上,用socket有些浪费,所以打算尝试一下linux的I    
阅读全文
 
        posted @ 2017-05-10 14:44
SimbaStar
阅读(1089)
推荐(0)
 
		
    
        
        
摘要:        
1. poi3.9 LeftoverDataException 以前的随笔也提到过解决办法http://www.cnblogs.com/starRebel/p/5067026.html。 但是最近在优化读写excel部分的代码,发现上述方法有个缺点就是如果excel有多个sheet,那么转成csv之    
阅读全文
 
        posted @ 2017-01-25 17:46
SimbaStar
阅读(1707)
推荐(2)
 
		
    
        
        
摘要:        
在linux环境下学习的多了,这些开源协议也听的见的越来越多,感觉有必要仔细了解一下。 1. BSD 先说BSD是因为它的自由度相对来说是比较大的。BSD全称Berkeley Software Distribution license,以此协议代码为基础做二次开发时,只需满足以下三个条件: a. 对    
阅读全文
 
        posted @ 2017-01-18 15:56
SimbaStar
阅读(1028)
推荐(0)
 
		
    
        
        
摘要:        
最近做了挺多从不同的网页抓取数据的工作,重复多了之后,有了重构的想法,使用的语言是java。 1. 以前的做法: 因为是一个功能性程序,所以把它当做了过称式程序,没有建立特别的类: 而一些变量值也写死在程序中: 用于获取时间的getBoardList()函数内部,通过正则表达式和遍历比较取出数据,返    
阅读全文
 
        posted @ 2017-01-17 18:30
SimbaStar
阅读(439)
推荐(0)
 
		
    
        
        
摘要:        
最近又重新看了下netty背后的设计思想,接触到了reactor模型。发现以前虽然也看过reactor和proactor模型的介绍,但是真的是只了解了个皮毛。 再重新学习了一遍,有了更深刻的认识。但是手边并没有实际的项目再用这类技术,所以这次学习只是理论上理解的更深刻了,也没有实际使用经验。 那就。    
阅读全文
 
        posted @ 2016-11-30 16:09
SimbaStar
阅读(459)
推荐(0)