风言枫语  

   程序功能是从一个英文文本中得到单词表,再得到押韵词表。即输出可能这样开始:
a ameoeba alba samba marimba...
这样结束:
...megahertz gigahertz jazz buzz fuzz
有了这么一个表,诗人会爽很多。

算法:得到单词表后,先把单词反序,用sort函数对所有反序单词排序,排好后再反序。

     我叽里呱啦地写完了,用了630KB的2100行的文本来测试一下。time一下main函数,30多秒……现在用了如题的两个工具,程序跑到了0.08s!

首先,我处理重复单词的算法超级低效,先是在read-word函数里,不管是否当前单词已记录,都把当前单词记录下来,然后:
(setf words (delete-duplicates words :test #'equal :end n))
用delete-duplicates函数只保留相同单词的最后一个。
该函数的工作原理是两个两个比较,然后把前者丢弃掉,如果:from-end是true的话,那把后者丢弃掉。显然的是,它要比较很多,如果一个单词重复很多次的话,那要经过很多轮的比较,元素移动很多。具体是如何经过很多轮的、为什么很慢的,我也不懂,望高手指点。
如果我在添加新单词的时候:
 

(when (not (find word words :test #'string-equal))
  (vector-push-extend word words 10000)
  (incf n))

单词不存在的时候才加入。这样一来,程序就飞到了4s。

我是怎么知道delete-duplicates这里慢了呢?高手可以静态分析……当然,很容易猜错,分析失误。

(defun main ()
   (defvar n)
   (time (setf n (read-word "source.txt")))
   (time (setf words (delete-duplicates words :test #'equal :end n)))
   (time (reverse-words words))
   (time (sort words #'string< #'nreverse))
   (time (reverse-words words))
   (time (write-word "rhymes.txt")))


  这样子给每个函数time一下。在c++中,即是clock()/CLOCKS_PER_SEC。有了它,就是为啥“过早优化是一切罪恶的根源”。非常令我惊讶的是,一开始总共37s的时间,36s耗在 delete-duplicates上。按道理来说,我应该用36/37的优化时间都花在这部分。如果过早优化的话,一方面浪费时间在无关痛痒的优化上;另一方面,过早优化,代码更复杂,使得后面越来越难以修改,也容易多错误。所以,面对一问题,应该尽快地捣鼓出简单的第一版,之后再考虑优化。
接下来,用hash-table来记录单词,像这样

 

(defparameter ht (make-hash-table :test #'equal :size 10000))
(when (not (gethash word ht)) 
  (setf (gethash word ht) t)
  (vector-push-extend word words 10000))

这样就优化到了0.08s。

 

另外,在处理的过程中,不希望有那么多中间数组,故用map-into,像这样

(map-into seq fn seq)

函数fn对seq的每一个元素调用后结果保存到seq中。
希望数组v每个数都加1可写成:

 

(setf v (map-into v #'1+ v))

 

所以,最终我把反序、排序、再反序、输出,写成了这样:

 

(defun xform (fn seq)
	(map-into seq fn seq))

 

 

(defun write-word (to)
	(with-open-file (str to :direction :output
				:if-exists :supersede)
	  (map nil #'(lambda (x)
			(fresh-line str)
			(princ x str))
		  (xform #'nreverse
			(sort (xform #'nreverse words)
			      #'string<)))))

事实上,这照搬了《Ansi Common Lisp》的代码。

 

代码见:https://github.com/lzwjava/rhymes
 

posted on 2013-10-14 08:58  风言枫语  阅读(277)  评论(0编辑  收藏  举报