博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

lua脚本中使用luacurl的几个问题

Posted on 2011-09-02 10:47  海旭  阅读(2950)  评论(1)    收藏  举报

  在工作中用到了lua脚本访问网页,用到了lua for windows中的luacurl.dll库。该脚本需要长时间运行,在实际运行过程发现了几个问题,现整理如下:

  1.内存占用

        luacurl在网上也有许多使用的例子,最常见的如获得网页源码的例子。

网页下载函数
function get_html(url)
local result = { }
local c = curl.new()
c:setopt(curl.OPT_URL, url)
c:setopt(curl.OPT_WRITEDATA, result)
c:setopt(curl.OPT_WRITEFUNCTION,
function(tab, buffer)
table.insert(tab, buffer)
return #buffer
end)
local ok = c:perform()
c:close()
return ok, table.concat(result)
end

    我们的程序中一开始也使用该程序访问网页,后发现程序运行一段时间后总报“内存不足错误”,后加入内存回收语句取查看内存使用情况发现调用该函数后内存就大量增加,回收也不释放。

   

lua中内存回收
collectgarbage("collect") --进行内存回收
local cc1 = collectgarbage("count") --获得当前内存使用量
print("目前内存大小:"..cc1)

后猜想是调用c 库产生的对象lua无法自动回收,后加显示释放语句,问题解决。 

修改后函数
function get_html(url)
local result = { }
local c = curl.new()
c:setopt(curl.OPT_URL, url)
c:setopt(curl.OPT_WRITEDATA, result)
c:setopt(curl.OPT_WRITEFUNCTION,
function(tab, buffer)
table.insert(tab, buffer)
return #buffer
end)
local ok = c:perform()
c:close()
c
= nil
return ok, table.concat(result)
end

2.curl.escape(string)失效问题

    在程序运行一段时间后,发现用luacurl的URL转码函数返回nil值,时间不固定,出现后只能进行重新运行程序。后改用lua的字符串函数处理转码

URL转码函数
--URL编码
function escape (s)
s
= string.gsub(s, "([&=+%c])", function (c)
return string.format("%%%02X", string.byte(c))
end)
s
= string.gsub(s, " ", "+")
return s
end

--URL解码
function unescape (s)
s
= string.gsub(s, "+", " ")
s
= string.gsub(s, "%%(%x%x)", function (h)
return string.char(tonumber(h, 16))
end)
return s
end