利用EntityFramework获得双色球数据库

双色球想必大家都很熟悉了,尽管屡买屡不中，但还是会买。以前就想过利用双色球的走势图得到双色球的数据库，至于得到数据库干什么倒没想过，不过对以往号码有没有重复出现还是挺好奇的。最近写Entity Framework的博客，所以这篇文章的标题里就出现了Entity Framework的身影，其实Entity Framework在下面的程序里只占据了很少的一部分。

下面开始介绍我获取数据库的方法。

双色球的走势图网址：http://zx.caipiao.163.com/trend/ssq_basic.html

打开之后，如下图所示，默认显示的是最近30期的：

根据期号进行查询，可以得到如下的链接:

http://zx.caipiao.163.com/trend/ssq_basic.html?beginPeriod=2012110&endPeriod=2012139&historyPeriod=2012140&year=

很容易可以发现beginPeriod表示的是开始期号，endPeriod表示的截止期号。有了这两个参数，就可以得到任意期号的数据了。根据上述方法查询，得到网易彩票提供的最早数据是2004009期。

下面分析走势图的html结构。

谷歌浏览器中，按Ctrl+Shift+i 或Firefox中使用Firebug可查看html的结构。

下图是走势图的html结构，可以看到图表数据在id为chartsTable的表格里。进一步查看，真正有用的数据是在<tbody></tbody>标签中。

下面给出获取<tbody></tbody>之间内容的代码：

        /// <summary>
        /// 获取网页的双色球数据
        /// </summary>
        /// <param name="startQH">开始期号</param>
        /// <param name="endQH">截止期号</param>
        /// <returns></returns>
        private string GetOriginData(string startQH, string endQH)
        {
            string path = string.Format("http://zx.caipiao.163.com/trend/ssq_basic.html?beginPeriod={0}&endPeriod={1}", startQH, endQH);
            WebRequest wp = WebRequest.Create(path);
            Stream s = wp.GetResponse().GetResponseStream();
            StreamReader sr = new StreamReader(s);
            string content = sr.ReadToEnd();
            sr.Close();
            s.Close();
            int startIndex = content.IndexOf("<tbody id=\"cpdata\">");
            int endIndex = content.IndexOf("</tbody>");
            content = content.Substring(startIndex, endIndex - startIndex).Replace("<tr class=\"bg_doe\" >", "<tr>").Replace("<tr >", "<tr>").Replace("\r\n", "");
            return content;
        }

<tbody></tbody>中的内容就是<tr></tr>和<td></td>了，下面给出解析<tr>和<td>的代码，有注释，就不多解释了。

        /// <summary>
        /// 循环解析Tr
        /// </summary>
        /// <param name="wnRepo"></param>
        /// <param name="content"><tbody></tbody>之间的内容</param>
        private void ResolveTr(IRepository<WinNo> wnRepo, string content)
        {
            string trContent = string.Empty;
            WinNo wn = null;
            Regex regex = new Regex("<tr>");
            //在<tbody></tbody>之间的内容搜索所有匹配<tr>的项
            MatchCollection matches = regex.Matches(content);
            foreach (Match item in matches)
            {
                wn = new WinNo();
                //如果当前匹配项的下一个匹配项的值不为空
                if (!string.IsNullOrEmpty(item.NextMatch().Value))
                {
                    trContent = content.Substring(item.Index, item.NextMatch().Index - item.Index);
                }
                //最后一个<tr>的匹配项
                else
                {
                    trContent = content.Substring(item.Index, content.Length - item.Index);
                }
                ResolveTd(wn, trContent);
                wnRepo.Insert(wn);
            }
        }
        /// <summary>
        /// 在一个TR中，解析TD，获取一期的号码
        /// </summary>
        /// <param name="wn"></param>
        /// <param name="trContent"></param>
        private void ResolveTd(WinNo wn, string trContent)
        {
            //匹配期号的表达式
            string patternQiHao = "<td align=\"center\" title=\"开奖日期";
            Regex regex = new Regex(patternQiHao);
            Match qhMatch = regex.Match(trContent);
            wn.QiHao = trContent.Substring(qhMatch.Index + 17 + patternQiHao.Length, 7);
            //匹配蓝球的表达式
            string patternChartBall02 = "<td class=\"chartBall02\">";
            regex = new Regex(patternChartBall02);
            Match bMatch = regex.Match(trContent);
            wn.B = Convert.ToInt32(trContent.Substring(bMatch.Index + patternChartBall02.Length, 2));
            //存放匹配出来的红球号码
            redBoxList = new List<int>();
            //匹配红球的表达式
            string patternChartBall01 = "<td class=\"chartBall01\">";
            regex = new Regex(patternChartBall01);
            MatchCollection rMatches = regex.Matches(trContent);
            foreach (Match r in rMatches)
            {
                redBoxList.Add(Convert.ToInt32(trContent.Substring(r.Index + patternChartBall01.Length, 2)));
            }
            //匹配红球的表达式
            string patternChartBall07 = "<td class=\"chartBall07\">";
            regex = new Regex(patternChartBall07);
            rMatches = regex.Matches(trContent);
            foreach (Match r in rMatches)
            {
                redBoxList.Add(Convert.ToInt32(trContent.Substring(r.Index + patternChartBall07.Length, 2)));
            }
            //排序红球号码
            redBoxList.Sort();
            //第一个红球号码
            wn.R1 = redBoxList[0];
            //第二个红球号码
            wn.R2 = redBoxList[1];
            wn.R3 = redBoxList[2];
            wn.R4 = redBoxList[3];
            wn.R5 = redBoxList[4];
            wn.R6 = redBoxList[5];
        }

下面给出使用到Entity Framework部分的代码：

首先，新建一个WinNo实体，用于表示双色球信息：

    public class WinNo
    {
        /// <summary>
        /// 主键
        /// </summary>
        public int ID { get; set; }
        /// <summary>
        /// 期号
        /// </summary>
        public string QiHao { get; set; }

        /// <summary>
        /// 第一个红球号码
        /// </summary>
        public int R1 { get; set; }
        /// <summary>
        /// 第二个红球号码
        /// </summary>
        public int R2 { get; set; }
        /// <summary>
        /// 第三个红球号码
        /// </summary>
        public int R3 { get; set; }
        /// <summary>
        /// 第四个红球号码
        /// </summary>
        public int R4 { get; set; }
        /// <summary>
        /// 第五个红球号码
        /// </summary>
        public int R5 { get; set; }
        /// <summary>
        /// 第六个红球号码
        /// </summary>
        public int R6 { get; set; }
        /// <summary>
        /// 篮球号码
        /// </summary>
        public int B { get; set; }
    }

其次，使用默认配置即可。

第三，新建一个上下文：SSQContext，代码如下：

    public class SSQContext : DbContext
    {
        public SSQContext()
        {
            //Database.SetInitializer(new DropCreateDatabaseAlways<SSQContext>());
            Database.SetInitializer<SSQContext>(null);
        }

        public DbSet<WinNo> WinNos { get; set; }

        protected override void OnModelCreating(DbModelBuilder modelBuilder)
        {
            modelBuilder.Conventions.Remove<PluralizingTableNameConvention>();
            base.OnModelCreating(modelBuilder);
        }
    }

第四，运行程序，结果如下图所示：

本程序的源代码下载地址为：http://www.ef-community.com/forum.php?mod=viewthread&tid=44&extra=page%3D1