博客园-lbq1221119http://www.cnblogs.com/lbq1221119/sscli.cnblogs.comzh-cnFri, 29 Aug 2008 21:16:36 GMTFri, 29 Aug 2008 21:16:36 GMT60Handle table中CAS操作与A-B-A Problem解析http://www.cnblogs.com/lbq1221119/archive/2008/08/18/1270318.htmllbq1221119lbq1221119Mon, 18 Aug 2008 06:36:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/08/18/1270318.htmlhttp://www.cnblogs.com/lbq1221119/comments/1270318.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/08/18/1270318.html#Feedback7http://www.cnblogs.com/lbq1221119/comments/commentRss/1270318.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1270318.html在研究handle table的时候顺便研究的东西。Baidu了下，发现国内这方面的资料几乎没得，然后就准备瞎bb下，为下面的一篇介绍handle table的结构做准备。

关于lock-free data structure。以及解决这个问题中使用的CAS（compare and swap）操作。以及使用CAS操作的时候出现的A-B-A Problem。

对于lock-free data structure问题的解决，一般是使用流行的CAS操作。来防止需要读写的区域的数值和预期的数值不一样的情况。

Shared,non-blocking的数据结构，和shared blocking的数据结构相比，采用了比较原始的同步方法。咱讨论最多的一个同步方法，就是CAS（compare and swap）。

 

       关于CAS操作的伪代码如下：

CAS(A,B,C)

BEGIN ATOMIC

if (A==C) {A=B; return TRUE; }

else { return FALSE; }

END ATOMIC

 

在使用CAS操作的时候，在计算之前，首先记录下一个变量的值。经常是记录一个shared data structure 实现的pointer。然后把这个变量的值存起来。这个时候，当得到了这个变量的新的值，需要update这个共享变量的数值的时候，就需要采用CAS操作来自动update这个共享变量的值。

CAS操作首先检查shared var的值和已经保存起来的值是不是一样的，如果是一样的，就执行update操作。如果不是一样的，就报错。

如果操作失败了的话，就使用这个shared var的新的值来重新做一次计算操作。这个原理，和数据库管理系统里面的并发控制是非常类似的。然后，就把这个shared var所在的link list里面相关的节点，指向一个新的node。这个过程就叫做swap。

就如上面的伪代码里面给出的实现，下面给一个代码实现：

 

bool cas(volatile word* memory, word newValue, word expectedValue)

{

       atomically

       {

              if(*memory == expectedValue)

              {

                     *memory = newValue;

                     return true;

              }

              return false;

       }

}

 

这里介绍了对共享变量的最常用的CAS操作，那么使用这个操作的时候，会出现一个比较经典的问题，叫做A-B-A Problem。

ABA Problem就是譬如一个共享变量A，需要update到一个新的值C，而记录这个变量的值是B，此时A=B；在记录和update的这段时间中，这个共享变量被其余的job或者是thread操作修改了很多次，但是在update之前，还是回到了最开始的值。这就叫做ABA Problem。在构造一个特定的程序的时候，就会出现问题。

 

下面是在一个调用stack里面的ABA Problem：

 

class members

foo (thread stack)

foo: pop till 1.

head_ = a

current = a

 

head_->next_ = b

current->next_ = b

bar: pop node a

head_ = b

 

 

head_.next_ = c

 

bar: pop node b

head_ = c

 

 

head_.next_ = d

 

bar: push node a

head_ = a

 

 

head_.next_ = c

 

foo: pop 2. cas

head_ = a

current = a

 

head_.next_ = c

current->next_ = b

 

其中，foo为一个操作head节点的作业，bar为一个中间操作shared var(head_)的作业。

 

对与CAS产生的这个ABA的问题，通常的解决方案是采用CAS的一个变种DCAS。

DCAS，是对于每一个shared var增加了一个引用的表示修改次数的标记符。对于每个shared var，如果引用修改了一次，这个计数器就增加一个。然后在这个变量需要update的时候，就同时检查变量的值和计数器的值。

 

DCAS的伪代码如下：

DCAS(A1,A2,B1,B2,C1,C2)

BEGIN ATOMIC

if ((A1==B1) && (A2==B2)) { A1=C1; A2=C2; return TRUE; }

else { return FALSE; }

END ATOMIC

 

另外，还有NON-BLOCKING LINK LIST及其改进算法，不扯远了。如果想继续研究，请找University of Manitoba, Canada的一篇叫做“MANAGING LONG LINKED LISTS USING LOCK FREE TECHNIQUES”的论文。

 

在handle table中，就定义了一个link list：

EX_PUSH_LOCK HandleTableLock[HANDLE_TABLE_LOCKS]

来防止在handle allocation的时候出现的ABA Problem。再看看这个结构体的定义，里面用了一个ActiveCount来标识引用了多少次：

 

+1c struct   _ERESOURCE HandleTableLock

+1c    struct   _LIST_ENTRY SystemResourcesList

+1c       struct   _LIST_ENTRY *Flink

+20       struct   _LIST_ENTRY *Blink

+24    struct   _OWNER_ENTRY *OwnerTable

+28    int16    ActiveCount

+2a    uint16   Flag

+2c    struct   _KSEMAPHORE *SharedWaiters

+30    struct   _KEVENT *ExclusiveWaiters

+34    struct   _OWNER_ENTRY OwnerThreads[2]

          uint32   OwnerThread

          int32    OwnerCount

          uint32   TableSize

 

8/18/2008 2:33:01 PM  lbq1221119@cnblogs  首发sscli.cnblogs.com



[新闻]微软4.86亿美元收购Greenfield]]>handle Table 结构,原理和实现http://www.cnblogs.com/lbq1221119/archive/2008/08/12/1266182.htmllbq1221119lbq1221119Tue, 12 Aug 2008 09:15:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/08/12/1266182.htmlhttp://www.cnblogs.com/lbq1221119/comments/1266182.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/08/12/1266182.html#Feedback0http://www.cnblogs.com/lbq1221119/comments/commentRss/1266182.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1266182.html
恩，先写handle table。

越学越发现，又回到了崇拜scz，pjf的日子...

[新闻]苹果已然取代微软地位成行业众矢之的]]>Windows Process内存组织结构及重要域解析http://www.cnblogs.com/lbq1221119/archive/2008/07/22/1248706.htmllbq1221119lbq1221119Tue, 22 Jul 2008 06:45:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/07/22/1248706.htmlhttp://www.cnblogs.com/lbq1221119/comments/1248706.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/07/22/1248706.html#Feedback11http://www.cnblogs.com/lbq1221119/comments/commentRss/1248706.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1248706.html阅读全文

[新闻]Intel 收购 Poky Linux ,为 MID 注入新的动力]]>ValueTpye boxing及虚方法重写及CallVirt指令实现解析http://www.cnblogs.com/lbq1221119/archive/2008/06/24/1229074.htmllbq1221119lbq1221119Tue, 24 Jun 2008 08:59:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/06/24/1229074.htmlhttp://www.cnblogs.com/lbq1221119/comments/1229074.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/06/24/1229074.html#Feedback12http://www.cnblogs.com/lbq1221119/comments/commentRss/1229074.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1229074.html阅读全文

[新闻]雅虎将关闭社交网站Mash]]>WinDbg+SOS：Web服务器High CPU Hang（100%）实例分析http://www.cnblogs.com/lbq1221119/archive/2008/06/17/1224301.htmllbq1221119lbq1221119Tue, 17 Jun 2008 15:36:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/06/17/1224301.htmlhttp://www.cnblogs.com/lbq1221119/comments/1224301.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/06/17/1224301.html#Feedback24http://www.cnblogs.com/lbq1221119/comments/commentRss/1224301.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1224301.html阅读全文

[新闻]中国互联网战争局势图]]>宝刀不老：Flash歌曲播放网站MP3地址隐藏机制完全破解http://www.cnblogs.com/lbq1221119/archive/2008/05/24/1206724.htmllbq1221119lbq1221119Sat, 24 May 2008 15:36:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/05/24/1206724.htmlhttp://www.cnblogs.com/lbq1221119/comments/1206724.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/05/24/1206724.html#Feedback52http://www.cnblogs.com/lbq1221119/comments/commentRss/1206724.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1206724.html晚上，小落给推荐了一首非常好听的Folk名谣，说是网上很难找到的。:)给了一个地址：http://www.neocha.com/naivete/music!1657.html

听了之后，很是喜欢这种风格。然后baidu了一个下载地址发给她，说是这个flash的MP3的地址，后来非要让我如何找到的….冂冏囧….只好拾起尘封了n久的hack技术…

      

       首先查看Page Source，找到相关的一段：

 

<object classid="clsid:d27cdb6e-ae6d-11cf-96b8-444553540000"

codebase="http://fpdownload.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=8,0,0,0" width="280" height="277" id="musicMovie" align="middle">

<param name="movie"

value="/-/flash/music_player_dq.v28.swf?id=1657&un=naivete">

       <param name="quality" value="high">

       <param name="wmode" value="transparent">

 

       <embed src="/-/flash/music_player_dq.v28.swf?id=1657&un=naivete" quality="high"

wmode="transparent" pluginspage="http://www.macromedia.com/go/getflashplayer"

type="application/x-shockwave-flash" width="280" height="277"

name="musicMovie">

</embed>

</object> 

                                                                                            </object>

       初步猜想，恩，MP3的相关的信息保存在一个xml文件里面，只需要找到这个xml，然后找到里面的mp3的对应地址就ok了。这也是类似的网站经常使用的技术。。。

       根据上面的object的信息，拼起来了这个地址然后打开：

http://www.neocha.com/-/flash/music_player_dq.v28.swf?id=1657&un=naivete

恩，这个是一个flash，初步思路是获取到这个flash，然后反编译一下，看看是读取的哪个地方的MP3的URL就ok了。

抄起迅雷，添加下载信息，直接填上这个链接，把这个flash下载下来。下载之后得到这个文件名的东西：music_player_dq.widget.v26.swf

抄起闪客精灵，反编译之…

 

然后查看一共21个动作的Script脚本。。。

功夫不负有心人，在名称为sprite64的动作脚本中发现了比较敏感的东西：

 

function loadXMl()

    {

        myxml = new com.makeit.xmlClass("music_playlist.xml");

        var _l2 = new Object();

        function xmlComplete(albumArr, musicArray, parameterArr)

        {

            com.makeit.musicDocument.thisObj.albumArr = albumArr.slice();

            com.makeit.musicDocument.thisObj.musicArray = musicArray.slice();

            com.makeit.musicDocument.thisObj.parameterObj = parameterArr;

            com.makeit.musicDocument.thisObj.setFunc();

        } // End of the function

        myxml.addListener(albumArr);

    } // End of the function

 

啊哈，Load Xml。而且xml文件的名称都有了，恩，立马蹭蹭蹭的构造了几个xml的路径：

http://www.neocha.com/naivete/music_playlist.xml

http://www.neocha.com/-/flash/music_playlist.xml

http://www.neocha.com/-/xml/music_playlist.xml

….

啥都没有。。sad。。不泄馁，继续寻寻觅觅，终于，在这个动作的下一个动作里面发现了感兴趣的东西：

function loadXml()

    {

        static function onLoad(success)

        {

            if (success)

            {

                com.makeit.xmlClass.thisObj.parseAlbum_fun();

            } // end if

        } // End of the function

        if (_root.id == undefined)

        {

            id = "3378";

        } // end if

        if (_root.un == undefined)

        {

            un = "banana_monkey";

        } // end if

        myxml.load("http://www.neocha.com/-/xml/music_player.jsp?id=" + _root.id +

"&un=" + _root.un + "&a=" + Math.random() * 9999);

    } // End of the function

 

看到这里俺就开始得意了，胜利就在眼前了，迅速构造一地址：

http://www.neocha.com/-/xml/music_player.jsp?id=3378&un= banana_monkey&a=9999

       使用IE打开去，结果很差很失望，打不开，找不到这个地址。恩，转变思路，这个jsp文件应该是负责后台的某些逻辑处理的，关掉IE，迅雷上。

       果然，出现重大转机，下载得到的文件打开如下：

 

<?xml version='1.0' encoding='UTF-8'?>

<music-player>

       <albums>             

       <album>

       <album-id>0</album-id>

       <album-title>未分类&nbsp;</album-title>                  <album-picture>http://www.neocha.com/-/res/banana_monkey/20080414131625686093_t.jpg</album-picture>

       <album-link>http://www.neocha.com/banana_monkey/record!0.html</album-link>

       <musics>                           

       <music>

       <music-id>3378</music-id>

       <music-title>Baby in Red (Lovely Version)</music-title>                         <music-picture>http://www.neocha.com/-/res/banana_monkey/20080414131625686093_o.jpg</music-picture>                               <music-file>http://www1.neocha.com:90/-/res/banana_monkey/20080414131625702094.mp3</music-file>                              <music-link>http://www.neocha.com/banana_monkey/music!3378.html</music-link>

                                   <music-artist>Banana Monkey&nbsp;</music-artist>

                                   <music-album>未分类&nbsp;</music-album>

                                   <music-corp>&nbsp;</music-corp>

                                   <music-publish>&nbsp;</music-publish>

                                   <music-genres>Rock摇滚,8-Bit8比特&nbsp;</music-genres>

                                   <music-comment-cnt>0</music-comment-cnt>                                     <music-comment-url>http://www.neocha.com/banana_monkey/music!3378.html#comment</music-comment-url>                         

<music-favorite-cnt>0</music-favorite-cnt>                                   <music-favorite-url>http://www.neocha.com/banana_monkey/music!3378.html</music-favorite-url>

       <music-vote-cnt>0</music-vote-cnt>                              <music-vote-url>http://www.neocha.com/banana_monkey/music!3378.html</music-vote-url>

       <music-favorited>2</music-favorited>

</music>

       </musics>

       </album>

       </albums>

 

       <username>banana_monkey</username>

       <user-url>&nbsp;</user-url>

       <user-picture>&nbsp;</user-picture>

       <default-album-id>0</default-album-id>

       <!-- 默认播放的专辑 -->

       <auto-start>1</auto-start>

       <!-- 1自动 0 手动 播放-->

       <color1>#000000</color1>

       <color2>#999999</color2>

       <color3>#FFFF00</color3>

       <color4>#FFFF00</color4>

 

</music-player>

<script src="http://www.neocha.com/-/js/urchin.js" type="text/javascript"></script>

<script type="text/javascript">

_uacct = "UA-828246-1";

urchinTracker();

</script>

 

看到没，看到MP3这个后缀的时候，第一感觉找到了。

不过很遗憾，下载了这首MP3之后发现，是一首Rock…

 

感觉世界一下灭了。。这个时候决定转变思路。。

 

抄起嗅探工具，好多年前的winsock也不在身边了，唉，只好问liunice要一个ie的插件，装了起来….

看来又要分析IE的数据包了…

 

安装插件的时候，仔细的看了下载的这个文件的格式，忽然灵光一现，music标签下面的不就是动作script里面的好多的参数的么。。豁然开朗了：

这个文件就是上面的那个jsp文件根据参数读取数据库动态生成的flash的MP3文件地址的xml配置文件。

找到了key Point：

<music-link>http://www.neocha.com/banana_monkey/music!3378.html</music-link>

打开这个链接，链接的格式是如此的熟悉，打开之后，出现了刚才的那个下载的熟悉的banana的Rock，oh yeah！

 

搞定！

 

回到开头的最开始安小落MM发的URL：

http://www.neocha.com/naivete/music!1657.html

根据这个URL来构造这首MP3：

http://www.neocha.com/-/xml/music_player.jsp?id=3378&un= banana_monkey&a=9999

两个地址相加，得到最终地址：

http://www.neocha.com/-/xml/music_player.jsp?id=1657&un=naivete&a=9999

 

迅雷下载这个URL，在<music-file>标签找到了想要的东西：

<music-file>http://www1.neocha.com:90/-/res/naivete/20071124214646754207.mp3</music-file>

呵呵，剩下的事情，就是永久的拥有这首好听的“穿格子衬衫的teddy熊”了。

恩，还有，破解和这个网站整个的flash播放音乐隐藏真实地址是如何实现的。。不过这不是主要目的。。

 

lbq1221119 5/24/2008 11:26:19 PM 首发lbq1221119.cnblogs.com



[新闻]开源多点触摸技术试运行]]>(纪念国殇).Net Hosting:托管远程线程插入及非托管dll线程插入实现http://www.cnblogs.com/lbq1221119/archive/2008/05/19/1202533.htmllbq1221119lbq1221119Mon, 19 May 2008 06:10:00 GMThttp://www.cnblogs.com/lbq1221119/archive/2008/05/19/1202533.htmlhttp://www.cnblogs.com/lbq1221119/comments/1202533.htmlhttp://www.cnblogs.com/lbq1221119/archive/2008/05/19/1202533.html#Feedback11http://www.cnblogs.com/lbq1221119/comments/commentRss/1202533.htmlhttp://www.cnblogs.com/lbq1221119/services/trackbacks/1202533.html线程插入，在托管平台上面，是不能直接实现的。如果想通过托管平台在一个非托管的Process里面插入执行一段托管代码，就需要在非托管Process里面启动CLR。我们可以以此为突破口，通过直接调用CLR提供的功能接口来执行托管代码。

       最终效果，是实现了非托管平台下托管代码执行的混合型线程插入。

       在开发CLR的时候，MS将CLR作为一个COM服务器放到了一个DLL里面。MS为CLR定义了一个标准的COM接口，同时分配了全局的GUID。在安装Framework的时候，就被安装到了注册表里面去。

       基于上一篇文章里面讲的DotNet CLR Hosting的原理，就可以很容易实现在非托管进程里面启动CLR并且执行托管代码：

      

       首先，在非托管宿主里面加载CLR并且启动：

 

ICLRRuntimeHost *pCLRHost = NULL;
HRESULT hr = CorBindToRuntimeEx(

L"v2.0.40103",                     //需要加载的CLR版本，Null表示最新的

L"wks",                 //GC的风格，Null表示默认的工作站模式

STARTUP_CONCURRENT_GC,

CLSID_CLRRuntimeHost,                   //CLR的CLSID

IID_ICLRRuntimeHost,               //ICLRRuntimeHost的IID

(PVOID*) &pCLRHost);                     //返回的COM接口

 

初始化并且启动CLR：

pCLRHost->Start();

 

然后执行一段托管代码：

hr = pCLRHost ->ExecuteInDefaultAppDomain(L"test.exe",

                                        L" test.Program",

                                        L"Start",

                                        NULL,

                                        &retVal);

      

       可以把需要执行的托管函数放到一个编译好的本地代码集或者是dll里面。然后把上面的代码做成一个shellcode，这样就可以实现托管代码的线程插入了。

       这种技术，对于可以被插入的进程也是有限制的，仅限所有有权限进程WriteProcessMemory操作的本机进程。

 

这里仅讨论其实现的可能性和方法，个人感觉这种技术是鸡肋..

 

下面介绍下非托管下的dll线程插入技术的实现，首先介绍几个dll线程插入的时候的主要的函数：
OpenProcess - 用于打开要寄生的目标进程。
VirtualAllocEx/VirtualFreeEx - 用于在目标进程中分配/释放内存空间。
WriteProcessMemory - 用于在目标进程中写入要加载的DLL名称。
CreateRemoteThread - 远程加载DLL的核心内容，用于控制目标进程调用API函数。
LoadLibrary - 目标进程通过调用此函数来加载病毒DLL。

   

       单纯的加载一个dll到一个具有WriteProcessMemory操作权限的Process并不是很困难，只要利用上面的几个函数，就可以让目标进程执行相应的注入代码：

 

       //加载一个目标Library到指定的Process ID里面，并且创建一个线程同时执行注入的dll里面的代码。

BOOL RemoteLoadLibrary( DWORD dwProcessID, LPCSTR lpszDll )

{

       // 打开目标进程

       HANDLE hProcess = OpenProcess( PROCESS_CREATE_THREAD |

PROCESS_VM_OPERATION | PROCESS_VM_WRITE, FALSE, dwProcessID );

       // 向目标进程地址空间写入DLL名称

       DWORD dwSize, dwWritten;

       dwSize = lstrlenA( lpszDll ) + 1;

       //在目标进程里面分配空间

       LPVOID lpBuf = VirtualAllocEx( hProcess, NULL, dwSize, MEM_COMMIT,

PAGE_READWRITE );

       if ( NULL == lpBuf )

       {

              CloseHandle( hProcess );

              return FALSE;

       }

       //把需要插入的dll的内容写到分配好了的Process的内存空间里面去。

       if ( WriteProcessMemory( hProcess, lpBuf, (LPVOID)lpszDll, dwSize, &dwWritten ) )

       {

              // 要写入字节数与实际写入字节数不相等，仍属失败

              if ( dwWritten != dwSize )

              {    

                     //释放分配的空间。

                     VirtualFreeEx( hProcess, lpBuf, dwSize, MEM_DECOMMIT );

                     CloseHandle( hProcess );

                     return FALSE;

              }

       }

       else

       {

              CloseHandle( hProcess );

              return FALSE;

       }

 

       // 使目标进程调用LoadLibrary，加载DLL

       DWORD dwID;

       LPVOID pFunc = LoadLibraryA;

       //创建一个远程需要执行插入dll的th