前段时间,在一位大牛的BLOG上看到其resume上撰写的开源项目列表琳琅满目,数不胜数。再跟自己对比一下,从来没有一个开源项目,没有成功的参加过一个开源项目,只是零星的贡献过几个所谓工具,脚本。顿时无地自容,同时也是羡慕不已,再暗自勉励鼓励自己,
前段时间,在一位大牛的BLOG上看到其resume上撰写的开源项目列表琳琅满目,数不胜数。再跟自己对比一下,从来没有一个开源项目,没有成功的参加过一个开源项目,只是零星的贡献过几个所谓工具,脚本。顿时无地自容,同时也是羡慕不已,再暗自勉励鼓励自己,向这位大牛学习。也是在前段时间,遇到了一个正则的问题《为什么不能在字符组中使用反向引用》,使得我又跟着自己的思路,翻阅之前的博客,面包屑导航一般,跟着链接,走到了另外一篇博客《如何精确查找PHP WEBSHELL木马?》。写那篇博客时,是2010年7月,我还在久游网工作,工作内容也是代码安全相关。我最初的实现,也是基于正则表达式实现的字符串匹配,来捕捉查找危险代码。同时,也计划在二期里,用LEX+YACC来实现对PHP代码的精确分析,扫描查找,为此,也经常装模作样故弄玄虚的研究学习yacc、lex,学习PHP的Zend引擎实现方式,研究zend_language_scanner.l、zend_language_parser.y、zend_language_scanner.c等几个文件的编写思路等等等等。从我2月下旬入职,到11月初离职,总共7个多月的时间里,也并不是一直做这个项目,甚至这个项目只是作为我个人研究的范畴,平常工作中,只能利用空闲时间来研究。因为种种原因,在没有完成那个项目之后,离开了久游。不管是因为自己基础薄弱,还是时间不足还是什么原因,每次想起这件事,都因没有完成那个项目而觉得遗憾。
人总喜欢找借口,好比我前段时间,心里烦躁不安、胡思乱想,开始玩起了英雄联盟,从5月到现在,断断续续玩了5个月了。支持者的角度上想,人总不能一直紧绷着大脑,偶尔玩玩游戏,放松一下自己,又何尝不可?反对者的角度上来想,放纵自己堕落,还找理由,找借口?我有时赞同前者,有时赞同后者,现在,我就觉得既然都是找借口去做事情,为何不给自己找个借口,做一些有意义的事情呢?“那就努力开发维护一个开源项目吧”我心理暗暗这么说道,决定完成曾经的遗憾。
这线引得有点太长,也算是我的自我检讨与牢骚吧。
所谓扫描工具,先要扫描,才能找到需要的东西。对于代码扫描方式,实现方式大约是特征关键字的捕捉,正则表达式的语法匹配,语法语义分析这些。这些实现方式,准确性、严谨性也是层级递增的。
特征关键字方式,是最简单、最不准确的检测手段,上篇博客里有个比较好的例子:
查看源代码 打印帮助
01 |
<span>// 声明:我喜欢自嘲,自黑,但不喜欢黑别人,也不喜欢在一些圈子里嚷嚷吵嘴。这里列出360的例子,也是因为机缘巧合,在面包屑的引导下,被引到了360的站长扫描网址中,下载了这个扫描工具,觉得这是一个非常好的反面例子,也希望大家能一学术角度来看待本文中提到的相关代码。
</span> |
02 |
<strong><span>class</span></strong>
scan{
|
03 |
<span> </span> <strong><span>private</span></strong>
<span>$directory</span>
= <span>'.'</span> ;
|
04 |
<span> </span> <strong><span>private</span></strong>
<span>$extension</span>
= <strong><span>array</span></strong> ( <span>'php'</span> );
|
05 |
<span> </span> <strong><span>private</span></strong>
<span>$_files</span>
= <strong><span>array</span></strong> ();
|
06 |
<span> </span> <strong><span>private</span></strong>
<span>$filelimit</span>
= 5000;
|
07 |
<span> </span> <strong><span>private</span></strong>
<span>$scan_hidden</span>
= true;
|
08 |
<span> </span> <strong><span>private</span></strong>
<span>$_self</span>
= <span>''</span> ;
|
09 |
<span> </span> <strong><span>private</span></strong>
<span>$_regex</span>
= <span>'(preg_replace.*\/e|`.*?\$.*?`|\bcreate_function\b|\bpassthru\b|\bshell_exec\b|\bexec\b|\bbase64_decode\b|\bedoced_46esab\b|\beval\b|\bsystem\b|\bproc_open\b|\bpopen\b|\bcurl_exec\b|\bcurl_multi_exec\b|\bparse_ini_file\b|\bshow_source\b|cmd\.exe|KAdot@ngs\.ru|小组专用大马|提权|木马|PHP\s?反弹|shell\s?加强版|WScript\.shell|PHP\s?Shell|Eval\sPHP\sCode|Udp1-fsockopen|xxddos|Send\sFlow|fsockopen\('</span> (udp|tcp)|SYN\sFlood)';
|
10 |
<span> </span> <strong><span>private</span></strong>
<span>$_shellcode</span> = <span>''</span> ;
|
11 |
<span> </span> <strong><span>private</span></strong>
<span>$_shellcode_line</span> = <strong><span>array</span></strong> ();
|
12 |
<span> </span> <strong><span>private</span></strong>
<span>$_log_array</span> =
<strong><span>array</span></strong> ();
|
13 |
<span> </span> <strong><span>private</span></strong>
<span>$_log_count</span> =0;
|
14 |
<span> </span> <strong><span>private</span></strong>
<span>$webscan_url</span> = <span>'http://safe.webscan.360.cn/webshell/upload'</span> ;
|
15 |
<span> </span> <strong><span>private</span></strong>
<span>$action</span> = <span>''</span> ;
|
16 |
<span> </span> <strong><span>private</span></strong>
<span>$taskid</span> =0;
|
17 |
<span> </span> <strong><span>private</span></strong>
<span>$_tmp</span> = <span>''</span> ;
|
这里的正则的最后部分中文字符串那里|小组专用大马|提权|木马|PHP\s?反弹,这里的正则不是原本意义上的正则表达式了,只是简单的或逻辑,没有其他更严谨的匹配规则,所以只能当成简单的特征关键字来看待。比如代码或注释中出现螓首微微压下,右手倒提权杖、电影《特洛伊木马》均被当作webshell来抓获了。这种实现方式,最不准确。
正则表达式匹配方式,是在特征关键字之后,更加准确的捕捉方式,但仍存在大量的误报、漏报情况,比如我在三年前写的python版php webshell检测工具里的代码:
查看源代码 打印帮助
1 |
match <strong><span>=</span></strong>
re.search(r <span>'''(?P<function>\b(?:include|require)(?:_once)?\b)\s*\(?\s*["'](?P<filename>[^;]*(?</filename></function></span> ,
file_contents, re.IGNORECASE| re.MULTILINE)
|
2 |
match <strong><span>=</span></strong>
re.search(r <span>'\b(?P<function>eval|proc_open|popen|shell_exec|exec|passthru|system)\b\s*\('</function></span> , file_contents, re.IGNORECASE| re.MULTILINE)
|
3 |
match <strong><span>=</span></strong>
re.search(r <span>'(^|(?[^`]+)`\s*;'</span> , file_contents, re.IGNORECASE)
|
虽然可以更精确的匹配函数名符合的地方,字符串中出现的会被跳过,但仍无法排除注释中的代码,这种匹配结果,可以作为参考,仍需要管理人员认真校对每一个检测结果。当然,漏报情况,相比特征字符串的方式,要严谨的多。
语法语义分析形式,是根据php语言扫描编译的实现方式,进行剥离代码、注释,分析变量、函数、字符串、语言结构的分析方式,来实现关键危险函数的捕捉方式。这样可以完美解决漏报的情况。但误报上,仍存在问题。
查看源代码 打印帮助
01 |
<strong><span>public</span></strong>
<strong><span>function</span></strong>
startLexing( <span>$code</span> )
|
02 |
{ |
03 |
<span> </span> <strong><span>if</span></strong>
(preg_match( <span>'/</span> ,
<span>$code</span> )) {
|
04 |
<span> </span> <span>$this</span> ->errMsg =
<span>'Encrypt with Zend optimizer.'</span> ;
|
05 |
<span> </span> <strong><span>return</span></strong>
false;
|
06 |
<span> </span> }
|
07 |
<span> </span> <span>$this</span> ->resetErrors();
|
08 |
<span> </span> <span>$this</span> ->tokens = token_get_all( <span>$code</span> );
|
09 |
<span> </span> <span>$this</span> ->code =
<span>$code</span> ;
|
10 |
<span> </span> <span>$this</span> ->pos = -1;
|
11 |
<span> </span> <span>$this</span> ->line = 1;
|
12 |
<span> </span> <strong><span>return</span></strong>
<span>$this</span> ->checkError();
|
13 |
} |
误报问题所在,一是被检测文件是否为合法php语法文件,token_get_all函数的实现,是不验证是否问合法php语法文件的,只是对其进行扫描,分析。而语法验证是比较难于试下你的地方。其次是代码中因为业务需要而出现的危险函数,如何排除掉,恶意代码如何界定?
服务器云判断是一种根据恶意代码串的指纹,根据大量后门数据,做语法、语义分析,做业务逻辑分析,理解这段代码的用途,给出其是否为恶意代码的定位,而其他使用者,直接可以得到该代码片段是否为恶意代码的结果反馈。Pecker Scanner首先是基于语法分析,剥离token、注释、字符串、变量、语言结构,再进行php语法检测,提取恶意代码的扫描工具,来解决漏报问题。同时支持服务器云判断,尽量避免误报问题。比如exec ($cfe,$res)在Discuz!中(只是举例)是正常的功能代码,而在木马后门中,这就是恶意文件。同样的一段代码,在不同的项目中,扮演着不同的角色,这也不能光凭借代码功能上判断,还得依赖所属项目。这需要大量的木马后门库,以及开源项目库希望大家可以帮着提交一些。
Pecker Scanner这个开源项目,托管在Github上,大家都可以fork它,完善它。目前Pecker Scanner生成的报告,跟服务器校对检验方式是通过jsonp方式通讯,若以后流量较高,则采用验证API形式,直接在pecker scanner代码中,根据api 、 key运算,post多个token代码段到服务器获取状态,展示到报告文件中。一来减轻jsonp这种大量http请求数。二来减少恶意无用的查询。
Pecker Scanner目前是beta 0.3版本,您可以在这里下载Pecker Scannerbeta 0.3版,不建议直接到github上下载,因为github上可能存在我正在调试的代码,或者不完善的新功能。
Pecker Scanner的项目主页在这里,以后的版本更新,新功能发布,也都会在这里公告。扫描报告样例在pecker
scanner report样例,您可以先预览一下。
Pecker Scanner Server目前收集的开源软件包括Discuz_7.2_FULL_SC_UTF8、DedeCMS-V5.7-UTF8-SP1-Full;木马后门包括PhpSpy 2011、PhpSpy 2013、PhpSpy 2011加密版。其他开源项目以及木马后门,等待各位的反馈。
2013-09-24新增开源软件、webshell后门特征:
您能做的:
我能做的: