33# 联系我们
44## 微信
55
6- <div align =center >
7- <center >
8- <img style="border-radius: 0.3125em;
9- box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);"
10- src="https://github.com/alipay/ant-application-security-testing-benchmark/blob/main/floder-img/Iwechat.png">
11- <br>
12- </center >
13- </div >
6+ <p align =" center " >
7+ <img src =" https://github.com/alipay/ant-application-security-testing-benchmark/raw/main/floder-img/Iwechat.png " alt =" 微信交流群 " width =" 200 " />微信交流群
8+ <img src =" https://github.com/alipay/ant-application-security-testing-benchmark/raw/main/floder-img/xzs.png " alt =" 微信小助手 " width =" 200 " />微信小助手
9+ </p >
10+
1411
1512## 邮箱
1613
1714xast-contact@service.alipay.com
1815
16+ ## nodejs体系传送门
1917[ 【nodejs评价体系传送门】] ( https://github.com/alipay/ant-application-security-testing-benchmark-nodejs )
2018
2119# 项目背景
2220
23- xAST(应用安全测试技术)对于保障软件安全可靠发挥着越来越重要的作用,目前其每一类产品 (SAST/IAST/DAST/SCA/MAST等)都有至少数十款商业化或开源产品供客户选择。与此同时,一些甲方企业也在自研xAST产品。不管是商业采购还是选择开源产品还是自研,大家都面临一个共同的难题,如何真实衡量一款xAST产品的技术水平 ?
21+ xAST(应用安全测试技术)对于保障软件安全可靠发挥着越来越重要的作用,目前每一类产品 (SAST/IAST/DAST/SCA/MAST等)都有至少数十款商业化或开源产品供客户选择。与此同时,一些甲方企业也在自研xAST产品。不管是商业采购还是选择开源产品还是自研,大家都面临一个共同的难题,如何客观衡量一款xAST产品的技术水平 ?
2422
25- 经过调研我们发现, 目前工业界和学术界都没有对xAST产品技术能力进行衡量的评价标准,通常都是使用若干漏洞样本集的测试结果对xAST进行技术评价 ,业界常见的漏洞样本集见图1,测试结果示例见图2。
23+ 目前工业界和学术界都没有对xAST产品技术能力进行衡量的评价标准,通常是使用若干漏洞样本集的测试结果进行技术评价 ,业界常见的漏洞样本集见图1,测试结果示例见图2。
2624
27- <div align =center >
25+ <div align =center >
2826<center >
2927 <img style="border-radius: 0.3125em;
3028 box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);"
@@ -37,12 +35,6 @@ xast-contact@service.alipay.com
3735 </center >
3836 </div >
3937
40-
41-
42- 一方面,由图1可以看出各样本集之间差异巨大(从数十个样本到十万个样本),究其根源在于漏洞样本集缺乏体系化设计,都是漏洞样本的简单堆砌,测试结果的完整性得不到保障;漏洞样本集所测试的功能点分布不均,测试结果也缺乏合理性。
43-
44- 另一方面,由图2可以看出,由于缺乏评价体系,评价结果对用户是个“黑盒”,评价结果只能给出总体的召回率和误报率数据,无法细粒度的刻画产品的技术优势与不足。
45-
4638 <div align =center >
4739<center >
4840 <img style="border-radius: 0.3125em;
@@ -56,24 +48,26 @@ xast-contact@service.alipay.com
5648 </center >
5749 </div >
5850
51+ 一方面,由图1可以看出各样本集之间差异巨大(从数十个样本到十万个样本),究其根源在于漏洞样本集缺乏体系化设计,都是漏洞样本的简单堆砌,测试结果的完整性得不到保障;漏洞样本集所测试的功能点分布不均,测试结果也缺乏合理性。
5952
53+ 另一方面,由图2可以看出,由于缺乏评价体系,评价结果对用户是个“黑盒”,评价结果只能给出总体的召回率和误报率数据,无法细粒度的刻画产品的技术优势与不足。
6054
61-
62- 针对xAST领域缺乏有效衡量技术能力标准的业界痛点,** 蚂蚁安全团队联合** ** 蚂蚁程序分析团队** 、** 浙江大学网络空间安全学院** 的20余位专家学者,共同设计了xAST评价体系及其测试样本套件Benchmark,致力于成为应用安全测试工具的“** 度量衡** ”。
55+ 针对xAST领域缺乏有效衡量技术能力标准的业界痛点,** 蚂蚁安全团队** 联合** 蚂蚁程序分析团队** 、** 浙江大学网络空间安全学院** 的20余位专家学者,共同设计了xAST评价体系及其测试样本套件Benchmark,致力于成为应用安全测试工具的“** 度量衡** ”。
6356
6457# 项目目标与价值
6558
66- ** 目标** :打造具备行业共识的xAST能力评价体系** 事实技术标准 **
59+ ** 目标** :打造具备行业共识的xAST能力评价体系** 技术标准 **
6760
68- ** 价值** :衡量xAST产品技术能力,指引xAST技术发展方向,辅助客户产品选型
61+ ** 价值** :衡量xAST产品技术能力,指引xAST技术发展方向,辅助企业产品选型
6962
7063# 技术亮点
7164
7265## 业界首个评价体系驱动式Benchmark
7366
74- 传统漏洞样本集普遍没有做评价项设计,一般是简单的通过堆砌样本来体现其“完整度”,很可能有较多的样本都在测试同一个功能点,这势必导致测试结果既不能保证完备性,也不能保证测试结果的合理性。
67+ 传统漏洞样本集普遍没有做评价项设计,一般是简单的通过堆砌样本来体现其“完整度”,很可能有较多的样本都在测试同一个功能点,这势必导致测试结果既不能保证完备性,也不能保证测试结果的合理性。
7568
7669我们在设计测试样本集之前,在业界首次设计了一套包含各个维度评价项的评价体系,再基于评价体系设计对应的测试样本集,较传统方式提高了完备性和合理性。
70+
7771 <div align =center >
7872<center >
7973 <img style="border-radius: 0.3125em;
@@ -87,13 +81,11 @@ xast-contact@service.alipay.com
8781 </center >
8882 </div >
8983
90-
91-
9284## 业界首个面向工具视角的Benchmark
9385
94- 传统漏洞样本集一般都是以漏洞类型作为评价视角,不同漏洞类型的样本组成了样本集,不同类型的xAST产品都在同一套漏洞样本集上进行测试。但xAST技术原理各异,样本集在不同类型产品之间很难通用。如测试静态分析SAST路径敏感的样本对于动态分析IAST来说就没有太多意义,这也将影响测试结果的合理性。
86+ 传统漏洞样本集一般都是以漏洞类型作为评价视角,不同漏洞类型的样本组成了样本集,不同类型的xAST产品都在同一套漏洞样本集上进行测试。但xAST技术原理各异,样本集在不同类型产品之间很难通用。如测试静态分析SAST路径敏感的样本对于动态分析IAST来说就没有太多意义,这也将影响测试结果的合理性。
9587
96- 针对这种情况,我们转换了评价视角,在业界首次从漏洞视角转化成工具视角,不同工具不同评价项,不同语言不同评价项,评价项和样本的设计更合理。
88+ 针对这种情况,我们转换了评价视角,在业界首次从漏洞视角转化成工具视角,不同工具不同评价项,不同语言不同评价项,评价项和样本的设计更合理。
9789
9890 <div align =center >
9991<center >
@@ -108,13 +100,11 @@ xast-contact@service.alipay.com
108100 </center >
109101 </div >
110102
111-
112-
113103## 评价体系分层设计,降低评价复杂度
114104
115- 本质上,xAST的能力是分层的。有的能力比较底层,如对污点数据的跟踪能力,这类能力通常实现的难度较大,成本较高,是需要用户重点关注的;有的能力属于比较上层,如对某个规则或框架的sink点支持,通过简单的配置就可以支持,重要度相比引擎能力没那么高。传统漏洞样本集没有对这些能力做区分,“眉毛胡子一把抓”,测试结果无法区分究竟是规则没有配置导致的不支持还是引擎能力上不支持。
105+ 本质上,xAST的能力是分层的。有的能力比较底层,如对污点数据的跟踪能力,这类能力通常实现的难度较大,成本较高,是需要用户重点关注的;有的能力属于比较上层,如对某个规则或框架的sink点支持,通过简单的配置就可以支持,重要度相比引擎能力没那么高。传统漏洞样本集没有对这些能力做区分,“眉毛胡子一把抓”,测试结果无法区分究竟是规则没有配置导致的不支持还是引擎能力上不支持。
116106
117- 我们在业界首次提出对一款xAST可以从底层到上层分成引擎能力、规则能力和产品化能力这三层。对这三层分别设计评价体系和测试样本,既降低了每一层评价的复杂度,又使测试结果可以直接反映问题出在哪一层。
107+ 我们在业界首次提出对一款xAST可以从底层到上层分成引擎能力、规则能力和产品化能力这三层。对这三层分别设计评价体系和测试样本,既降低了每一层评价的复杂度,又使测试结果可以直接反映问题出在哪一层。
118108
119109 <div align =center >
120110<center >
@@ -129,12 +119,11 @@ xast-contact@service.alipay.com
129119 </center >
130120 </div >
131121
132-
133122## “体检报告”式结果,细粒度可解释
134123
135- 传统漏洞样本集由于缺乏评价体系指导,每个样本的“测试功能点”是模糊的,评价结果是个“黑盒”,只能得到一个召回率和准确率的数据,无法得到更细粒度的信息。
124+ 传统漏洞样本集由于缺乏评价体系指导,每个样本的“测试功能点”是模糊的,评价结果是个“黑盒”,只能得到一个召回率和准确率的数据,无法得到更细粒度的信息。
136125
137- 我们基于评价体系,每个评价项对应生成一个测试样本,给每个测试样本都赋予了明确的“测试功能点”,使测试结果如同一份详尽的“体检报告”,细粒度可解释,知其然,知其所以然。
126+ 我们基于评价体系,每个评价项对应生成一个测试样本,给每个测试样本都赋予了明确的“测试功能点”,使测试结果如同一份详尽的“体检报告”,细粒度可解释,知其然,知其所以然。
138127
139128 <div align =center >
140129<center >
@@ -149,10 +138,9 @@ xast-contact@service.alipay.com
149138 </center >
150139 </div >
151140
152-
153141## 业界Benchmark交叉验证,确保完备性
154142
155- 为了保障评价体系及其Benchmark的完备性,我们还与业界常见的Benchmark进行了交叉验证,确保这些常见Benchmark的测试功能点都能在我们的评价体系中有体现,进一步确保了评价体系的完备性。
143+ 为了保障评价体系及其Benchmark的完备性,我们还与业界常见的Benchmark进行了交叉验证,确保这些常见Benchmark的测试功能点都能在我们的评价体系中有体现,进一步确保了评价体系的完备性。
156144
157145 <div align =center >
158146<center >
@@ -167,12 +155,9 @@ xast-contact@service.alipay.com
167155 </center >
168156 </div >
169157
158+ # 评价体系内容
170159
171- # 项目规划与进展
172-
173- 1 . 项目整体规划大图见图8,计划对SAST、IAST、DAST、SCA和MAST(移动应用安全测试技术)分层设计评价体系与Benchmark。未来如果基于机器学习和大模型技术进行漏洞检测的技术成熟之后,也会纳入到我们的项目规划中。
174-
175- 2 . 目前已启动的是引擎能力评价体系及其Benchmark的设计,已初步完成并开源了IAST\- Java、SAST\- Java、SAST\- Node、DAST引擎能力评价体系的设计,其余的部分希望能够借助行业的力量进行共建。
160+ 项目大图见图8,由SAST(静态应用安全测试)、IAST(交互式应用安全测试)、DAST(动态应用安全测试)、SCA(软件组成成份分析)、MAST(移动应用安全测试技术)大模型/机器学习漏洞检测等多个子模块组成。
176161
177162 <div align =center >
178163<center >
@@ -183,32 +168,56 @@ xast-contact@service.alipay.com
183168 <div style="color:orange; border-bottom: 1px solid #d9d9d9;
184169 display: inline-block;
185170 color: #999;
186- padding: 2px;">图8 项目规划大图 </div>
171+ padding: 2px;">图8 项目大图 </div>
187172 </center >
188173 </div >
189174
175+ 评价体系的每个子模块包括引擎能力评价体系(区分开发语言)和规则能力评价体系。以SAST\- Java引擎能力评价体系为例,评价体系由评价指标项和基于评价指标项的测试样本代码Benchmark两部分组成,见图9。
190176
177+ <div align =center >
178+ <center >
179+ <img style="border-radius: 0.3125em;
180+ box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);"
181+ src="https://github.com/alipay/ant-application-security-testing-benchmark/blob/main/floder-img/image9.png">
182+ <br>
183+ <div style="color:orange; border-bottom: 1px solid #d9d9d9;
184+ display: inline-block;
185+ color: #999;
186+ padding: 2px;">图9 评价体系内容示例</div>
187+ </center >
188+ </div >
191189
192- 3 . 项目自2023年开源以来,截止2023年10月,已有** 阿里集团** 、** 斗象科技** 、** 水木羽林** 、** 赛迪** 、** 统信** 、** 科大讯飞** 、** 悬镜** 、** 火线安全** 和** 蚂蚁Sparrow** 等十余家企业用户使用评价体系用于商采/开源产品选型或自研产品的技术衡量。
193-
194- 4 . 其中IAST\- Java和DAST引擎能力评价体系已作为事实技术标准,用于** 开放原子开源基金会** (工信部所属国家唯一官方开源组织)对开源安全工具的测评项目,测评结果即将对外开源开放。
195190
191+ 用户通过各xAST产品在Benchmark上的实际测试结果,结合评价指标项,即可全面了解被测产品的能力详情。
196192
197- 欢迎各位专家对项目进行试用,更期待您能参与SAST和IAST多语言、SCA、MAST等引擎能力以及各类产品规则层面的共建,共同打造一个业界公认的xAST评价体系事实标准,为安全行业带来一份微小而美好的改变。
193+ # 项目进展与规划
198194
199-
200- # 联系我们
201- ## 微信
195+ 项目进展与总体规划见图10,目前已完成IAST\- Java、SAST\- Java、SAST\- Node、DAST引擎能力评价体系的设计。项目自2023年开源以来,已有** 阿里** 、** 华为** 、** 斗象** 、** 中国软件评测中心** 、** 科大讯飞** 和** 雪球** 等十余家企业用户使用评价体系用于商采/开源产品选型或自研产品的技术衡量。其中IAST\- Java和DAST引擎能力评价体系已作为技术标准,用于** 开放原子开源基金会** 对开源安全工具的测评项目。
202196
203197 <div align =center >
204- <center >
198+ <center >
205199 <img style="border-radius: 0.3125em;
206200 box-shadow: 0 2px 4px 0 rgba(34,36,38,.12),0 2px 10px 0 rgba(34,36,38,.08);"
207- src="https://github.com/alipay/ant-application-security-testing-benchmark/blob/main/floder-img/Iwechat .png">
201+ src="https://github.com/alipay/ant-application-security-testing-benchmark/blob/main/floder-img/image10 .png">
208202 <br>
203+ <div style="color:orange; border-bottom: 1px solid #d9d9d9;
204+ display: inline-block;
205+ color: #999;
206+ padding: 2px;">图10 项目进展与总体规划</div>
209207 </center >
210208 </div >
211209
210+
211+ 2024年项目计划落户一家开源基金会或联盟,依托于工作组进行共建,并每年基于xAST评价体系对业界的最新产品进行测评,发布信息安全行业** 年度xAST产品的能力评测报告** ,通过年度测评报告的方式推动项目的持续发展。
212+
213+ # 联系我们
214+ ## 微信
215+
216+ <p align =" center " >
217+ <img src =" https://github.com/alipay/ant-application-security-testing-benchmark/raw/main/floder-img/Iwechat.png " alt =" 微信交流群 " width =" 200 " />微信交流群
218+ <img src =" https://github.com/alipay/ant-application-security-testing-benchmark/raw/main/floder-img/xzs.png " alt =" 微信小助手 " width =" 200 " />微信小助手
219+ </p >
220+
212221## 邮箱
213222
214223xast-contact@service.alipay.com
0 commit comments