Skip to content
alipaydeshui edited this page Apr 16, 2024 · 7 revisions

1、为什么感觉xast的测试样本集漏洞规则都比较少?
我们对应用安全测试产品的能力进行了分层,分成了底层的引擎能力和上层的规则能力。xast评价体系一期重点是对底层引擎能力进行评价,因此除了为测试引擎能力而引入的少数几个漏洞规则,一般不把漏洞规则作为评价项。

2、什么是引擎能力?
引擎能力是与规则能力相对应的一层能力,不同类型的应用安全测试产品,引擎能力的定义不同。对于SAST和IAST,引擎能力体现的是SAST/IAST对基础语言层面(如JDK)的支持能力。
简单的理解,引擎能力更偏低层,支持的难度和成本更高,后期用户很难自定义,需要用户重点关注。

3、为什么要引擎能力和规则能力分开评测?
对于应用安全测试产品来说,由于漏洞规则是和使用的框架紧密相关的,较难枚举,且一般产品都支持用户自定义,即使默认不支持,用户也可以以较低成本自定义配置。 引擎能力更偏低层,支持的难度和成本更高,后期用户很难自定义。 如果不分开进行评测,对于一个没有通过测试的case,用户很难分清到底是产品的底层引擎能力不足导致的,还是仅仅因为该规则没有定义导致的。

4、xast评价体系在技术上有什么亮点?与其他Benchmark有什么显著区别?
(1)业界首个评价体系驱动式Benchmark (2)业界首个面向工具视角Benchmark (3)评价体系分层设计,区分了引擎能力和规则能力,评价结果更合理 (4)“体检报告”式结果,细粒度可解释 (5)业界Benchmark交叉验证,确保完整性

5、如何确保评价体系的完整性?
一方面评价体系的设计确保了“正向”的完整性;另一方面,我们通过与业界Benchmark进行交叉验证,从“负向”确保了完整性

6、sast的靶场如何运行?
取决于您要测试的sast产品,如果是针对源码进行静态分析的产品,则不需要运行,直接使用sast对靶场进行静态分析即可。

7、如何查看测评结果?
优化中......

8、测试结果如何对应到评价项?
优化中......

9、后续是否会新增更多的语言?
欢迎联系我们,一起共建,为业界带来一些美好而微小的变化。

10、如何反馈issue或参与共建?
一般的问题,可以直接在github上提issue;如有case希望贡献,可以在github上提交merge request,社区的maintainers会定期进行响应。当然,您也可以直接进群咨询和交流。 详见参与贡献

Clone this wiki locally