胡军锋：研发安全视角下人工智能应用及思考
原标题：胡军锋：研发安全视角下人工智能应用及思考
随着信息技术的快速发展，监管机构对系统建设过程中的研发安全管控日益关注，安全问题在研发工作中受到越来越高的重视。尽管安全领域有很多成熟的工具和产品，但仍需投入大量的人力和时间，且由于人为因素的存在，安全问题也容易出现疏漏和错误。引入人工智能技术来辅助研发安全工作不仅能提高工作效率，还可以保证工作的准确性和可靠性，已经成为未来研究的重要方向。
OpenAI推出的人工智能借助强大的生成内容能力让人们普遍认为人工智能的颠覆性拐点即将到来，人工智能通用大模型正在迅速发展，可能会带来一次软件产业的革新。研发安全作为软件开发的重要组成部分，也可能面临新的变革。
中国邮政储蓄银行软件研发中心总经理 胡军锋
研发安全视角下的人工智能应用场景研究
站在研发安全的视角，人工智能的使用可以很大程度提升工作效率，我们调研后认为人工智能技术在研发安全领域的落地应用场景非常广泛，包括支持安全威胁建模、辅助安全需求设计、提供安全编码参考、提高安全测试效率、加强网络防御能力、提升业务安全风险防控能力等。
1.利用人工智能支持安全威胁建模。自然语言处理下的人工智能大模型,可以帮助安全分析人员及业务人员更加高效地共同分析威胁情报，通过输入业务功能描述和技术架构说明等语义信息，可以分析并生成相关威胁报告。此外还能够根据事件和攻击者行为的描述信息，拟合已知攻击向量并生成潜在的威胁方案。这种基于场景的安全建模方式，可以让安全人员更加专注于对业务的理解，更加准确地把握业务风险，进而将更多精力投入到系统业务风险模型设计中。
2.利用人工智能辅助业务安全需求分析。人工智能具有强大的自学习能力，可以及时获取业务安全风险的信息，包括潜在的安全威胁、系统的安全漏洞和最新的安全防御技术。在此基础上，结合具体业务场景，安全人员可以利用人工智能提供的防控措施进行安全需求设计，并通过自身经验对其进行筛选和优化，最终转化成实际可行的安全方案，对业务系统进行安全保护。
3.利用人工智能提示安全编码参考。利用人工智能具备的代码撰写能力。当信息安全人员需要对特定业务场景进行安全编码时，可以通过人工智能得到相应的编码示范。通过人工智能赋能，安全人员可以更好地将信息安全要求以代码的形式提供给工程开发人员，并提供丰富的安全编码参考、示例代码和最佳实践。工程开发人员可以在项目实践中获得实用的建议和示范，编写出更加安全可靠的代码。
4.利用人工智能提高安全测试效率。人工智能可用于辅助安全测试脚本编写，生成安全测试工具、插件、自动攻击脚本，提供攻击防护绕过方法、辅助逆向分析被测目标源代码等，减少了安全测试人员工作量，使其更专注于系统漏洞挖掘，提升了工作效率。同时，人工智能出众的代码能力也可以在代码安全审计方面发挥更大作用，传统的代码安全审计依赖于白盒代码安全扫描工具，但其扫描结果误报率较高，排除误报需要耗费巨大工作量。通过人工智能工具进行的代码安全审查，可以提高代码安全审计的准确度，减少代码审计人员的工作量。
5.利用人工智能提高防守强度。在防御网络攻击方面，通常依赖态势感知、入侵检测系统等安全设备来捕获攻击行为，或者通过人工分析系统日志来获得攻击信息，以便及时执行安全措施。但由于安全设备的攻击告警存在一定程度误报，因此防御攻击较为关键的环节是人工研判，安全人员的经验水平对研判的效率和准确性有着重要的影响。人工智能可以辅助安全人员对各类安全设备产生的报警事件进行综合分析研判，生成整条攻击链路信息以及需要采取的响应处置措施，从而提升安全事件应急响应能力。此外，处理风险事件后，对攻击源的溯源反制也是一项重要的工作，人工智能能够分析攻击者遗留的痕迹，辅助安全人员绘制攻击者画像。
6.利用人工智能提高业务安全风险防控能力。目前的风控系统主要依赖于风控规则结合神经网络等数据算法模型，应用人工智能技术进行用户身份识别以及贷前辅助审核。近两年，电信欺诈活动逐渐呈现团伙式、隐蔽性等特征，黑产针对人脸识别等人工智能技术的攻击手法逐渐提升，基于社会工程学的欺诈事件层出不穷，有效识别黑产社区账户的难度加大。利用人工智能技术能够建立金融业务全流程智能风险防控体系，实现风险数据分析处理的智能化，进行客户和设备风险画像，发掘风险账号的关联关系。通过黑产社区发现、黑产终端设备感知识别和用户风险行为实时发现等手段，实现事前预警、事中管控、事后溯源，提升业务安全风险防控能力，保护客户交易资金安全。
研发安全视角下人工智能应用面临的风险与挑战
虽然人工智能技术在研发安全领域应用有诸多优势，但同时也存在诸多风险。我们只有提前做好这些风险的应对策略，才能更好利用人工智能技术提升研发安全的智能化水平。
1.数据隐私和安全风险。在人工智能应用中，数据是训练和预测模型的基础。数据的存储、传输和使用也带来了新的安全威胁和隐私风险。例如数据泄露、篡改、滥用等问题可能导致严重的安全后果。针对大规模使用人工智能的应用，需要严格控制输入内容的数据隐私安全。
2.算法透明度和可解释性。人工智能在研发安全领域的应用需要具备算法的透明度和可解释性，以便更好地理解和评估其预测结果和安全效果。然而，人工智能技术本身的复杂性和黑盒特性可能导致算法难以理解和解释，给安全评估和审查带来困难。特别是在代码生成、漏洞修复和风险预警等需要高度可靠性和安全性的工作中，如果引入闭源的人工智能工具，对于人工智能算法的不可预知性将会带来新的风险。因此，对于安全级别较高的工作，引入闭源的人工智能工具时需要持谨慎态度。
3.攻击和对抗风险。目前利用特征模型实现威胁监测与分析是人工智能赋能网络安全的典型应用场景，然而网络安全威胁是不断演化升级的，黑客一直在寻找漏洞利用的新方法，基于历史数据构建的特征模型不可能长久有效，一旦预设的场景发生变化或变化超出一定范围，人工智能可能会无法思考。
4.误判和漏洞。人工智能在研发安全领域的应用中，存在误判和漏洞的风险，这些风险会对企业和组织的安全造成威胁。例如由于过度拟合或数据集偏差，人工智能应用可能出现误判，或由于存在漏洞而被攻击。尽管人工智能在大部分内容生成中能够提供完整的答案，但是它仍然有可能出现事实性错误。如果过度依赖人工智能的辅助，可能会导致不良后果。
5.法律和监管风险。人工智能在研发安全领域的应用中，需要遵循各种法规和监管要求。包括但不限于数据保护、隐私保护、知识产权保护等方面的要求。如果人工智能应用未能遵循这些要求，将可能面临法律和监管风险。然而，目前人工智能的管控能力还不够成熟，这是很多企业在应用人工智能时都会遇到的问题。人工智能发展的过程具备动态和自适应的特征，传统的静态流程管控方法可能并不适用。目前，尚未形成一套适用于人工智能领域的治理框架，相关的治理原则、方法和控制还在进一步研究。
总结与展望
人工智能技术，特别是人工智能大语言模型的出现无疑是颠覆性的，各行业的领先企业纷纷宣布将接入人工智能辅助技术，以帮助其拓展业务并保持业界领先地位。将人工智能作为一种研发安全辅助工具，其在安全需求设计、安全工具开发、安全测试和安全运营方面的表现符合甚至高于预期，然而在一些复杂或时间敏感的事务上，人工智能的表现力相对欠佳。此外，人工智能也存在用户隐私信息、模型对抗样本、可解释性和内容创造欺诈等安全问题。尽管如此，从研发安全的角度，我们期望人工智能技术在威胁建模支持、安全需求设计、业务安全风险防控、安全编码参考、安全测试效率提升、强化安全运营防护水平等领域的应用中能够发挥积极作用。
未来，人工智能的应用是金融业发展的大势所趋，做好专业人才储备，保持业内广泛交流合作，促进业技融合，保证依法合规，才能更好地利用人工智能技术促进商业银行数字化转型，实现高质量发展。
