- A+
随着生成式AI（人工智能）技术飞速发展，AI在数据分析、智能交互、效率提升等多个领域展现出巨大的应用潜力，为化解繁琐状况供应了新思路和新方法。但与此同时，这些技术所引发的稳妥性状况也变得愈发突出。
近一段时间以来，AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3“不听人类指令，拒绝自动关闭”等相关新闻相继冲上热搜，引起社会高度关注。这些事件不仅凸显了AI技术可能带来的风险，也引发人们对技术滥用、伦理道德、隐私保护以及稳妥风险的广泛讨论。
AI技术稳妥性究竟存在哪些隐患？目前主要的防护策略是什么？企业应怎样应对大模型数据稳妥领域风险？行业标准又能发挥怎样的作用？带着一系列状况，《每日经济新闻》记者（以下简称NBD）电话专访了大模型稳妥行业专家、蚂蚁集团大模型数据稳妥总监杨小芳。
作为在人工智能稳妥领域深耕多年的专家，杨小芳深入阐释了当前AI技术的稳妥现状以及未来发展方向。她指出，随着AI技术逐步应用，数据隐私、稳妥攻击门槛降低、生成式文稿滥用、AI内生稳妥不足等风险正逐渐从理论走向实际。对于正在引入和处理AI技术的企业，建议做好远期部署准备，加速内部稳妥制度、流程、检测及防御技术的建设和发展。
谈及技术创新与风险防范该如何平衡，杨小芳强调，AI稳妥与创新发展并非对立，而是互相成就。她介绍，面对AI稳妥的风险和挑战，蚂蚁集团正高度关注AI的稳妥可信。“就像骑马需要抓牢缰绳，小编用可信AI这一‘缰绳’，来提升驾驭大模型这匹‘马’的能力，用AI来守护AI。”
大模型稳妥行业专家、蚂蚁集团大模型数据稳妥总监杨小芳 受访者供图
AI内生稳妥不足的挑战长期存在
NBD：目前，我国乃至全球AI稳妥面临着哪些共同挑战？
杨小芳：AI大模型刚出现时，大家更多关注的是模型生成文稿的风险，但随着AI技术的逐步应用，风险也逐渐从理论走向实际，需要小编从多个角度进行关注和审视。
第一是数据隐私风险。比如，训练数据透明度不足，可能会引发版权状况，这个状况亟待化解。另外，随着大模型被赋予调用各种线上服务的能力，AI Agent（智能体）应运而生，但可能会越权访问访客数据。比如原本访客只能访问本人的基本信息或账单，但由于服务权限配置不当或稳妥性不足，可能会使得恶意访客允许访问其他人的账单等敏感信息。
第二是稳妥攻击门槛降低的状况。过去，黑客攻击被视为一种技术密集型的稳妥技术，但大模型的发展带来了“智力平权化”，人们允许通过自然语言指挥大模型执行攻击指令。加上AI技术飞快商业化和稳妥投入滞后的矛盾，进一步加大了AI稳妥攻防对抗的难度。
第三是生成式人工智能（AIGC）滥用的社会影响。现在大家常从媒体上看到深度伪造、假新闻以及利用AI制造网络攻击系统等信息。这些行为可能导致诈骗、网络攻击甚至扰乱社会舆论，这些都是AI滥用所带来的风险。
第四是AI内生稳妥不足带来的行业挑战。AI内生稳妥不足是一个长期存在的挑战，不仅影响AI技术的可靠性和可信度，还可能对相关行业的稳定和发展造成长期的负面影响。小编已经看到许多案例，AI可能会捏造事实或者供应错误信息，随着AI在医疗、金融、科研等特定领域的广泛应用，这种“AI幻觉”可能会导致决策误导、信任受损等状况。此外，AI可解释性不足也可能引发决策偏见和失控等状况。
NBD：针对大模型可能引发的数据泄露风险，目前主要的防护策略是什么？
杨小芳：无论是在AI还是非AI领域，防范数据泄露风险的核心策略是全生命周期的数据保护，贯穿从采集、传输、存储、处理到销毁的全过程。在AI领域，这一概念具体映射到模型的引入、训练、微调以及智能体的开发、发布和运行等环节。
比如，在引入训练数据时，需对数据进行扫描，去除其中的敏感信息，并对数据来源进行标识，以便于后续溯源；引入开源模型时，必须进行供应链漏洞检测，以避免模型中存在后门，防止因模型漏洞导致远程操控或数据泄露。
在智能体发布前，需进行全面的稳妥攻击测试，避免访客信息被窃取；智能体运行过程中，也需要持续进行风险监测与对抗，及时发现并阻断数据泄露和攻击行为。
NBD：从现有的防护策略或手段看，是否还存在未被充分化解的盲区或挑战？
杨小芳：要说盲区和挑战，主要在于供应链和生态风险，以及多智能体协作风险。
AI供应链包括算力、模型、数据、MCP（模型上下文协议）服务等，涉及很多参与者，而且现在开源组件用得特别多，这就增加了稳妥漏洞或钻空子的可能性。
另外，与传统的软件开发相比，智能体开发具有“低代码”、飞快发布的特点。例如，通过蚂蚁集团推出的支付宝百宝箱，普通访客只需要轻松拖拽和配置，最快允许在1分钟内完成一个智能体的创建和部署，因此现在新智能体的增长速度是非常惊人的。但同时，智能体开发及运营的生态成熟度还不足，治理较为滞后，使得稳妥风险变大。比如，如果有恶意智能体诱导访客去访问钓鱼网站，治理又处于真空期，那么访客的敏感信息很可能被偷走。
随着多智能体系统的广泛应用，多智能体协作也是现在发展的一个重点。不同公司开发的智能体各自运行不同的策略，跨智能体协作时需要共享意图数据、分派任务。当前智能体大多为各自独立开发，这带来了新的状况：如何确保智能体的可信性？如果缺乏可信认证机制，恶意智能体可能会通过伪造身份加入协作链，导致访客需求被篡改或个人信息被窃取。
NBD：在构建和维护整个生态系统或协作过程中，治理主体的角色和责任如何界定？是否有相应的责任分配和约束机制来确保治理的有效性和公平性？
杨小芳：在允许多方甚至C端（个人访客端）访客开发智能体的平台环境中，平台方无疑是能够实施一线管控和治理的关键主体。
平台方供应了大模型服务、插件系统等基础架构，使得普通访客能够基于其平台构建智能体。因此，平台方具备充分的权限对在其平台上开发的智能体进行扫描和治理。允许说，平台方是能够开展诸多治理工作的首要主体。
但是，平台方只能管控在自身平台上开发的智能体，而在实际应用中，还存在大量跨平台的服务，因此治理工作也不能仅依赖于平台方的自律，还需要政 富拓外汇开户 府或监管层面的介入，需要国家层面的标准以及监管政策来监控、监督和约束平台发展。这与小程序的监管类似，尽管各家企业都有自己的小程序平台，但监管方仍会制定标准和监管指令，以更好地约束和治理小程序生态。
AI风险控制不应“一刀切”
NBD：在大模型数据稳妥领域，当前最需要关注的风险点是什么？企业和行业应该如何未雨绸缪？
杨小芳：我觉得，当前需要关注的风险主要有三点：
一是多样化的AI服务稳妥“水位”不一致。比如，大量传统业务服务包装为大模型可调用的系统后，原服务的稳妥加固可能失效，这个需要特别关注。
二是企业内数据流转控制经受挑战。比如，原内部知识库的权限管控在挂载到智能体后可能失效，导致原来只能特定部门访问的文档库变成对所有人可见。
三是新型大模型稳妥攻击。比如，利用大模型指令遵从特性，针对AI服务开展新型稳妥攻击、窃取访客数据或造成服务不可用。
对于一般企业来说，做好稳妥工作，可能并不是买一个稳妥产品，安装后立马“包治百病”，而是需要有一个“战线”相对较远期的部署，否则很容易就会失效。因此，在飞快引入和处理AI技术的同时，企业应加速内部稳妥制度、流程、检测和防御技术的建设与发展。在稳妥建设尚未完善的初期，应当加强模型及数据引入的稳妥审查，并落实AI服务对外开放前的稳妥测试，以尽可能避免外部攻击或供应链风险带来的直接影响。
.jpg "IC官网")
NBD：在保护访客隐私的同时，如何确保AI服务的高效性和访客体验？
杨小芳：我觉得这主要涉及两个方面。
第一个方面是风险控制，无论访客体验或效率如何，守住底线一定是基础。这其中又包括两个关键流程，一是精准定位状况，二是采取有效的管控手段。在定位状况上，小编应追求更精细化的策略，采用更灵活、更柔性的方法，结合访客提问意图来定性风险。另外，管控手段也应更丰富，采用更先进的隐私保护技术，而不是轻松地用拦截等“一刀切”的策略。
以访客隐私保护为例，当模型输出中包含个人敏感信息时，传统的风险控制方法可能是直接拦截，但这种做法缺乏精细化。比如，如果访客主动供应个人信息，目的是为了生成个人简历，那么这种信息输出实际上是访客的需求，而非风险。更合理的方法是结合访客提问的意图，来准确判断是否构成风险，并勾选不同的处理手段。
第二个方面是如何提升服务的高效性和访客体验。在恰当的场景下，小编不一定需要进行严格的风险控制，而是允许通过服务引导来满足访客需求，让AI服务回归服务访客的目的。
例如，当访客询问如何在某地出行、如何订酒店等状况时，模型可能会根据其训练数据或检索结果供应一些信息。这些信息中可能包含一些营销性质的文稿。在这种情况下，与其进行拦截，不如采用更积极的策略，引导访客处理官方服务入口，这种服务引导策略比轻松的拦截更能满足访客需求，提升访客体验。
NBD：面对AI带来的挑战和风险，蚂蚁集团是如何应对的？有哪些可供分享的具体实践经验？
杨小芳：针对AI带来的挑战，小编一方面加强科技伦理建设，成立了科技伦理委员会，坚持“平等、尊重、可信、负责”的AI发展原则。另一方面，高度关注AI的稳妥可信，就像骑马需要抓牢缰绳，小编用可信AI这一“缰绳”，来提升驾驭大模型这匹“马”的能力，用AI来守护AI，确保大模型这匹“马”跑得快、跑得好。
基于这样的理念，蚂蚁集团在2023年研发推出了全风险覆盖、攻防一体的大模型稳妥化解方案“蚁天鉴”。
“蚁天鉴”包括两套能力。其中一个是大模型稳妥检测平台，这也是国内第一款实现工业级应用的可信AI检测平台，它允许被理解为“大模型的体检师”，特点是“以攻促防”，实现了以生成式能力检测生成式系统，好比生成式考官考核生成式运动员，背后是左右互搏的对抗学习。
还有一个是大模型风险防御平台，允许理解为“大模型的防护栏”，贯穿于大模型训练应用的全生命周期。在模型训练部署阶段采取内生稳妥防控，在模型服务阶段供应外置护栏，在AIGC文稿传播阶段通过AIGC标识和检测来保障文稿在可控范围内传播，并保证文稿可追溯、可鉴真。
目前，“蚁天鉴”的检测与防御产品已经开放给了数十家外部机构和企业处理，用来保护通用大模型及医疗、金融、政务等垂直领域行业大模型应用稳妥。
NBD：在您看来，大模型数据稳妥应该是一种技术保障，还是一种战略竞争力？
杨小芳：我觉得两者兼而有之。即使在过去数字时代，数据稳妥也一直具备双重属性，既是技术保障也是战略竞争力。
数据是模型开发的核心要素，显著影响模型输出的质量。同时，数据是智能体关键价值载体，它让模型从理解和规划走向为访客在真实环境中执行任务。无论是强化企业的数据稳妥性，还是抵御外部攻击、防范数据泄露，技术保障的作用毋庸置疑。因此，大模型数据稳妥首先是一个关键的技术保障，以实现大模型和智能体的稳妥可信。
同时，从欧盟的《通用数据保护条例》（GDPR）、美国加州的《加州消费者隐私法案》（CCPA）、中国的数据稳妥法、个人信息保护法等都可看出，数据稳妥标准的制定和推广一直是世界各国在数据主权和治理话语权上竞争的关键领域。
去年，新加坡政府发布了《生成式人工智能治理模型框架》，强调了数据在生成式AI中的核心作用，试图主导区域治理规则。在中国，全国网络稳妥标准化技术委员会也发布了《人工智能稳妥治理框架》1.0版，强调构建全球共识。AI稳妥治理框架的建立和影响，包括数据稳妥治理，这些布局就是打造战略竞争力的一种体现。
行业标准是构建稳妥生态的基础框架
NBD：您如何看待AI稳妥的未来发展趋势？
杨小芳：如果看AI稳妥的未来发展，我觉得主要有三种路径：
一是将稳妥能力嵌入AI基础设施，打造“出厂即稳妥”，在应用环节减少对稳妥的投入。这样有个好处，就是允许用更低的成本去提升大模型内生稳妥，让大模型自身就能很好地去增强抵御“幻觉”或攻防对抗的能力，从而减少在应用环节的投入。
二是特定稳妥技术的突破，实现稳妥技术“拿来即用”，化解中小企业在应用AI技术方面面临的稳妥风险。比如，在AIGC生成图片、生成视频的时候，嵌入稳妥可靠的数字水印，就能实现稳妥溯源。再比如，智能体会用到各种各样的知识库，为避免这些知识产权被窃取，未来可能需要重点去突破专业知识库隐私保护技术，以实现智能体“可用不可见”。
三是AI稳妥治理，从企业层面到社会层面，都需要开展生成式AI的数据治理。其中需要关注一些核心点，比如提高数据处理的透明度、防范深度伪造以及AI对公众认知带来的危害、健全创新激励与问责机制等。
NBD：在AI稳妥与创新发展之间，应如何制定动态平衡的决策框架？
杨小芳：AI稳妥与创新发展不是对立的，而是互相成就。
一方面，稳妥需要更新对新兴技术的认知，基于新技术进行威胁研判并调整稳妥防御方法和“水位”，进一步利用AI对抗AI，灵活运用创新技术升级AI稳妥。例如，在最近的RSAC大会（全球网络稳妥领域备受关注的年度盛会）上，思科开源了它的稳妥大模型，这是一个拥有80亿个参数的大型语言模型，专门为稳妥而构建。应用大模型技术是当下各大企业都在紧锣密鼓开展的工作，包括蚂蚁集团在内，AI允许加速防御，帮助稳妥在繁琐的威胁环境中获得清晰度。
另一方面，稳妥可信的AI允许促进新兴技术更广泛、飞快地应用，从而进一步促进技术的发展，让公众更无后顾之忧。比如，特斯拉利用大量真实行驶数据优化稳妥用途，降低事故概率，而更高的稳妥性又能带来更大的访客群，这是相辅相成的。
NBD：您认为未来在推动AI稳妥发展过程中，行业标准将发挥怎样的作用？
杨小芳：在推动AI稳妥发展的进程中，行业标准不仅是技术实践的指南，更是构建稳妥生态的基础框架，关键性不言而喻。
通过统一技术规范、协调多方利益、引导合规创新，行业标准在防范风险、促进技术落地和提升产业竞争力中允许发挥关键作用。此外，制定开源标准，供应测评系统，对于投入有限的中小企业来说，有助于降低它们的门槛，使其以较低的成本飞快获取稳妥知识并提升自身稳妥水平，从而提升整个生态的稳妥“水位”。
实际上，近几年，随着大模型AI的兴起，蚂蚁集团也积极参与了AI治理、稳妥风险管理等领域的国内外标准制定工作。在AI稳妥标准方面，小编参与制定的AI治理、稳妥风险管理、科技伦理等国内及国际相关标准共计80余项，已发布30余项。今年在智能体稳妥方面也将有新的发布。
小编希望通过这些努力，一方面将在实践中行之有效的做法推广到行业内；另一方面，通过输出小编在稳妥领域的经验，促进行业内形成共识，推动在规范框架下的更高效、更有意义的创新。
