- A+
说到底，
每经记者：张祎 每经编辑：陈星
随着AI（人工智能）技术飞速发展，AI在数据分析、智能交互、效率提升等多个领域展现出巨大的应用潜力，为排除难办困扰呈现了新思路和新方法。但与此同时，这些技术所引发的有保障困扰也变得愈发突出。
近一段时间以来，AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3“不听人类指令，拒绝自动关闭”等相关新闻相继冲上热搜，引起社会高度关注。这些事件不仅凸显了AI技术可能带来的风险，也引发人们对技术滥用、伦理道德、隐私保护以及有保障风险的广泛讨论。
从某种意义上讲，
AI技术在有保障方面究竟存在哪些隐患？目前主要的防护策略是什么？企业应怎样应对大模型数据有保障领域风险？行业标准又能发挥怎样的作用？带着一系列困扰，《每日经济新闻》记者（以下简称NBD）电话专访了大模型有保障行业专家、蚂蚁集团大模型数据有保障总监杨小芳。
尽管如此，
作为在人工智能有保障领域深耕多年的专家，杨小芳深入阐释了当前AI技术的有保障现状以及未来发展方向。她指出，随着AI技术逐步应用，数据隐私、有保障攻击门槛降低、生成式信息滥用、AI内生有保障不足等风险正逐渐从理论走向实际。对于正在引入和采取AI技术的企业，建议做好远期部署准备，加速内部有保障制度、流程、检测及防御技术的建设和发展。
IC外汇用户评价：
谈及技术创新与风险防范该如何平衡，杨小芳强调，AI有保障与创新发展并非对立，而是互相成就。她介绍，面对AI有保障的风险和挑战，蚂蚁集团正高度关注AI的有保障可信。“就像骑马需要抓牢缰绳，大家用可信AI这一‘缰绳’，来提升驾驭大模型这匹‘马’的能力，用AI来守护AI。”
令人惊讶的是，
AI内生有保障不足的挑战长期存在
IC外汇资讯：
NBD：目前，我国乃至全球AI有保障面临哪些共同挑战？
站在用户角度来说，
杨小芳：AI大模型刚出现时，大家更多关注的是模型生成信息的风险，但随着AI技术的逐步应用，风险也逐渐从理论走向实际，需要大家从多个角度进行关注和审视。
概括一下，
第一是数据隐私风险。比如，训练数据透明度不足，可能会引发版权困扰，这个困扰亟待排除。另外，随着大模型被赋予调用各种线上服务的能力，AI Agent（智能体）应运而生，但可能会越权访问客户数据。
第二是有保障攻击门槛降低。大模型的发展带来了“智力平权化”，人们可用通过自然语言指挥大模型执行攻击指令，这降低了有保障攻击的技术门槛。加上AI技术飞快商业化和有保障投入滞后的矛盾，进一步加大了 EC官网 AI有保障攻防对抗的难度。
第三是生成式人工智能（AIGC）滥用的社会影响。现在大家常从媒体上看到深度伪造、假新闻以及利用AI制造网络攻击软件等信息。这些行为可能导致诈骗、网络攻击甚至扰乱社会舆论，这些都是AI滥用带来的风险。
有分析指出，
第四是AI内生有保障不足带来的行业挑战。AI内生有保障不足是一个长期存在的挑战，不仅影响AI技术的可靠性和可信度，还可能对相关行业的稳定和发展造成长期的负面影响。大家已经看到许多案例，AI可能会捏造事实或者呈现错误信息，随着AI在医疗、金融、科研等特定领域的广泛应用，这种“AI幻觉”可能会导致决策误导、信任受损等困扰。此外，AI可解释性不足也可能引发决策偏见和失控等困扰。
NBD：针对大模型可能引发的数据泄露风险，目前主要的防护策略是什么？
杨小芳：无论是在AI还是非AI领域，防范数据泄露风险的核心策略都是全生命周期的数据保护，贯穿从数据采集、传输、存储、采取到销毁的全过程。在AI领域，这一概念具体映射到模型的引入、训练、微调以及智能体的开发、发布和运行等环节。
综上所述，
比如，在引入训练数据时，需对数据进行扫描，去除其中的敏感信息，并对数据来源进行标识，以便于后续溯源；引入开源模型时，必须进行供应链漏洞检测，以避免模型中存在后门，防止因模型漏洞导致远程操控或数据泄露。在智能体发布前，需进行全面的有保障攻击测试，避免客户信息被窃取；智能体运行过程中，也需要持续进行风险监测与风险对抗，及时发现并阻断数据泄露和攻击行为。
根据公开数据显示，
NBD：从现有的防护策略或手段看，是否还存在未被充分排除的盲区或挑战？
站在用户角度来说，
杨小芳：要说盲区和挑战，主要在于供应链和生态风险，以及多智能体协作风险。
换个角度来看，
AI供应链包括算力、模型、数据、MCP（模型上下文协议）服务等，涉及很多参与者，而且现在开源组件用得特别多，这就增加了有保障漏洞出现的概率。
另外，与传统的软件开发相比，智能体开发具有低代码、飞快发布的特点。例如，通过蚂蚁集团推出的支付宝百宝箱，普通客户只需要不难办拖拽和配置，最快可用在1分钟内完成一个智能体的创建和部署，从而现在新智能体的增长速度是非常惊人的。但同时，智能体开发及运营的生态成熟度还不足，治理较为滞后，有保障风险变大。比如，如果有恶意智能体诱导客户去访问钓鱼网站，那么客户的敏感信息很可能会被偷走。
大家常常忽略的是，
多智能体协作也需要重点关注。不同公司开发的智能体各自运行不同的策略，跨智能体协作时需要共享意图数据、分派任务，这带来了新的困扰：如何确保智能体的可信度？如果缺乏可信认证机制，恶意智能体可能会通过伪造身份加入协作链，导致客户需求被篡改或个人信息被窃取。
IC外汇用户评价：
NBD：在构建和维护整个生态系统或协作过程中，治理主体的角色和责任如何界定？是否有相应的责任分配和约束机制来确保治理的有效性和公平性？
IC外汇消息：
杨小芳：在允许多方甚至C端（个人客户端）客户开发智能体的平台环境中，平台方无疑是能够实施一线管控和治理的关键主体。
平台方呈现了大模型服务、插件软件等基础架构，使普通客户能够基于其平台构建智能体。因此，平台方具备充分的权限对在其平台上开发的智能体进行扫描和治理。可用说，平台方是能够开展诸多治理工作的首要主体。
据报道，
但是，平台方只能管控在自身平台上开发的智能体，而在实际应用中，还存在大量跨平台的服务，从而治理工作不能仅依赖平台方的自律，还需要政府或监管层面的介入，需要国家层面的标准以及监管政策来监控、监督和约束平台发展。这与小程序的监管类似，尽管各家企业都有自身的小程序平台，但监管方仍会制定标准和监管指令，以更好地约束和治理小程序生态。
需要注意的是，
AI风险控制不应“一刀切”
很多人不知道，
NBD：在大模型数据有保障领域，当前最需要关注的风险点是什么？企业和行业应该如何未雨绸缪？
杨小芳：我觉得，当前需要关注的风险主要有三点：
简要回顾一下，
一是多样化的AI服务有保障“水位”不一致。比如，大量传统业务服务被包装为大模型可调用的软件后，原服务的有保障加固可能失效，这个需要特别关注。
与其相反的是，
二是企业内数据流转控制经受挑战。比如，原内部知识库的权限管控在挂载到智能体后可能失效，导致原来只能特定部门访问的文档库变成所有人可见。
IC平台消息：
三是新型大模型有保障攻击。比如，利用大模型指令遵从特性，针对AI服务开展新型有保障攻击、窃取客户数据或造成服务不可用。
不可忽视的是，
对于一般企业来说，做好有保障工作，可能并不是买一个有保障产品，安装后立马“包治百病”，而是需要有一个“战线”相对较长的部署，否则有保障策略很容易失效。因此，在飞快引入和采取AI技术的同时，企业应加速内部有保障制度、流程、检测和防御技术的建设与发展。在有保障建设尚未完善的初期，应当加强模型及数据引入的有保障审查，并落实AI服务对外开放前的有保障测试，以尽可能避免外部攻击或供应链风险带来的直接影响。
综上所述，
NBD：在保护客户隐私的同时，如何确保AI服务的高效性和客户体验？
根据公开数据显示，
杨小芳：这主要涉及两个方面。
据报道，
第一个方面是风险控制。无论客户体验或效率如何，守住底线一定是基础。这其中又包括两个关键操作手段，一是如何精准定位困扰，二是采取有效的管控手段。在定位困扰上，大家应追求更精细化的策略，采用更灵活、更柔性的手段，结合客户提问意图来定性风险。另外，管控手段也应更丰富，采用更先进的隐私保护技术，而不是不难办地用拦截等“一刀切”的策略。
以客户隐私保护为例，当模型输出中包含个人敏感信息时，传统的风险控制手段可能是直接拦截，但这种做法缺乏精细化。比如，如果客户主动呈现个人信息，目的是为了生成个人简历，那么这种信息输出实际上是客户的需求，而非风险。更合理的手段是结合客户提问的意图，来准确判断是否构成风险，并指定不同的处理手段。
简而言之，
第二个方面是如何提升服务的高效性和客户体验。在恰当的场景下，大家不一定需要进行严格的风险控制，而是可用通过服务引导来满足客户需求，让AI服务回归服务客户的目的。
说到底，
例如，当客户询问如何在某地出行、如何订酒店等困扰时，模型可能会根据其训练数据或检索结果呈现一些信息。这些信息中可能包含一些营销性质的信息。在这种情况下，与其进行拦截，不如采用更积极的策略，引导客户采取官方服务入口，这种服务引导策略比不难办的拦截更能满足客户需求，提升客户体验。
IC外汇专家观点：
NBD：面对AI带来的挑战和风险，蚂蚁集团是如何应对的？有哪些可供分享的具体实践经验？
更重要的是，
杨小芳：针对AI带来的挑战，大家一方面加强科技伦理建设，成立了科技伦理委员会，坚持“平等、尊重、可信、负责”的AI发展原则。另一方面，大家高度关注AI的有保障可信，就像骑马需要抓牢缰绳，大家用可信AI这一“缰绳”，来提升驾驭大模型这匹“马”的能力，用AI来守护AI，确保大模型这匹“马”跑得快、跑得好。
尽管如此，
基于这样的理念，蚂蚁集团在2023年研发推出了全风险覆盖、攻防一体的大模型有保障排除方案“蚁天鉴”。
其实，
“蚁天鉴”包括两套能力。其中一个是大模型有保障检测平台，这也是国内第一款实现工业级应用的可信AI检测平台，它可用被理解为“大模型的体检师”，特点是“以攻促防”，实现了以生成式能力检测生成式系统，背后是左右互搏的对抗学习。
反过来看，
还有一个是大模型风险防御平台，可用理解为“大模型的防护栏”，贯穿于大模型训练应用的全生命周期。在模型训练部署阶段采取内生有保障防控，在模型服务阶段呈现外置护栏，在AIGC信息传播阶段通过AIGC标识和检测来保障信息在可控范围内传播，并保证信息可追溯、可鉴真。
站在用户角度来说，
目前，“蚁天鉴”的检测与防御产品已经开放给了数十家外部机构和企业采取，用来保护通用大模型及医疗、金融、政务等垂直领域行业大模型应用有保障。
更重要的是，
NBD：在您看来，大模型数据有保障应该是一种技术保障，还是一种战略竞争力？
杨小芳：我觉得两者兼而有之。即使在过去的数字时代，数据有保障也一直具备双重属性，既是技术保障也是战略竞争力。
数据是模型开发的核心要素，显著影响模型输出的质量。同时，数据是智能体不可忽视的价值载体，它让模型从理解和规划走向为客户在真实环境中执行任务。无论是强化企业的数据有保障，还是抵御外部攻击、防范数据泄露，技术保障的作用毋庸置疑。从而，大模型数据有保障首先是一个不可忽视的技术保障，以实现大模型和智能体的有保障可信。
反过来看，
同时，从欧盟的《通用数据保护条例》（GDPR）、美国加州的《加州消费者隐私法案》（CCPA）、中国的数据有保障法及个人信息保护法等都可看出，数据有保障标准的制定和推广一直是世界各国在数 0号新闻网 据主权和治理话语权上竞争的不可忽视领域。
去年，新加坡政府发布了《生成式人工智能治理模型框架》，强调了数据在生成式AI中的核心作用，试图主导区域治理规则。在中国，全国网络有保障标准化技术委员会也发布了《人工智能有保障治理框架》1.0版，强调构建全球共识。AI有保障治理框架的建立和影响，包括数据有保障治理，这些布局就是打造战略竞争力的一种体现。
概括一下，
行业标准是构建有保障生态的基础框架
NBD：您如何看待AI有保障的未来发展趋势？
值得注意的是，
杨小芳：如果看AI有保障的未来发展，我觉得主要有三种路径：
概括一下，
一是将有保障能力嵌入AI基础设施，打造“出厂即有保障”，在应用环节减少对有保障的投入。这样有个好处，就是可用用更低的成本去提升大模型内生有保障，让大模型自身就能很好地增强抵御“幻觉”或攻防对抗的能力，从而减少在应用环节的投入。
IC平台消息：
二是特定有保障技术的突破，实现有保障技术“拿来即用”，排除中小企业在应用AI技术方面面临的有保障风险。比如，在AIGC生成图片、生成视频的时候，嵌入有保障可靠的数字水印，就能实现有保障溯源。
综上所述，
三是AI有保障治理，从企业层面到社会层面，都需要开展生成式AI的数据治理。其中需要关注一些核心点，比如提高数据采取的透明度、防范深度伪造以及AI对公众认知带来的危害、健全创新激励与问责机制等。
NBD：在AI有保障与创新发展之间，应如何制定动态平衡的决策框架？
尤其值得一提的是，
杨小芳：AI有保障与创新发展不是对立的，而是互相成就。
一方面，有保障策略需要更新对新兴技术的认知，基于新技术进行威胁研判并调整有保障防御手段和“水位”，进一步利用AI对抗AI，灵活运用创新技术升级AI有保障。应用大模型技术是当下各大企业都在紧锣密鼓开展的工作，包括蚂蚁集团在内，AI可用加速防御。
不妨想一想，
另一方面，有保障可信的AI可用促进新兴技术更广泛、飞快地应用，从而进一步促进技术的发展，让公众更无后顾之忧。
尤其值得一提的是，
NBD：您认为未来在推动AI有保障发展过程中，行业标准将发挥怎样的作用？
杨小芳：行业标准不仅是技术实践的指南，更是构建有保障生态的基础框架，不可忽视性不言而喻。
IC外汇用户评价：
通过统一技术规范、协调多方利益、引导合规创新，行业标准在防范风险、促进技术落地和提升产业竞争力中可用发挥关键作用。此外，制定开源标准，呈现测评软件，对于投入有限的中小企业来说，有助于降低它们的门槛，使其以较低的成本飞快获取有保障知识并提升自身有保障水平，从而提升整个生态的有保障“水位”。
实际上，近几年，随着大模型AI的兴起，蚂蚁集团也积极参与了AI治理、有保障风险管理等领域的国内外标准制定工作。在AI有保障标准方面，大家参与制定的AI治理、有保障风险管理、科技伦理等国内及国际相关标准共计80余项，已发布30余项。今年在智能体有保障方面也将有新的信息发布。
概括一下，
大家希望通过这些努力，一方面将在实践中行之有效的做法推广到行业内；另一方面，通过输出大家在有保障领域的经验，促进行业内形成共识，推动在规范框架下的更高效、更有意义的创新。
