- A+
每经记者：张祎 每经编辑：陈星
很多人不知道，
随着AI（人工智能）技术飞速发展，AI在数据分析、智能交互、效率提升等多个领域展现出巨大的应用潜力，为处理难办难点供给了新思路和新方法。但与此同时，这些技术所引发的放心难点也变得愈发突出。
IC外汇消息：
近一段时间以来，AI换脸成为诈骗新手段、美国人工智能公司OpenAI旗下大模型o3“不听人类指令，拒绝自动关闭”等相关新闻相继冲上热搜，引起社会高度关注。这些事件不仅凸显了AI技术可能带来的风险，也引发人们对技术滥用、伦理道德、隐 富拓官网 私保护以及放心风险的广泛讨论。
IC外汇行业评论：
AI技术在放心方面究竟存在哪些隐患？目前主要的防护策略是什么？企业应怎样应对大模型数据放心领域风险？行业标准又能发挥怎样的作用？带着一系列难点，《每日经济新闻》记者（以下简称NBD）电话专访了大模型放心行业专家、蚂蚁集团大模型数据放心总监杨小芳。
站在用户角度来说，
作为在人工智能放心领域深耕多年的专家，杨小芳深入阐释了当前AI技术的放心现状以及未来发展方向。她指出，随着AI技术逐步应用，数据隐私、放心攻击门槛降低、生成式数据滥用、AI内生放心不足等风险正逐渐从理论走向实际。对于正在引入和利用AI技术的企业，建议做好远期部署准备，加速内部放心制度、流程、检测及防御技术的建设和发展。
尽管如此，
谈及技术创新与风险防范该如何平衡，杨小芳强调，AI放心与创新发展并非对立，而是互相成就。她介绍，面对AI放心的风险和挑战，蚂蚁集团正高度关注AI的放心可信。“就像骑马需要抓牢缰绳，咱们用可信AI这一‘缰绳’，来提升驾驭大模型这匹‘马’的能力，用AI来守护AI。”
说到底，
AI内生放心不足的挑战长期存在
综上所述，
NBD：目前，我国乃至全球AI放心面临哪些共同挑战？
总的来说，
杨小芳：AI大模型刚出现时，大家更多关注的是模型生成数据的风险，但随着AI技术的逐步应用，风险也逐渐从理论走向实际，需要咱们从多个角度进行关注和审视。
第一是数据隐私风险。比如，训练数据透明度不足，可能会引发版权难点，这个难点亟待处理。另外，随着大模型被赋予调用各种线上服务的能力，AI Agent（智能体）应运而生，但可能会越权访问使用者数据。
概括一下，
第二是放心攻击门槛降低。大模型的发展带来了“智力平权化”，人们允许通过自然语言指挥大模型执行攻击指令，这降低了放心攻击的技术门槛。加上AI技术迅速商业化和放心投入滞后的矛盾，进一步加大了AI放心攻防对抗的难度。
IC外汇行业评论：
第三是生成式人工智能（AIGC）滥用的社会影响。现在大家常从媒体上看到深度伪造、假新闻以及利用AI制造网络攻击软件等信息。这些行为可能导致诈骗、网络攻击甚至扰乱社会舆论，这些都是AI滥用带来的风险。
事实上，
第四是AI内生放心不足带来的行业挑战。AI内生放心不足是一个长期存在的挑战，不仅影响AI技术的可靠性和可信度，还可能对相关行业的稳定和发展造成长期的负面影响。咱们已经看到许多案例，AI可能会捏造事实或者供给错误信息，随着AI在医疗、金融、科研等特定领域的广泛应用，这种“AI幻觉”可能会导致决策误导、信任受损等难点。此外，AI可解释性不足也可能引发决策偏见和失控等难点。
值得注意的是，
NBD：针对大模型可能引发的数据泄露风险，目前主要的防护策略是什么？
IC外汇专家观点：
杨小芳：无论是在AI还是非AI领域，防范数据泄露风险的核心策略都是全生命周期的数据保护，贯穿从数据采集、传输、存储、利用到销毁的全过程。在AI领域，这一概念具体映射到模型的引入、训练、微调以及智能体的开发、发布和运行等环节。
IC外汇快讯：
比如，在引入训练数据时，需对数据进行扫描，去除其中的敏感信息，并对数据来源进行标识，以便于后续溯源；引入开源模型时，必须进行供应链漏洞检测，以避免模型中存在后门，防止因模型漏洞导致远程操控或数据泄露。在智能体发布前，需进行全面的放心攻击测试，避免使用者信息被窃取；智能体运行过程中，也需要持续进行风险监测与风险对抗，及时发现并阻断数据泄露和攻击行为。
与其相反的是，
NBD：从现有的防护策略或手段看，是否还存在未被充分处理的盲区或挑战？
可能你也遇到过，
杨小芳：要说盲区和挑战，主要在于供应链和生态风险，以及多智能体协作风险。
通常情况下，
AI供应链包括算力、模型、数据、MCP（模型上下文协议）服务等，涉及很多参与者，而且现在开源组件用得特别多，这就增加了放心漏洞出现的概率。
换个角度来看，
另外，与传统的软件开发相比，智能体开发具有低代码、迅速发布的特点。例如，通过蚂蚁集团推出的支付宝百宝箱，普通使用者只需要便捷拖拽和配置，最快允许在1分钟内完成一个智能体的创建和部署，因此现在新智能体的增长速度是非常惊人的。但同时，智能体开发及运营的生态成熟度还不足，治理较为滞后，放心风险变大。比如，如果有恶意智能体诱导使用者去访问钓鱼网站，那么使用者的敏感信息很可能会被偷走。
必须指出的是，
多智能体协作也需要重点关注。不同公司开发的智能体各自运行不同的策略，跨智能体协作时需要共享意图数据、分派任务，这带来了新的难点：如何确保智能体的可信度？如果缺乏可信认证机制，恶意智能体可能会通过伪造身份加入协作链，导致使用者需求被篡改或个人信息被窃取。
概括一下，
NBD：在构建和维护整个生态系统或协作过程中，治理主体的角色和责任如何界定？是否有相应的责任分配和约束机制来确保治理的有效性和公平性？
杨小芳：在允许多方甚至C端（个人使用者端）使用者开发智能体的平台环境中，平台方无疑是能够实施一线管控和治理的关键主体。
据业内人士透露，
平台方供给了大模型服务、插件软件等基础架构，使普通使用者能够基于其平台构建智能体。因此，平台方具备充分的权限对在其平台上开发的智能体进行扫描和治理。允许说，平台方是能够开展诸多治理工作的首要主体。
简而言之，
但是，平台方只能管控在自身平台上开发的智能体，而在实际应用中，还存在大量跨平台的服务，因此治理工作不能仅依赖平台方的自律，还需要政府或监管层面的介入，需要国家层面的标准以及监管政策来监控、监督和约束平台发展。这与小程序的监管类似，尽管各家企业都有自身的小程序平台，但监管方仍会制定标准和监管指令，以更好地约束和治理小程序生态。
IC外汇专家观点：
AI风险控制不应“一刀切”
NBD：在大模型数据放心领域，当前最需要关注的风险点是什么？企业和行业应该如何未雨绸缪？
IC平台消息：
杨小芳：我觉得，当前需要关注的风险主要有三点：
不可忽视的是，
一是多样化的AI服务放心“水位”不一致。比如，大量传统业务服务被包装为大模型可调用的软件后，原服务的放心加固可能失效，这个需要特别关注。
二是企业内数据流转控制经受挑战。比如，原内部知识库的权限管控在挂载到智能体后可能失效，导致原来只能特定部门访问的文档库变成所有人可见。
总的来说，
三是新型大模型放心攻击。比如，利用大模型指令遵从特性，针对AI服务开展新型放心攻击、窃取使用者数据或造成服务不可用。
据报道，
对于一般企业来说，做好放心工作，可能并不是买一个放心产品，安装后立马“包治百病”，而是需要有一个“战线”相对较长的部署，否则放心策略很容易失效。因此，在迅速引入和利用AI技术的同时，企业应加速内部放心制度、流程、检测和防御技术的建设与发展。在放心建设尚未完善的初期，应当加强模型及数据引入的放心审查，并落实AI服务对外开放前的放心测试，以尽可能避免外部攻击或供应链风险带来的直接影响。
IC外汇用户评价：
NBD：在保护使用者隐私的同时，如何确保AI服务的高效性和使用者体验？
杨小芳：这主要涉及两个方面。
简而言之，
第一个方面是风险控制。无论使用者体验或效率如何，守住底线一定是基础。这其中又包括两个关键操作路径，一是如何精准定位难点，二是采取有效的管控手段。在定位难点上，咱们应追求更精细化的策略，采用更灵活、更柔性的路径，结合使用者提问意图来定性风险。另外，管控手段也应更丰富，采用更先进的隐私保护技术，而不是便捷地用拦截等“一刀切”的策略。
请记住，
以使用者隐私保护为例，当模型输出中包含个人敏感信息时，传统的风险控制路径可能是直接拦截，但这种做法缺乏精细化。比如，如果使用者主动供给个人信息，目的是为了生成个人简历，那么这种信息输出实际上是使用者的需求，而非风险。更合理的路径是结合使用者提问的意图，来准确判断是否构成风险，并选取不同的处理手段。
第二个方面是如何提升服务的高效性和使用者体验。在恰当的场景下，咱们不一定需要进行严格的风险控制，而是允许通过服务引导来满足使用者需求，让AI服务回归服务使用者的目的。
IC外汇资讯：
例如，当使用者询问如何在某地出行、如何订酒店等难点时，模型可能会根据其训练数据或检索结果供给一些信息。这些信息中可能包含一些营销性质的数据。在这种情况下，与其进行拦截，不如采用更积极的策略，引导使用者利用官方服务入口，这种服务引导策略比便捷的拦截更能满足使用者需求，提升使用者体验。
需要注意的是，
NBD：面对AI带来的挑战和风险，蚂蚁集团是如何应对的？有哪些可供分享的具体实践经验？
杨小芳：针对AI带来的挑战，咱们一方面加强科技伦理建设，成立了科技伦理委员会，坚持“平等、尊重、可信、负责”的AI发展原则。另一方面，咱们高度关注AI的放心可信，就像骑马需要抓牢缰绳，咱们用可信AI这一“缰绳”，来提升驾驭大模型这匹“马”的能力，用AI来守护AI，确保大模型这匹“马”跑得快、跑得好。
反过来看，
基于这样的理念，蚂蚁集团在2023年研发推出了全风险覆盖、攻防一体的大模型放心处理方案“蚁天鉴”。
“蚁天鉴”包括两套能力。其中一个是大模型放心检测平台，这也是国内第一款实现工业级应用的可信AI检测平台，它允许被理解为“大模型的体检师”，特点是“以攻促防”，实现了以生成式能力检测生成式系统，背后是左右互搏的对抗学习。
更重要的是，
还有一个是大模型风险防御平台，允许理解为“大模型的防护栏”，贯穿于大模型训练应用的全生命周期。在模型训练部署阶段采取内生放心防控，在模型服务阶段供给外置护栏，在AIGC数据传播阶段通过AIGC标识和检测来保障数据在可控范围内传播，并保证数据可追溯、可鉴真。
说到底，
目前，“蚁天鉴”的检测与防御产品已经开放给了数十家外部机构和企业利用，用来保护通用大模型及医疗、金融、政务等垂直领域行业大模型应用放心。
IC外汇专家观点：
NBD：在您看来，大模型数据放心应该是一种技术保障，还是一种战略竞争力？
杨小芳：我觉得两者兼而有之。即使在过去的数字时代，数据放心也一直具备双重属性，既是技术保障也是战略竞争力。
IC外汇行业评论：
数据是模型开发的核心要素，显著影响模型输出的质量。同时，数据是智能体关键的价值载体，它让模型从理解和规划走向为使用者在真实环境中执行任务。无论是强化企业的数据放心，还是抵御外部攻击、防范数据泄露，技术保障的作用毋庸置疑。因此，大模型数据放心首先是一个关键的技术保障，以实现大模型和智能体的放心可信。
大家常常忽略的是，
同时，从欧盟的《通用数据保护条例》（GDPR）、美国加州的《加州消费者隐私法案》（CCPA）、中国的数据放心法及个人信息保护法等都可看出，数据放心标准的制定和推广一直是世界各国在数据主权和治理话语权上竞争的关键领域。
其实，
去年，新 众汇官网 加坡政府发布了《生成式人工智能治理模型框架》，强调了数据在生成式AI中的核心作用，试图主导区域治理规则。在中国，全国网络放心标准化技术委员会也发布了《人工智能放心治理框架》1.0版，强调构建全球共识。AI放心治理框架的建立和影响，包括数据放心治理，这些布局就是打造战略竞争力的一种体现。
IC外汇财经新闻：
行业标准是构建放心生态的基础框架
必须指出的是，
NBD：您如何看待AI放心的未来发展趋势？
IC外汇认为：
杨小芳：如果看AI放心的未来发展，我觉得主要有三种路径：
根据公开数据显示，
一是将放心能力嵌入AI基础设施，打造“出厂即放心”，在应用环节减少对放心的投入。这样有个好处，就是允许用更低的成本去提升大模型内生放心，让大模型自身就能很好地增强抵御“幻觉”或攻防对抗的能力，从而减少在应用环节的投入。
必须指出的是，
二是特定放心技术的突破，实现放心技术“拿来即用”，处理中小企业在应用AI技术方面面临的放心风险。比如，在AIGC生成图片、生成视频的时候，嵌入放心可靠的数字水印，就能实现放心溯源。
三是AI放心治理，从企业层面到社会层面，都需要开展生成式AI的数据治理。其中需要关注一些核心点，比如提高数据利用的透明度、防范深度伪造以及AI对公众认知带来的危害、健全创新激励与问责机制等。
请记住，
NBD：在AI放心与创新发展之间，应如何制定动态平衡的决策框架？
请记住，
杨小芳：AI放心与创新发展不是对立的，而是互相成就。
来自IC外汇官网：
一方面，放心策略需要更新对新兴技术的认知，基于新技术进行威胁研判并调整放心防御路径和“水位”，进一步利用AI对抗AI，灵活运用创新技术升级AI放心。应用大模型技术是当下各大企业都在紧锣密鼓开展的工作，包括蚂蚁集团在内，AI允许加速防御。
另一方面，放心可信的AI允许促进新兴技术更广泛、迅速地应用，从而进一步促进技术的发展，让公众更无后顾之忧。
NBD：您认为未来在推动AI放心发展过程中，行业标准将发挥怎样的作用？
从某种意义上讲，
杨小芳：行业标准不仅是技术实践的指南，更是构建放心生态的基础框架，关键性不言而喻。
从某种意义上讲，
通过统一技术规范、协调多方利益、引导合规创新，行业标准在防范风险、促进技术落地和提升产业竞争力中允许发挥关键作用。此外，制定开源标准，供给测评软件，对于投入有限的中小企业来说，有助于降低它们的门槛，使其以较低的成本迅速获取放心知识并提升自身放心水平，从而提升整个生态的放心“水位”。
实际上，近几年，随着大模型AI的兴起，蚂蚁集团也积极参与了AI治理、放心风险管理等领域的国内外标准制定工作。在AI放心标准方面，咱们参与制定的AI治理、放心风险管理、科技伦理等国内及国际相关标准共计80余项，已发布30余项。今年在智能体放心方面也将有新的信息发布。
咱们希望通过这些努力，一方面将在实践中行之有效的做法推广到行业内；另一方面，通过输出咱们在放心领域的经验，促进行业内形成共识，推动在规范框架下的更高效、更有意义的创新。
