AI能被“污染”？大模型浪潮下 网络安全面临哪些新挑战？

AI就像硬币的两面，“既能帮助好人也能助纣为虐”，这背后是AI大模型可能被“投毒”。

当前，AI大语言模型浪潮席卷全球，国内企业院校纷纷推出自研大语言模型，各行各业也在探索AI赋能之道。但AI既可以为效率“提速”，也有可能成为黑灰产牟利的工具，在这一背景下，大模型本身以及大模型相关产业将会出现哪些安全风险？国内的网络安全行业要如何应对？

新京报贝壳财经记者近日分别参加C3安全大会与2023全球数字经济大会人工智能高峰论坛并采访相关专家。有专家认为，人工智能的安全问题并非如今才有，但在大模型浪潮下，需要防止AI大模型被“污染”，同时大模型时代数据安全将比以往更加重要，大模型是否会导致数据泄露，如何保护企业核心技术资产，都是大模型时代需要关注的重点。

要防止AI模型被“污染”

亚信安全首席安全官徐业礼在接受贝壳财经记者采访时表示，大语言模型技术目前谈得非常广泛，其的确是一个革命性的改变，AI行业也已经达到2.0时代。在这样的情况下，谈AI安全的也越来越多，AI跟安全的关系包括：第一，AI系统越来越大，本身的安全就是一个关键，这涉及AI“投毒”，模型被篡改，包括AI系统本身有边界防护端点防护的能力。第二，AI做坏事怎么办？AI可能生成一些误导信息怎么办？另外，大量使用AI，特别是境外的AI可能导致数据的泄露，这都是非常大的风险和问题。

“人工智能就如同双面人，既帮助好人，也帮助坏人。善用AI可以创造很好的功能，但如果不能做好安全管理，AI可以带来危险，所以人工智能大模型很重要的环节是安全的考量。”英普华亚太及日本区技术副总裁周达伟说。

周达伟表示，即便有庞大的算力，但如果没有稳定的使用环境，内容不能确保不受恶意攻击。“这里有两个重点，第一个重点是我们需要面面俱到，做全面的保障，因为不只是我们存储，要确保资料和安全，确保里面不受到其他人攻击，还要保障传输环节，保障我们的访问环节。第二，我们要做防患于未然的准备，在人工智能时代，不能用猫抓老鼠的方式做，要先行部署，全面化保障人工智能大模型带来的资产，我们要多思考相关内容。”

清华大学计算机系长聘教授、清华大学人工智能研究院副院长朱军在人工智能高峰论坛中发言称，大模型之前的人工智能时代，我们已经发现人工智能本身具有所谓的安全问题。而AIGC特别是ChatGPT出现以后，安全问题越来越严重，“我们比较关注的大模型本身可能会对Prompt Injection有攻击风险，加入少量编辑就会误导，也存在数据泄露的风险，ChatGPT会把很多隐私数据上传。现在也有用AIGC技术提升诈骗手段，通过虚假内容实现黑客攻击，包括代码生成实现网络攻击。生成的虚假内容本身是不良的，存在误导性和欺骗性。除此之外，算法本身是否存在政治偏见和数字鸿沟，数据采集的过程中会不会侵犯知识产权，这些在大模型时代都变得越来越重要和受关注。”

朱军认为，需要提升安全评测能力，大模型可能会有角色扮演或者误导欺骗，应该如何识别和防御，数据投毒等方式和手段也要进行评测，“大家可能会发现，如果故意混淆一些提示，Prompt会让大模型误把原来不符合规定的东西生成出来，这是比较常见的现象，评测中需要重点关注。AIGC需要加入标识，评价的过程中也需要针对标识的不可感知性、容量、鲁棒性、安全性进行全面评估。”

在周达伟看来，过去很注重的是远程安全和应用安全，但在大模型的产业互联网时代，会更注重数据安全，以及API安全，“我们从流量去看，现在最新的数据有83%的网页应用和API有直接关系，其中27%的相关攻击是针对API做出的，所以我们应该更加注重了解以及保护数据安全，包括API安全的部分。”

用人工智能防御人工智能风险

贝壳财经记者注意到，我国对人工智能治理非常重视，已经发布了一系列重要规定和法律，包括《AIGC服务管理办法》《互联网信息服务深度合成管理规定》等。

朱军表示，数据在标注、训练、使用、部署的过程中都会涉及安全问题。如何保护隐私，让敏感数据信息不泄露，甚至不出现关键数据的安全问题；服务本身是否透明，算法有无偏见，是否公平公正等都需要关注。

在他看来，解决人工智能的安全问题，需要从人工智能基础尝试，因为人工智能大部分都体现在算法上，算法原理本身是否能够有可以克服的问题，这需要从根本上解决。针对深度学习、深度神经网络，学术界一直在探索第三代人工智能新的范式，希望能够将数据和知识有机融合在一起，发展更加安全可靠的人工智能框架。

贝壳财经记者发现，用技术手段甚至人工智能来防御人工智能带来的风险，已经成为了从业者探索的领域之一。

“我们可以发展人工智能，更重要的是我们要防止不良意图的人利用人工智能来破坏人工智能，来攻击人工智能，我们要学习如何利用人工智能来强化人工智能的安全保障。”周达伟说。

亚信安全终端安全产品总经理汪晨对贝壳财经记者表示，实际上早在几年前就已经实现了人工智能的机器学习技术，“人工智能有监督学习，无监督学习，包括其他一些方式，但是最能落地的是有监督学习，原理就是通过大量的样本训练，来让我们的模型或者说我们的机器学习能够甄别出防病毒软件的DNA。”

汪晨认为，一方面，AI技术可以帮助甄别出病毒软件的DNA，即使他们进行了伪装，也能识别出其是黑是白；但另一方面，因为AI需要通过大量数据训练才能获得能力，如果用黑客污染过的数据进行训练，训练出的模型就会存在漏洞。如何确保训练数据的准确率和精准度，是目前面临的新挑战。

“需要构建有效的治理工具平台，前期我们做了探索，包括人工智能本身的安全平台，安全评测、防御和整个态势的评估，包括对抗样本这些场景，可以通过平台化的方式对人工智能的算法和服务进行评测。特殊专业的应用场景，要专门针对对抗样本检测、伪造视频检测等进行防护，这是人脸识别的防火墙，现在金融行业也在部署和应用。”朱军表示，“我们也有打造人工智能安全靶场，大家可以看到攻击和防御其实是一个博弈的过程，就像在网络安全时代，人工智能时代也需要可行的安全靶场。平台可以将人工智能算法早期的风险发现和相应的防御进行有效诊断、提升和持续演化。”

360公司创始人、董事长兼CEO周鸿祎参加人工智能高峰论坛时表示，每个企业内部自己的“knowhow”是核心资产，肯定不能拿来训练公有大模型，“公有大模型使用会有数据泄露的问题，因为很多想法和计划都要告诉它，才能写出一篇好文章。”

而汪晨则对记者表示，终端安全极为重要，“当前网络环境确实发生了新的变化。第一，整个网络加密流量增多了，所以在网络侧很难看清危险，85%的黑客攻击是潜伏在网络加密流量里面，只有在终端增强之后才能看清和搞定。第二，随着企业数字化的转型，都是通过终端访问数字化，如果终端产品做不好会影响你的数字化转型的进程。”