乐清上班族网

 找回密码
 立即注册
搜索
查看: 1243|回复: 0
打印 上一主题 下一主题

周鸿祎:全面拥抱人工智能 培育发展新质生产力新动能

[复制链接]

933

主题

1828

帖子

4134

积分

小伙伴

Rank: 1

积分
4134
跳转到指定楼层
楼主
苏心何 发表于 2024-3-21 16:25 | 只看该作者 |只看大图 回帖奖励 |正序浏览 |阅读模式 来自: 浙江省温州市 电信

 2023年9月,***总书记首次提出“新质生产力”,为新时代科技创新和高质量发展提供了根本遵循和科学指引。同年12月,中央经济工作会议明确提出,“要以科技创新推动产业创新,特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能,发展新质生产力”。新质生产力就是代表新技术、创造新价值、适应新产业、重塑新动能的新型生产力,人工智能恰恰是新质生产力的重要组成部分。现在,大模型正在驱动新一轮科技革命和产业变革,中国科技企业亟须“All in AI”(全方位人工智能),创新发展大模型技术,保证大模型安全向善可信可控,为现代化产业体系建设注入新动能。

  大模型未来发展的“一个趋势”

  大模型的发展要顺势而为,在人人都能使用大模型的情况下,垂直化是大模型发展的一个重要趋势。具体可以概括为六个方面的垂直化:一是行业深度化,在通用大模型的基础之上做行业数据的训练;二是企业个性化,做大模型要跟某个企业的内部知识紧密融合;三是能力专业化,一个模型解决一个专业领域的问题;四是规模小型化,企业专有模型用百亿模型即可,训练、调试、部署的成本都会大幅降低;五是部署分布化,将来大模型既可部署在云上,也可部署在终端;六是所有权私有化,企业大模型的所有权和控制权完全由企业所有。

  也就是说,大模型要想真正赋能千行百业,就要找准刚需和痛点,重点发展专业化、垂直化、小型化、低成本的行业大模型和企业大模型,实现大模型的深度垂直定制。具体来说,就是以基础大模型为底座,面向企业具体业务场景需求,通过数据筛选、模型训练、精调、挂接内部系统和API(应用程序编程接口)、交付,最终形成一个或多个融合企业内部数据和知识、连接企业内部系统、满足企业特定业务需求的专有模型。

  大模型安全风险的“三个问题”

  安全与发展是一体之两翼、驱动之双轮。作为新型数字化技术,大模型是一把“双刃剑”,在带来生产力提升、掀起新工业革命的同时,也带来前所未有的安全新挑战和新课题。大模型的安全风险可以简单划分为技术安全、内容安全、人类安全三个问题。

  一是技术安全问题。它主要是以大模型技术自身引发的安全问题为主,如网络安全、数据安全、生成内容安全。网络安全主要指“漏洞”问题,数字化时代的典型特征之一便是“一切皆可编程”,由此带来的后果则是“漏洞无处不在”,没有攻不破的网络,人工智能算法、模型、框架等都存在漏洞。另一个突出问题是大模型的算法安全,如特有的提示注入攻击,就是通过设计问题,绕开大模型的安全规则限制。此外,大模型还存在“幻觉”和知识模糊的问题,经常会“一本正经的胡说八道”,并由此衍生出生成内容安全问题。这类“幻觉”问题一旦在企业级场景中出现则更为致命,因为大模型开的“药方”、写的法律文书完全无法让人相信。

  二是内容安全问题。目前,对大模型的控制、滥用、误用和恶意应用日益迫近并已开始带来恶劣影响。近年来,随着AIGC(生成式人工智能)技术的成熟,我们可以明显感知到,人工智能换脸、人工智能换声等新型网络诈骗手段逐渐肆虐,逼真程度让人防不胜防。此外,大模型大幅降低了网络攻击的门槛,编写恶意代码、钓鱼邮件、勒索软件等不再是少数黑客的专利。最近,有外国网民发现,不论告诉ChatGPT怎样一组打乱顺序、不符合语法的单词,它都可以通过这些提示词,快速生成勒索软件、键盘记录器等恶意软件,这是因为人类的大脑可以理解不符合语法的句子,人工智能同样也可以。这些指令可以完美地绕过传统的安全过滤器。

  三是人类安全问题。这类问题主要是大模型的可控性。随着“AI Agent”(人工智能体)等模式的成熟,大模型不仅能思考,还能通过调用企业内部的API、函数,使其长出“手和脚”,发展成操作能力。当大模型的参数足够多,就像人类大脑中的一千万亿个神经元被一百万亿个神经网络连接,最终出现了智慧涌现一样。如果将来某一天大模型诞生了自主意识,很可能给人类生存安全带来不可估量的风险。

  目前,担心人类安全挑战可能为时尚早,但是对技术、内容的安全挑战必须加以重视。安全和数据隐私保护是当前人工智能发展迫切需要解决的问题。

  保障大模型安全的“四个原则”

  当前,人工智能安全已成为全球性的重大前沿问题,经过大量的实践和研究,360提出了大模型的安全四原则,即安全、向善、可信、可控。这四个原则既是构建原生安全大模型的宗旨,也是360自研大模型遵循的基本原则。

  安全原则,核心是解决漏洞问题。一个典型人工智能系统由大量软件组成,是一个复杂的生态链。以大模型系统为例,在构建和部署的过程中,除了本身的代码外,经常会涉及代理框架、向量数据库,以及基础的机器学习框架、训练管理平台、优化加速框架等。一旦某个环节存在漏洞,就会直接影响人工智能应用和服务的安全。因此,保证大模型系统安全,降低网络攻击、数据泄露、个人隐私泄露风险,提升安全应对能力至关重要。360一直关注人工智能安全研究,涉及整个软件生态链的安全,包括安全大脑框架,解决网络攻击、数据窃取、数据泄露等问题,并曾在多个大模型应用服务、代理框架、向量数据库等发现漏洞,涉及Web类、逻辑类、内存类多种漏洞类型。


  “原生安全的大模型”360智脑。

  向善原则,就是要保证大模型不作恶。提升大模型应对提示注入攻击能力,保证生成内容符合社会道德伦理和法律要求,避免大模型被用于生成违规内容、伪造图片、伪造视频、恶意代码、钓鱼邮件等,主要是保证大模型的输出符合内容安全标准。解决方案可以采用“小模型监控大模型”,由风控引擎“把关”用户端的输入和模型端的输出,将所有内容安全风险数据一网打尽。一方面,坚持能力向善,在输入控制上,要保证大模型使用合法数据进行训练,拦截各类提示注入攻击,防范网络层面和内容层面的有害输入,防止安全过滤机制被轻易地绕过;另一方面,坚持内容向善,在输出控制方面,对内容进行合法合规检测和过滤,确保内容健康向善。

  可信原则,针对的是大模型的“幻觉”问题。如何解决大模型“幻觉”问题,目前,业界在这方面还没有取得实质性的技术突破。一个过渡性解决方案是:通过搜索增强和知识增强两种方式,对大模型输出的内容进行校正。搜索引擎在“事实保障”方面的准确性优势能为大模型“纠偏”;企业内部的知识系统、知识图谱等相对成熟的知识架构可被用来对大模型进行知识增强,以弥补大模型在预训练阶段的知识不足以及知识模糊,大幅降低大模型产生“幻觉”的概率。

  可控原则,就是要把大模型“关在笼子里”。由于大模型不是万能的,暂时还无法替代现有系统,所以,在策略上要坚持“副驾驶”模式,确保“人在回路”,大模型调用外部资源的规则由人制定,重要决策由人做出,并对大模型的行为做全过程监控审计,对Agent框架设置安全约束。例如,不能让大模型接管邮件系统、自动收发邮件。同时,还要让大模型与现有的系统和业务场景保持适当的隔离,不能直接把核心的API交给大模型,而是待时机成熟之后,才可让大模型与内部系统对接,发展Agent模式,打造企业内部的智能中枢,自动执行完成复杂的指令,但必须要在安全上加以限制。简而言之,一方面,把人的能力赋予大模型,让大模型变得更强大,高效学习人类的工作流程和技巧;另一方面,要对大模型进行必要约束,规定大模型可以做什么、不可以做什么,并且对全过程进行管理,实现大模型的真正安全可控。

  循道而行,方能致远。360将继续致力于大模型安全研究,以数字安全和人工智能大模型为双主线业务,为大模型产业的平稳健康发展贡献力量,为现代化产业体系建设打造新质生产力工具。

稿件来源:中国网信杂志
 
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|乐清上班族网 ( 浙B2-20100310-1 )

GMT+8, 2024-11-23 10:38

Powered by Discuz! X3.3

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表