导读

人工智能的发展和治理是复杂性很高、影响面很广的社会议题。安远AI从影响中国人工智能发展的政策法规、技术研究、潜在风险和治理实践等各方面，盘点了我们眼中的2022年度中国人工智能十大热点。其中技术研究方面，我们兼顾了AI能力发展与安全研究，特别关注大模型安全与人机对齐(AI alignment)领域。希望能帮助大家在不确定的时代里寻找一些确定性。

具体热点和点评如下：

1. 中办国办发布《关于加强科技伦理治理的意见》，对我国科技伦理治理作出顶层设计

描述：

2022年3月，中共中央办公厅、国务院办公厅印发了《关于加强科技伦理治理的意见》（简称《意见》），并发出通知，要求各地区各部门结合实际认真贯彻落实。

点评：

中国重视人工智能治理问题：

国家新一代人工智能治理专业委员会2019年和2021年分别发布了《新一代人工智能治理原则》、《新一代人工智能伦理规范》等指导文件。

《关于加强科技伦理治理的意见》于2021年底经中央深改委审议通过，2022年3月正式发布，对我国科技伦理治理工作作出了顶层设计。

《意见》把生命科学、医学和人工智能作为当前三大重点治理领域。要求强化底线思维和风险意识，把科技伦理要求贯穿于科学研究、技术开发等科技活动全过程。

已在制定高风险科技活动清单 [1]、各领域 [2]、各地区 [3]分别推进。

[1] 科技部透露，已委托国家科技伦理委员会的三个分委员会研究起草相关领域科技伦理高风险活动清单。

[2] 如金融领域，2022年10月中国人民银行正式发布《金融领域科技伦理指引》（JR/T0258-2022）标准；国际治理领域，2021年12月向联合国提交《中国关于规范人工智能军事应用的立场文件》、2022年11月提交《中国关于加强人工智能伦理治理的立场文件》等。

[3] 如2022年8月，江苏省印发《关于加强全省科技伦理治理的实施意见》、10月云南省印发《关于加强科技伦理治理的实施意见》、12月湖南省成立科技伦理治理委员会等。

2. 中美科技竞争大背景下，芯片和算力领域的美方限制和中方应对成为竞争焦点

描述：

2022年7月，美国通过《芯片与科学法案》。同时，积极邀请韩国、日本以及中国台湾组建新的“芯片四方联盟”(Chip 4)。

10月，美国商务部对中国实施先进计算和半导体制造的出口管制新规。

12月，长江存储等22家中国人工智能芯片行业企业被美方列入“贸易黑名单”，将被禁止“从全球范围内获得由美国设备制造的技术”。

点评：

芯片领域，是中美科技竞争的焦点与缩影。旨在振兴美国的芯片制造业以抗衡中国的《芯片与科学法案》，为美国与中国的日益激烈地竞争提供长期的战略支持，加上出口管制等限制，将在一定程度上影响中国AI技术研究和产业发展。

后续发展的不确定性在于，美国盟友对制裁的支持态度和力度，以及中国未来的芯片产业发展情况。除了持续推进先进制程研发外，中国芯片制造商正发力建立成熟制程晶圆厂，预计将带来成熟制程市占率和芯片自给率的提升 [4]。

“东数西算”，也是在芯片受限的大背景下，影响中国AI技术研究和产业发展的一项重大产业政策：将促进数据中心算力资源的共享、流通和利用，并通过数据中心的系统化布局，促进国家“双碳”目标的实现。

[4] SEMI：2024年底大陆将新建成31座晶圆厂，均锁定成熟制程 https://www.163.com/dy/article/HD6UAF6I0511838M.html

3. 算法治理政策法规陆续出台，中国的算法治理实践引领国际

描述：

《互联网信息服务算法推荐管理规定》，2021年11月16日审议通过，已于2022年3月1日起正式施行。

《互联网信息服务深度合成管理规定》，2022年11月3日审议通过，将于2023年1月10日起施行。

点评：

中国较早已明确把数据和算法作为当前重点治理对象，并陆续出台《网络安全法》、《数据安全法》、《个人信息保护法》等法规，2021年《关于加强互联网信息服务算法综合治理的指导意见》，正式提出利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局。

《深度合成管理规定》明确各方在深度合成活动全流程的主体责任，并对技术支持者也提出了规制。在《算法推荐管理规定》已有规定基础上，明确了生成合成标识方法，要求完善技术保障措施。继算法推荐之后，深度合成技术也迎来单独规范，凸显了深度合成技术在我国算法治理中的重要地位。

两项规定是顺应国际算法治理趋势的重要举措，在全球范围内发挥算法治理引领作用。

4. AI大模型技术更迭提速、应用创新加快、产业热度走高

描述：

继2021年的有代表性的悟道2.0、源1.0、ERNIE 3.0等大模型之后，2022年中国的AI大模型持续发展，以GLM-130B和“八卦炉”为其中的典型代表。

GLM-130B：由清华大学联合智谱AI发布，是一个开源开放的中英文双语的双向稠密模型，拥有1300亿参数，模型架构采用通用语言模型（GLM）。

“八卦炉”：由清华大学、阿里达摩院、之江实验室和智源研究院联合发布，基于新一代神威超级计算机，在3700万核上训练了一个百万亿级预训练稀疏大模型。

点评：

GLM-130B：模型完全开源开放。其理想是“世界上任何一个人都可以免费下载千亿模型，并在一台低配的 GPU 服务器上就可以使用它”。这也涉及一场AI文化之争：有的希望大模型更安全可控，如OpenAI对GPT-2的“分阶段发布”和强调GPT-3等模型的API控制等策略；有的则希望大模型更自由开放、加速迭代，如GLM-130B和文本转图像模型Stable Diffusion。双方都有支持者，但当千亿级大模型可被开源下载和分发时，对应如何治理将带来挑战。

“八卦炉”：是第一个针对国产超算，并且训练参数量达到百万亿级的模型。与美国的大模型主要由企业研发不同，“八卦炉”体现了中国大模型的产学研合作、相对于技术和人才由少数企业掌控，产学研合作模式有利于培养大模型相关人才，建立共享的知识库，使更多方受益。

5. 大模型潜在的伦理问题与安全风险引起了国内学界和业界更多的关注和讨论

描述：

例如：

4月，清华大学刘知远，《大模型十问》，其中两问关于可控性（如何实现大模型的可控生成）和安全性（如何改善大模型中的安全伦理问题）。

7月，青源会，《2022年人工智能重要方向进展与未来展望报告》，展望随着预训练大模型的应用，其安全性问题将更加凸显。

9月，信通院和阿里巴巴，《人工智能治理与可持续发展实践白皮书》，其中的“打造安全可控的基础模型”专题认为“开源预训练大模型存在多方面安全风险”。

10月，上海人工智能实验室、复旦大学，滕妍、王国豫、王迎春，《通用模型的伦理与治理：挑战及对策》论文，从通用模型的特性出发、分析了模型在算法、数据和算力3个层面潜在的伦理挑战。

12月，安远AI联合智源举办“2022大模型创新论坛 · 峰会”模型技术安全与治理论坛，分享对大模型安全国际前沿的研究与思考，促进安全可靠的大模型创新。

点评：

各位专家普遍关注的问题包括如何实现可控生成，在理论上让模型变得更可解释，确保模型输出符合社会伦理等。

在此背景下，我们认为大模型安全和治理需要由零散的关注提升到系统性布局。目前，不少中文大模型在发布时研究员已经提到了各种单一的社会风险，如歧视和暴力的言论，以及被恶意使用的危害，但在更全面的研究和应对方案上还有待提升。

可借鉴国际业界和学界已出现的专注或关注大模型安全的科研团队和工作。如业界OpenAI采用了基于人类反馈的强化学习(Reinforcement Learning from Human Feedback, RLHF)技术减少模型不安全行为，DeepMind开发Sparrow时定义了23条规则和伦理底线，Anthropic和Conjecture都是专注大模型安全的创业公司。学界斯坦福 [5]、牛津、剑桥、多伦多大学、伯克利等也都有教授正在开展相关研究。

[5] Percy Liang在斯坦福建立了基础模型研究中心，联合100多位研究员发布基础模型的机遇和风险报告

https://arxiv.org/abs/2108.07258

6. 以多模态技术推动的数字人成为生成式AI的重要应用方向

描述：

数字人是指以数字形式存在于数字空间中，具有拟人或真人的外貌、行为和特点的虚拟人物，也称之为虚拟形象、数字虚拟人、虚拟数字人等。

近年来，陆续出现面向影视文娱领域的内容IP型数字人，面向金融传媒等领域的功能服务型数字人，以及面向虚拟空间的虚拟分身型数字人 [6]。

2022年以来，数字人在众多领域落地应用，在直播、综艺等文娱领域，特别是在北京冬奥会的开幕式表演、气象播报、手语解说中频频现身。

点评：

生成式AI，国外Diffusion Model等模型大热，国内虽然也有智源AltDiffusion、百度ViLG/一格等模型，但发展重心似乎更侧重面向元宇宙概念的数字人。

热点事件和重大赛事中的数字人，推动了公众对数字人的认知普及。产业政策如《北京市促进数字人产业创新发展行动计划(2022-2025年)》等，进一步推动了产业的发展。

数字人本身是一条被技术驱动的赛道，多模态AI技术是驱动数字人发展的最大推动力。在建模、仿真、渲染、动捕等技术让其外在形似人的基础上，AI技术驱动的多模态交互也让其内在更神似人 [6]。

数字人行业总体还处在快速发展阶段，相应的版权保护及伦理问题值得关注。数字人可以提供更“人格化”交互体验的同时，也可能带来潜在的“人机交互危害”，如让人类更容易盲目相信AI [7]，从业者需提前考虑伦理、安全等底线问题。

[6] 数字人产业发展趋势报告(2023) https://mp.weixin.qq.com/s/lPAzS45vfC5vdeyfggDbGw

[7] Humans Find AI-Generated Faces More Trustworthy Than the Real Thing

https://www.scientificamerican.com/article/humans-find-ai-generated-faces-more-trustworthy-than-the-real-thing/

7. AI for Science(AI4S)催生科研新范式，进入基础设施建设期

描述：

8月8日至11日，2022中关村论坛系列活动——首届科学智能峰会召开，旨在深刻剖析AI for Science的发展趋势，探索AI与基础科学的深度融合，大会还发布了《2022 AI4S全球发展观察与展望》报告 [8]。

年初百度研究院、阿里达摩院的“2022十大科技趋势预测”，信通院“2022人工智能十大关键词”等均包含AI for Science。

从典型领域来看，生物制药 [9]、材料研发、前沿物理、工业设计、航空航天等成为主要布局方向。

点评：

《2022 AI4S全球发展观察与展望》认为，AI for Science范式在2020年左右因3方面突破（包括AlphaFold2、DeePMD和多个开源算法和工具相继诞生），正式走入人们视野。

受科研、市场和政策驱动，AI for Science有望成为AI的下一个主战场：科研方面，当下AI取得成功的重要原因是在算力和数据的基础之上，算法对高维问题处理能力的大幅提升，这是应对当下众多学科中“维数灾难”的关键 [8]；市场方面，AI企业营收增速下降，业务布局转向生物制药、材料研发、工业设计等基础科研方向，且算力基础设施可满足科研的模型训练需求，将为AI4S提供算力供给 [10]；政策方面，科技部等六部委印发《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》，推动AI技术成为解决重大科学问题的新范式，各地方政府也相继出台政策举措。

2022 年，AI4S 正处在高速发展的基础设施建设期：科技创新2030，包含“人工智能与科学深度结合”专题计划，支持重大科学问题研究的AI范式、人工智能科学计算共性平台等；国产深度学习框架，百度飞桨、华为Mindspore均开始提供对科学计算的支持；各厂商面向药物合成、材料研发、水利水务等重点场景，也在加快打造平台化工具组件 [10]。

[8] 2022 AI4S全球发展观察与展望 https://mp.weixin.qq.com/s/xeNI8ZQqPw8YXZ4jBIDOkg

[9] 据安远AI不完全统计，至少有11个中国研发的蛋白质预测模型，声称从AlphaFold中汲取了灵感。

[10] IDC Perspective：AI for Science全景研究 https://www.idc.com/getdoc.jsp?containerId=prCHC49926822

8. 《实时双向人机价值对齐》的研究成果登上Science头条

描述：

北京通用人工智能研究院朱松纯教授领导的联合团队发表研究成果，研究论文以《人机实时双向价值对齐》(In situ bidirectional human-robot value alignment)为题，于7月14日发表在了Science Robotics期刊上。

该研究让机器通过与人类的即时交互及相应反馈来推断人类用户的价值目标，并通过“解释”将其决策过程传达给用户，以了解机器作出判断的价值依据。结果表明，该学习模型可在复杂协作任务中提高人机协作效率，进而提升人机信赖关系。

点评：

《人机实时双向价值对齐》是中国对人机对齐问题的重要讨论之一。团队成员认为其“研究成果标志着人工智能系统具备了在交流中学习人类价值函数并实时对齐当前人类价值目标的能力，是为机器立心，实现‘小数据，大任务’范式的重要一步。”

至少从2017年，朱松纯教授就开始与其他研究员合著可解释性相关的论文，并且是《可解释人工智能导论》的12位合著专家之一。

2021年，在一场关于中国哲学与人工智能交叉的演讲中 [11]，朱松纯教授讨论了人工智能对人类价值观影响相关的风险（如导致社会逐渐极化）、人工智能治理的紧迫性以及智能体和人类的价值观达到动态平衡的必要性。

[11] 从人工智能的角度解读《赤壁赋》兼谈“心”与“理”的平衡 https://www.jiqizhixin.com/articles/2022-01-07-7

9. 2022人工智能安全大赛(AISC)举办，系首个全国性人工智能安全赛事

描述：

三大赛题包括深度伪造安全竞赛、自动驾驶安全竞赛、人脸识别安全竞赛。

大赛共吸引来自全国范围内70多所高等高校、科研院所、企业机构的超过400支团队，共计600余名选手的踊跃参与。

经过三个月的激烈角逐，上海交通大学战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别夺得深度伪造安全与自动驾驶安全赛道桂冠，北京理工大学战队“DeepDream”与建信金科战队“TianQuan&LianYi”并列人脸识别赛道第一名。

点评：

大赛旨在推动AI攻防技术创新、实战演练、场景挖掘和人才培养。每个轨道有数百个技术解决方案提交，体现了中国AI攻防领域的活力，以及为践行AI负责任创新而做出的努力。

大赛展示了持续攻防、对抗升级的演练对于开发更强大的系统和识别广泛部署的系统中的漏洞的实用性。未来，预计各个国家和机构将会进行更多的“红蓝对抗”，通过各队竞争打破系统并最终建立更安全和更韧性的系统。

同时，与会专家们表示，从长远看，人工智能的安全问题还需从算法模型的原理上突破，唯有持续加强基础研究，才能破解核心科学问题 [12]。

[12] 国内首个AI安全大赛落幕 https://www.zgc-aisc.com/news/202.html

10. 一些科技企业更加注重AI治理实践，但仍需做好系统性布局和AI全生命周期的落地

描述：

例如：

3月，腾讯发布国内首份可解释AI报告《可解释AI白皮书》[13]，讨论了腾讯优图、腾讯医疗AI的可解释实践，腾讯AI Lab也披露了20余项可信AI研究工作 [14]。

9月，阿里成立科技伦理治理委员会，联合信通院发布《人工智能治理与可持续发展实践白皮书》[15]，讨论了阿里在鲁棒性、公平性、可解释性方面的技术实践，以及针对深度合成、基础模型安全研究、构建算法透明的治理实践等。

9月，商汤发布《“平衡发展”的人工智能治理白皮书》[16]，讨论其践行“负责任且可评估”的人工智能，含机制建设、模型体检平台、算法评测工具等。

百度在之前InterpretDL可解释算法库，PaddleSleeve模型安全工具、千言开源数据集等工作的基础上，2022年又陆续发布集可信分析和增强于一体的可信AI工具集TrustAI [17]，基于区块链致力于促进分布式隐私模型技术的链桨PaddleDTX[18]等。

点评：

在国家《关于加强科技伦理治理的意见》关于“压实创新主体科技伦理管理主体责任”的要求和指引下，科技企业进入伦理治理发展的新时期，部分AI企业已开始更多讨论和实践AI治理。

但目前，各AI企业大多仍处于零散的治理机制和治理技术工具的建设期，缺少对企业文化、治理机制、治理技术工具、嵌入全生命周期等方面的系统性布局。纸面上的伦理治理规则，只有在AI的管理、研发、供应、使用的全生命周期上真正做好技术落地，才有可能实现有效的治理。

[13] 腾讯可解释AI发展报告2022 https://cloud.tencent.com/developer/article/1955180

[14] 腾讯AI Lab披露可信AI研究进展 https://mp.weixin.qq.com/s/Cvb_xNcToFRHbTqNhQg4iw

[15] 阿里人工智能治理与可持续发展实践白皮书 https://s.alibaba.com/cn/aaigWhitePaperDetails

[16] 商汤AI治理白皮书 https://www.sensetime.com/cn/news-detail/51164844?categoryId=72

[17] 可信AI工具集TrustAI https://github.com/PaddlePaddle/TrustAI

[18] 链桨PaddleDTX https://github.com/PaddlePaddle/PaddleDTX