2024年5月6日上午，第134期北大医学人文讲堂在医学部逸夫楼620会议室举行。本次讲堂有幸邀请到中国科学院自然科学史研究所二级研究员、博士生导师刘益东老师，作题为“是第四次工业革命还是巨灾将临？——以未来学思维洞察AI大爆发及其后果”的讲座。本次讲座由北京大学医学人文学院唐文佩教授主持，张大庆教授与谈，数十位来自校内外的老师和同学参加了讲座。

讲座伊始，刘益东老师首先梳理了OpenAI公司发布AI产品的时间线，结合多个知名大学、机构与AI领域研究者的报告，指出当今AI大爆发恐怕并非人类之福音，AI如果不被严格管制、不叫停研发AGI,AI不转型发展,则在不远的未来至少有10%的可能毁灭人类：可能是毁灭人类的肉身；可能是人类受到奴役；可能是硅基生命替代碳基生命而成为地球的主人。无论怎样，都是我们绝对不能接受的！

接着，刘益东老师介绍了人工智能的三道禁区门槛：（1）图灵测试；（2）自主意识；（3）自我训练、自我进化、自我迭代、自我繁殖。他指出目前人工智能已经通过近2个门槛，然而，全球绝大多数人工智能领域的组织及专家，却在继续一路狂奔，一些国家甚至开启了人工智能军备竞赛。因此，他认为只有停止人工智能的升级换代，叫停研发AGI，人工智能发展模式要从目前的以提升智能水平为目标转型为以提升辅助人类水平为目标，人们才能享受AI带来的便利，否则目前AI带来的好处只是硅基生命抛给人类的诱饵！

在叫停AI无序发展问题上，刘益东老师区分了“能不能”与“该不该”。如果大家认识到人工智能过度发展必将造成大规模失业、大规模造假、大规模杀伤等巨大危害，都认为应该停止、应该转型发展，结果就能做到。刘益东老师指出目前数字反噬、机器换人、深度伪造、AI军备竞赛等人工智能风险愈演愈烈，而人类科技风险防控措施和机制却存在着十大严重漏洞：（1）认知失灵：拜技主义、科技重大风险研究尚且薄弱，科学传播陷阱、缺乏限时原则等；（2）科技伦理失灵、科技法律与安全监管存在严重漏洞；（3）提高科技专家及相关人员的责任水平、自律水平和道德水平存在严重漏洞；（4）确保相互摧毁不能确保自身安全，平衡战略存在严重漏洞；（5）扬长难以避短：扬长避短机制存在严重漏洞；（6）广义科林里奇困境：防漏补漏机制失灵；（7）知识生产与增长的选择机制存在严重漏洞、致毁知识不可逆增长；（8）西方科技发展模式存在着于生俱来且不断恶化的严重缺陷与转型困难；（9）囚车剑魔四大困境：知错纠错机制存在严重漏洞；（10）甄别风险与安全隐惠的能力存在严重漏洞。

最后，刘益东老师指出，在具有认知失灵、资本暴政、拜技主义、战争经济、趁火打劫五大特征的高风险社会中，我们人类的安全面临前所未有的挑战，AGI不是新工具而是新物种，与历次新技术、新工具引发工业革命没有可比性，认为AGI引发第四次工业革命是错误的！ 应该以未来学思维予以分析：AGI超过人类，必然对人类构成威胁，站在未来看今天，就必须叫停研发AGI。AI大爆发加剧科技危机与人类安全危机，将引发新科技革命、新产业革命、新分配革命与社会巨大变革，发动新分配革命最为紧迫，其核心是对为社会持续发展和人类安全做出贡献者给予充分回报和激励，改变目前回报过少、激励极不对称的现状。因此，只有颠覆激励不对称，发动新分配革命，将足够多的人才与资源配置到科技风险治理与人类安全领域，让此项工作成为高激励事业，形成人才济济的公共利益集团，才能遏制“致毁知识”增长，化解AI危机和人类安全危机。刘益东老师认为，如果说一次分配是基础，二次分配突出公平，三次分配是慈善公益，那么四次分配是为了安全，为了社会可持续发展与人类安全。世界是一个地球村，人类安全，个人才安全。安全之于人类，犹如健康之于个人，头等重要。

刘益东老师在科技风险、特别是科技重大风险治理领域深耕二十多年，为本次讲座的校内外听众带来了一场内容极其丰富、理论意义重大的精彩报告。与谈人张大庆老师对报告给予好评，并就“价值对齐”、“AI危机时刻”等问题进行对谈，主持人唐文佩老师等与会师生参与热烈讨论，张大庆老师用“科技史上的疣猪效应”进行了独特分析，把报告会推向高潮。三个小时的报告与深入交流、探讨，大家兴致勃勃、收获满满。

（供稿：刘启满）