跳到主要内容
news

韩波教授:AI稳健性与可靠性必须成为核心设计原则

返回

当计算机科学系副教授韩波教授审视人工智能的发展轨迹时,他看到非凡的前景,但同时也发现一个令人担忧的盲点。从聊天机械人到临床诊断,驱动着各行各业的庞大「基础模型」(Foundation models)已展现出惊人的能力。然而,随着它们逐步应用於医疗、金融及自动化平台等领域,一个迫切的问题浮现:我们真的能信任它们吗?

 

韩教授强调:「可信度不应再是事后补救的措施。」在最近於《IEEE Intelligent Systems》发表的文章中,他为可信机器学习(Trustworthy machine learning)提出一个全面的框架,并指出:「可信度必须是不可或缺的初始设计目标。」

 

韩教授进一步探讨了四个核心支柱:学习(Learning)、推理(Reasoning)、规划(Planning)与多模态(Multimodality)。

 

学习的悖论


学习是基础模型获取知识的基本方式。标准做法通常包括使用海量数据集进行预训练,然后再进行微调。然而,韩教授指出一个反直觉的发现:高质量的小型数据集,其表现往往优於低质量的海量数据集。真正的问题在於数据本身带有杂讯与偏见。

 

强化学习带来的挑战更为复杂。它需要繁琐的超参数调整、精心设计的奖励机制,以及无数次的迭代。当中一个极少被讨论的关键要素是「机器反学习(Unlearning)」,即刻意降低模型产生特定回应的机率。韩教授指出:「研究人员观察到截然相反的效果。有人发现这会损害模型的泛化能力;也有人认为机器反学习能引导预测走向更具前景的输出。」若缺乏适当的调整,即使是微小的数据扰动,也可能引发优化崩溃(optimisation collapse)。

 

推理:从模式到逻辑


基础模型的推理能力,已从简单的模式匹配演变为结构化的逻辑推导。相关方法包括基於提示的技术(如思维链)、后训练方法 (post training approaches),以及引入电脑及经验证的知识数据库等外部工具。

 

然而,威胁依然无处不在。对抗性提示(Adversarial prompts)可能迫使模型产生有害的推理模式。此外,模型还必须处理现实世界中随处可见的杂讯与不完整资讯。除了安全性之外,可解释性亦至关重要。韩教授指出:「未来需要的是可审核、人类能理解的逻辑路径,而非黑箱推理。」当人类能够追溯逻辑链在何处出错时,信任才有可能建立。

 

规划:神经符号方案

 

对於安全至关重要的场景,例如自动驾驶汽车、手术机械人,单靠基础模型远远不足。它们不透明的推理过程及缺乏形式化保证(Formal guarantees)的特性,使其显得不够可靠。韩教授倡导发展「神经符号人工智能」(Neurosymbolic AI):将神经网络的适应性与符号的可验证性相结合。


他解释道:「符号表徵负责分解目标并实施约束,神经模型则处理感官输入。两者结合,便能支持形式化保证及人类可读的推理。」像 SayCan 这类系统已展示了这种方法的可行性,利用语言模型将目标转化为计划,同时由符号控制器检查其可行性。


展望未来,直接从基础模型中学习符号提炼(而非人工设计),将能在保持推理可追溯性的同时,实现具泛化能力的规划。

 

多模态的双刃剑


多模态或许是迈向通用人工智能最关键的一步。像 GPT-4V 这类模型能够同时处理图像、音讯及文本。然而,这种丰富性可谓一把双刃剑。

 

韩教授警告:「多模态可能会显著放大偏见。模型可能学会将『程序员』与男性形象联系起来,使语言偏见与视觉刻板印象互相融合,形成根深蒂固的偏见。」幻觉(Hallucination)是另一个风险——模型可能会生成视觉数据中根本不存在的物件描述。对於具身智能(Embodied AI)而言,感知错误更可能导致不良的物理后果,例如工业机械人将人类的手臂误认为某个零件。

 

前路

 

韩教授的核心诉求非常明确:可信度无法在事后修补,必须从底层开始注入。这需要将形式化保证、神经符号机制,以及价值敏感优化(Value-sensitive optimisation)推向机器学习的核心位置。

 

他写道:「建立可信的机器学习需要紧密的跨学科协同效应、稳健的分析方法,以及可扩展的工程手段。」我们的目标是打造强大、有原则、透明且符合人类价值的智能系统。

 

随着基础模型从实验室走向高风险的决策领域,问题不再是我们「能否」建造它们,而是我们「能否」信任它们。韩教授提出的框架,为确保答案为「是」提供了一份清晰的路线图。

 

完整研究论文: https://ieeexplore.ieee.org/abstract/document/11278237
 

Professor Han Bo discusses why robustness and reliability must move from afterthought to design principle

韩波教授

计算机科学系

 

 

 

韩教授研究专页: https://scholars.hkbu.edu.hk/en/persons/BHANML