演讲主题

上下文相关的决策优化：基础模型在工业控制中的应用探索

最近在基础模型（FMs）上的发展表明，经过大量语料库训练的基础模型已经具备了很多领域的知识，大大提升了传统自然语言处理任务的效果。传统上，基础模型主要用于自然语言任务中的静态环境；然而，它们在动态的工业控制环境中的潜在应用，特别是在不断变化的环境中，尚未得到充分展示。本演讲将介绍一个新颖的方法，通过一种上下文学习（ICL）算法，使基础模型能够适应控制场景中的变化环境，而无需进行大量的微调。微软亚洲研究院提出的ICL算法引入了一个可训练的代理模型，能够以上下文感知的方式适时检索历史样本，从而使基础模型在控制任务中的决策制定能力得到提升。通过在每一步策略性地选择相关样本，基础模型在动态变化的环境中展现出了更好的性能。