Lukasz Kaiser
OpenAI 资深研究科学家
Lukasz Kaiser是大模型理论的奠基者，著名的“Transformer八子”之一， 2017年共同发表大模型领域开创新论文《Attention Is All You Need》。 他是OpenAI一系列前沿模型包括 GPT-5、GPT-4、O1、O3、ChatGPT的核心共同发明人， 从2021年OpenAI的现任资深研究科学家。他2013年加入Google，致力于深度学习和自然语言处理的核心基础架构，是TensorFlow和Tensor2Tensor的共同创始人，他为机器翻译、解析和其他算法与生成性任务共同设计了最先进的神经模型。在加入谷歌之前，他是法国巴黎狄德罗大学的终身研究员，从事逻辑和自动机理论的研究。他于2008年在德国亚琛工业大学获得博士学位。
演讲主题
* “青春期”的深度学习：现状与未来展望
在本场演讲中，我将首先回顾过去十年深度学习所取得的显著成就，包括哪些具体的任务得到了提升，以及硬件、软件、和数据带来的进步。我们还会审视那些尚未被解决的问题，以及很多团队为解决它们所做的各种尝试。 最后我会对深度学习在未来几年可能的变化做一个展望。
* 设计高性能Transformer 模型
Transformer 模型已被应用于许多机器学习领域，并且在很多NLP任务上产生了很好的效果。但在BERT、GPT-3和许多其他变体上，它们的效率很低，很难使用。我将介绍一种新的高效Transformer。我将带你了解主要设计的方法，并说明它是如何解决之前的Transformer在长序列上的内存使用量大、性能低的问题。最后我将介绍一些它所开启的新的应用。
