机器之心报道

编辑：小舟

随着生成式 AI 模型掀起新一轮 AI 浪潮，越来越多的行业迎来技术变革。许多行业从业者、基础科学研究者需要快速了解 AI 领域发展现状、掌握必要的基础知识。

如果有一份「机器学习精炼秘笈」，你认为应该涵盖哪些知识？

近日，一份网传 OpenAI 联合创始人兼首席科学家 Ilya Sutskever 整理的一份机器学习研究文章清单火了。网友称「Ilya 认为掌握了这些内容，你就了解了当前（人工智能领域） 90% 的重要内容。」

推荐清单：https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

从研究主题上看，Ilya Sutskever 重点关注 transformer 架构、循环神经网络（RNN）、长短期记忆网络（LSTM）、神经网络的复杂度等。

推荐清单部分截图。

例如，Ilya 推荐谷歌在 2017 年发表的经典论文《Attention Is All You Need》，这是 transformer 架构的问世之作。transformer 架构今天已经成为人工智能领域的主流基础架构，特别是它是生成式 AI 模型的核心架构。

Ilya 不仅推荐原论文，还推荐一篇由康奈尔大学副教授 Alexander Rush 等研究者在 2018 年撰写的博客文章 ——《The Annotated Transformer》。这篇文章以逐行实现的形式呈现了论文的注释版本，它重新排序梳理了原论文的内容，并删除了一些部分，最终展现的是一个完全可用的实现。2022 年 Austin Huang 等研究者又在其基础上编辑整理出一份采用 PyTorch 实现的更新版博客。

在 RNN 方面，Ilya 首先推荐阅读 AI 大牛 Andrej Karpathy2015 年撰写的一篇博客，强调「RNN 惊人的有效性」。

Ilya 还推荐了由纽约大学 Wojciech Zaremba（OpenAI创始团队成员）和 Ilya Sutskever 本人 2015 年发表的论文《Recurrent Neural Network Regularization》。当时，Ilya 还是谷歌大脑的研究科学家。

这篇论文为 RNN 提出了一种简单的正则化技术，阐述了如何正确地将 dropout 应用于 LSTM，大大减少了各种任务的过拟合，包括语言建模、语音识别、图像字幕生成、机器翻译等等。

此外，Ilya 还推荐了 DeepMind、伦敦大学学院 2018 年联合发表的论文《Relational recurrent neural networks》。

在 LSTM 方面，Ilya 推荐了 Anthropic 联合创始人、前 OpenAI 可解释性团队技术负责人 Christopher Olah 2015 年撰写的博客文章《Understanding LSTM Networks》，这篇文章全面细致地讲解了 LSTM 的基本知识，并阐明 RNN 取得的显著成果本质上是依靠 LSTM 实现的。

在「复杂度」方面，Ilya 重点推荐了《Kolmogorov Complexity and Algorithmic Randomness》一书中讲解「算法统计」的部分。柯尔莫哥洛夫复杂度为计算理论提供了一个用于探索问题固有复杂度的框架，可帮助研究人员更好地设计和评估 AI 模型。

在这份推荐清单中，我们还看到了一些著名 AI 学者的经典论文。例如，2012 年 ImageNet 图像识别大赛中图灵奖得主 Geoffrey Hinton 组的论文《ImageNet Classification with Deep Convolutional Neural Networks》，这篇论文提出了 AlexNet，引入了全新的深层结构和 dropout 方法，颠覆了图像识别领域，甚至被认为开启了深度学习革命。Ilya 也是这篇论文的三位作者之一。

还有 2014 年，DeepMind Alex Graves 等人提出的神经图灵机（NTM）。NTM 将神经网络的模糊模式匹配能力与可编程计算机的算法能力相结合，具有 LSTM 网络控制器的 NTM 可以从输入和输出示例中推断出简单的算法，例如复制，排序等。

此外，Ilya 还推荐了神经网络应用于基础科学（化学）的研究论文、扩展定律相关文章等等，并推荐了斯坦福大学计算机科学课程 CS231n：用于视觉识别的卷积神经网络。

感兴趣的读者可以查看原推荐清单，了解更多内容。

参考链接：https://twitter.com/keshavchan/status/1787861946173186062