2024 年 9 月 12 日，OpenAI 发布了最新的 o1 系列模型，在推理要求高的复杂任务上远超此前的 GPT-4o。本文根据一些已有的现象，猜测一下 OpenAI o1 背后的技术原理。

准备面试过程中的笔记，本系列将记录了一系列经典算法的（伪）代码实现。本文介绍了 Transformer 的构成，在前面两章的基础上搭建完整的 Transformer 模型。

准备面试过程中的笔记，本系列将记录了一系列经典算法的（伪）代码实现。本文介绍了常见的神经网络模块，包含 LayerNorm、BatchNorm 和 Dropout。

准备面试过程中的笔记，本系列将记录了一系列经典算法的（伪）代码实现。本文介绍了常见的集中注意力机制，包括 SDPA、MHA、MQA、GQA 和 MLA（未完待续）。

学习 Docker 时做的笔记，本章主要介绍 Docker 的常用命令，包括：服务认证、管理镜像与容器、管理数据与网络，还介绍了类似的容器管理工具 Buildah。

学习 Docker 时做的笔记，本章主要介绍一些 Docker 的基本概念：镜像、容器和仓库等，还简单介绍了 Docker 的原理。

学习 Vim 时做的笔记，主要内容包括：基础操作（打开与退出、模式介绍、光标移动、快速删除修改、查找替换）、高级操作（多文件操作、文本对象、复制粘贴、代码补全）、配置文件（基础配置、按键映射）。

使用坚果云辅助 Zotero 进行云同步的教程，顺便介绍常用的 Zotero 第三方插件：ZotFile、Zotero Better Notes、Zotero PDF Translate 等。

学习 PyTorch 时做的笔记，介绍了使用 PyTorch 搭建神经网络的完整流程，分别是：数据加载、模型搭建、训练阶段、评估阶段、模型保存与加载。本文将持续更新。

学习 PyTorch 时做的笔记，介绍了基础的语法，包括 Tensor 的属性、构造、基本操作，以及常用的数学函数。最后介绍了 Autograd 自动微分的原理。本文将持续更新。

本文分类索引复旦 NLP-LI 课题组的近期论文，课题组负责人为张奇教授、桂韬研究员。主要领域包括：NLP 高效性、NLP 可靠性、信息抽取、文本生成等。

在 LeetCode 等平台上刷题的笔记，循序渐进，一题多解。本文包含「树」类型题中的：前中后序遍历、层序遍历、树高和树深、树上路径问题、二叉搜索树、N 叉树等。持续更新中。

在 LeetCode 等平台上刷题的笔记，循序渐进，一题多解。本文包含「字符串」类型题中的：打印输出、KMP 算法、Trie 树、字符串哈希等。持续更新中。

在 LeetCode 等平台上刷题的笔记，循序渐进，一题多解。本文包含「栈&队列」类型题中的：栈和队列模拟、括号配对、单调栈等。持续更新中。

在 LeetCode 等平台上刷题的笔记，循序渐进，一题多解。本文包含「搜索&剪枝」类型题中的：搜索回溯、优化剪枝、A* 搜索、启发式搜索等。持续更新中。