OpenAI o1 系列模型背后的技术猜测2024 年 9 月 12 日,OpenAI 发布了最新的 o1 系列模型,在推理要求高的复杂任务上远超此前的 GPT-4o。本文根据一些已有的现象,猜测一下 OpenAI o1 背后的技术原理。 2024-09-13 论文阅读 > 前沿热点 #LLMs
手撕经典算法 #3 Transformer篇准备面试过程中的笔记,本系列将记录了一系列经典算法的(伪)代码实现。本文介绍了 Transformer 的构成,在前面两章的基础上搭建完整的 Transformer 模型。 2024-07-08 算法笔记 > 手撕经典算法 #NLP #Algorithm
手撕经典算法 #2 神经网络篇准备面试过程中的笔记,本系列将记录了一系列经典算法的(伪)代码实现。本文介绍了常见的神经网络模块,包含 LayerNorm、BatchNorm 和 Dropout。 2024-07-07 算法笔记 > 手撕经典算法 #NLP #Algorithm
手撕经典算法 #1 Attention篇准备面试过程中的笔记,本系列将记录了一系列经典算法的(伪)代码实现。本文介绍了常见的集中注意力机制,包括 SDPA、MHA、MQA、GQA 和 MLA(未完待续)。 2024-07-06 算法笔记 > 手撕经典算法 #NLP #Algorithm
Docker学习笔记 #2 常用命令学习 Docker 时做的笔记,本章主要介绍 Docker 的常用命令,包括:服务认证、管理镜像与容器、管理数据与网络,还介绍了类似的容器管理工具 Buildah。 2023-07-07 技术经验 > Docker #Docker
Docker学习笔记 #1 基本概念与原理学习 Docker 时做的笔记,本章主要介绍一些 Docker 的基本概念:镜像、容器和仓库等,还简单介绍了 Docker 的原理。 2023-07-05 技术经验 > Docker #Docker
Vim学习笔记 #1 基础操作与配置学习 Vim 时做的笔记,主要内容包括:基础操作(打开与退出、模式介绍、光标移动、快速删除修改、查找替换)、高级操作(多文件操作、文本对象、复制粘贴、代码补全)、配置文件(基础配置、按键映射)。 2023-04-11 技术经验 > Vim #Vim
Zotero使用技巧:坚果云同步、常用插件使用坚果云辅助 Zotero 进行云同步的教程,顺便介绍常用的 Zotero 第三方插件:ZotFile、Zotero Better Notes、Zotero PDF Translate 等。 2023-03-29 技术经验 > Zotero #Zotero
PyTorch笔记 #2 神经网络学习 PyTorch 时做的笔记,介绍了使用 PyTorch 搭建神经网络的完整流程,分别是:数据加载、模型搭建、训练阶段、评估阶段、模型保存与加载。本文将持续更新。 2022-12-15 技术经验 > PyTorch #Python #PyTorch #DL
PyTorch笔记 #1 基础操作学习 PyTorch 时做的笔记,介绍了基础的语法,包括 Tensor 的属性、构造、基本操作,以及常用的数学函数。最后介绍了 Autograd 自动微分的原理。本文将持续更新。 2022-11-10 技术经验 > PyTorch #Python #PyTorch #DL
复旦 NLP-LI 课题组近期论文索引本文分类索引复旦 NLP-LI 课题组的近期论文,课题组负责人为张奇教授、桂韬研究员。主要领域包括:NLP 高效性、NLP 可靠性、信息抽取、文本生成等。 2022-10-05 论文阅读 > 自然语言处理 #NLP
力扣刷题笔记 #13 树在 LeetCode 等平台上刷题的笔记,循序渐进,一题多解。本文包含「树」类型题中的:前中后序遍历、层序遍历、树高和树深、树上路径问题、二叉搜索树、N 叉树等。持续更新中。 2022-10-02 算法笔记 > 力扣刷题 #Algorithm
力扣刷题笔记 #12 字符串在 LeetCode 等平台上刷题的笔记,循序渐进,一题多解。本文包含「字符串」类型题中的:打印输出、KMP 算法、Trie 树、字符串哈希等。持续更新中。 2022-10-02 算法笔记 > 力扣刷题 #Algorithm
力扣刷题笔记 #11 栈&队列在 LeetCode 等平台上刷题的笔记,循序渐进,一题多解。本文包含「栈&队列」类型题中的:栈和队列模拟、括号配对、单调栈等。持续更新中。 2022-10-02 算法笔记 > 力扣刷题 #Algorithm