大模型的数学之路

问题 LLM 通过大量的语料来建模下一个 token 的概率,这种训练方式促成 LLM 成为一个「文科生」,那么我们不禁对以下几个问题好奇: LLM 目前在数学问题上取得的进展...

October 25, 2023 · 4932 words

Efficient Tricks for LLMs

如何高效训练或推理大模型一般在两点:如何装得下以及如何更快 这里讲一些主要的并行概念,不会深挖原理,只会介绍 key points,看它们分别为加速和...

October 13, 2023 · 2055 words