放大镜下的 InfoNCE

区分真实样本 前面的两种是为了去估计配分函数,接下来要介绍的 InfoNCE 虽然带个 NCE,但这个的目的不是要预估配分函数,他是直接像上篇应用 NCE 的方法一样,...

July 14, 2023 · 2196 words

NCE的朋友们

在Noise Contrastive Estimation中,我们详细介绍了 NCE 算法,其实还有很多跟它类似的算法,继续以文本生成为例,基于上下文$\boldsymbo...

July 8, 2023 · 866 words

Noise Contrastive Estimation

难以承受之重 文本生成是 NLP 任务中比较典型的一类,记参数为$\boldsymbol{\theta }$,给定的 context 为$\boldsymbol{c}$...

May 29, 2023 · 3934 words