Hi there 👋

Hi, this is Yunpeng Tai. I blog to think about interesting things.

放大镜下的 InfoNCE

区分真实样本 前面的讲的NCE系列方法是为了去估计配分函数,接下来要介绍的 InfoNCE 虽然带个 NCE,但这个的目的不是要预估配分函数,他是直接采用自归一...

July 14, 2023 · 2193 words

NCE的朋友们

在Noise Contrastive Estimation中,我们详细介绍了 NCE 算法,其实还有很多跟它类似的算法,继续以文本生成为例,基于上下文$\boldsymbo...

July 8, 2023 · 866 words

Numerical Stability

Why 当计算涉及到实数域时,比如圆周率的$\pi$,因为小数部分是无穷的,计算机是无法准确表示,因而只会用近似的值进行替代,这种情况下,误差相对...

June 25, 2023 · 2093 words

Bias Variance Decomposition

引言 我们规定,训练集记为$\mathcal{D}$,我们从中取一个样本$\boldsymbol{x}$,其训练集标签为$y_{\mathca...

June 21, 2023 · 994 words

Noise Contrastive Estimation

难以承受之重 文本生成是 NLP 任务中比较典型的一类,记参数为$\boldsymbol{\theta }$,给定的 context 为$\boldsymbol{c}$...

May 29, 2023 · 3934 words

Fast Greedy MAP Inference for DPP

问题 先规定一些术语:记选中元素构成的集合为$\mathcal{S}$,未选中构成的元素记为$\mathcal{R}$,$\mathbf{L}...

May 16, 2023 · 4326 words

Determinantal Point Process

在机器学习中,我们通常会面临一个问题:给定一个集合$\mathbf{S}$,从中寻找$k$个样本构成子集$\mathbf{V}$,尽量使得子...

April 21, 2023 · 2910 words

Generalized Linear Models

定义 若一个分布能够以下述方式进行表示,则称之为指数族( Exponential Family)的一员 $$ p(y; \eta ) = b(y)\exp(\eta^{\mathbf{T}}T(y) - a(\eta )) $$ 其中$\eta$被称为分布的自然参数(nat...

February 17, 2023 · 3632 words