1、语言模型 语言模型（language model）是自然语言处理的重要技术。 自然语言处理中最常见的数据是文本数据。 我们可以把一段自然语言文本看作一段离散的时间序列。 假设一段长度为\(T\)的文本中的词依次为\(w_1, w_2, \ldots, w_T\)，那么在离散的时间序列中，\(w_t\)（\(1 \leq t \leq T
目录概符号说明本文方法 Wang Y., Li C., Li M., Jin W., Liu Y., Sun H., Xie X. and Tang J. Localized graph collaborative filtering. 概 现在的推荐系统, 倾向于为每个 user, item 构建 embeddings. 但是和 NLP 中的问题不同, 推荐的数据往往是非常稀疏的, 所以这么做势必
LaTeX Test $\alpha$, $\beta$, $\gamma$, $\tau$, $\eta$, $\epsilon$, $\varepsilon$ $\partial$, $\nabla$, $\Delta$ $(\varphi \ast u)(x) = \langle u, \tau_x\widetilde{\varphi}\rangle$ $$(\widehat{u})^{\vee} = u = (u^{\vee})^{\wedge}, \q
写在前面 这两个东西其实并没有什么联系，但是因为都是由 @dd_d 首创的，所以写在一起。 Update：不想新开博客了，所以以后 dd_d 有什么新发明就直接在这里更新了。 港队线段树 这是一种高效且简便好写的优秀线段树（ 由香港队长发明的 ），拥有良好的均摊复杂度。 在同时需要记录多个标
目录概符号说明问题本文方法代码 Ding S., Wu P., Feng F., Wang Y., He X., Liao Y. and Zhang Y. Addressing unmeasured confounder for recommendation with sensitivity analysis. In ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2022 概 以往的
2022.7.25：意识到卷的必要性由摆烂人晋升为卷人 2022.8.3：今天是zhouAK的生日 2022.8.6-8.12：重新开摆 2022.8.17：重新认识逻辑或： 实数集可以有两种表示方法：\(\small \{ x|x为任意实数 \}\) 或 \(\small \{\mathbb{R} \}\) 这句话是对的。——by ZJK 参考资料：维基百科——逻辑或
cf题链 luogu题链 这个A题相对较难分析。 Description 目标结果：经过若干次 \(a_i=a_i-a_{i-1},i\in\left[2,n\right]\cap\mathbb{Z}\) 的差分操作，使 \(\forall a_i=0,i\in\left[2,n\right]\cap\mathbb{Z}\)。 答案：返回能否达成目标结果。 Analysis 我们分数列中的各个数分析。
目录概流程代码 Hamilton M., Zhang Z., Hariharan B., Snavely N., Freeman W. T. Unsupervised semantic segmentation by distilling feature correspondences. In International Conference on Learning Representations, 2022 概 本文介绍了一种无监督的语义分割方法, 只需
归档。 试证明：\(\sum \limits _{d | x} \varphi (d) = x\) Lemma 1. 试证明：\(\sum \limits _{d | p^k} \varphi (d) = p ^k\)，其中 \(p\) 为质数。 证明：显然，和 \(n\) 不互质的数一定含有 \(p\) 因子，而在 \([1, n]\) 中总共有 \(\lfloor \frac {n} {p} \rfloor = p ^{k - 1}\) 个
目录概符号说明MNAR 带来的 biasIPS EstimatorIPS Estimator 的变化性例子利用 IPS estimator 进行训练泛化界例子估计 Propensity Score泛化界疑问代码 Schnabel T., Swaminathan A., Singh A., Chandak N., Joachims T. Recommendations as treatments: debiasing learning and
隐马尔可夫模型（Hidden Markov Model, HMM）是可用于标注问题的模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。马尔可夫链不懂的可以把本科的《概率论与数理统计》找回来看一下，并不难，就是离散状态之间的转换。下面直接定义基本概念，为后面的算法做准备。 基本
前言 颓废的时候发现了这个非常有趣的问题，在这里分享一下。 当然，原题给出了 \(7\) 种证明，没脑子选手冥思苦想一年只看懂两种。 正文 第一种证明 我们考虑假设素数的个数是有限个。 那么我们运用一个集合 \(\mathbb{P} = \{p_1,p_2,p_3,\cdots ,p_{m-1},p_m \}\) 来表示。 现在考虑
本文将对 STOC2022 的一篇论文: "The shortest even cycle problem is tractable" 进行解读. 虽然这是一篇很新的文章, 但是其核心技术还是相当通俗易懂的. 下文讨论的皆为无权图, 或者说, 环的长度就是经过的点的数目. 我们知道, 最短奇环是容易解决的, 因为最短奇回路 (closed w
# Lecture 1：概括与基础 和 supervised learning 的区别： * 强化学习是Sequential data作为input，每次输入并不是独立同分布 * 没有ground truth, learner不会被告知什么action是正确的。需要不断去尝试 * Trail-and-error exploration（balance between explioration and exploita
1 随机优化算法概述 随着大数据的出现，确定性优化算法的效率逐渐称为瓶颈。为了说明这一点，我们来看一个用梯度下降法求解线性回归的例子。 给定训练样本\(D = \{(x_i, y_i)\}_{i=1}^n\)，线性回归的目标函数如下： \[f(w) = \frac{1}{n}\sum_{i=1}^nf_i(w)= \frac{1}{n}\sum_{i=1}^n(w^
8-2 image classification 1x1 Conv filter: \[F_1 ,1 ,1 \]where \(F_1\) is the number of channels. Original input: \[(N,C,H,W) \]then it's transformed to: \[(N,C,H,W)\rightarrow (N,F_1,H,W) \]So 1x1 conv filters can be used to change the dimen
目录第十三讲 风险序第一节 更大的风险和随机序一、更大的风险二、随机序第二节 更危险的风险和停止损失序一、更危险的风险二、停止损失序第三节 其他风险序及其性质一、单调凸序二、指数序 第十三讲 风险序 第一节 更大的风险和随机序 一、更大的风险 风险比较是精算最本质的工
1. Attention for Memory and Sequence Translation Attention mechanisms aggregate features with an importance score that: depends on the feature themselves, not on their positions in the tensor relax locality constraints. \(\Large\text{Note:}\) The a
目录概符号说明主要内容收敛性证明和显式解 Zhu X. and Ghahramani Z. Learning from labeled and unlabeled data with label propagation. Technical Report CMU-CALD-02-107, 2002. 概 本文通过将有标签数据传播给无标签数据, 并获得相应的无标签数据的一种可行标注. 所提出
目录概主要内容符号说明流程 Lin C., Chen S., Li H., Xiao Y., Li L. and Yang Q. Attacking recommender systems with augmented user profiles. In ACM International Conference on Information and Knowledge Management (CIKM), 2020. 概 利用 GAN 伪造用户以及行为来使
1. 仿射集 Affine Sets 1）定义 定义1：\(x_1, x_2\)为集合\(C\subseteq \mathbb{R}^n\)中的任意两点，如果穿过\(x_1,x_2\)的直线仍在\(C\)内，那么\(C\)为仿射集。 定义2：对于任意\(x_1,x_2\in C\)，\(\theta\in \mathbb{R}\)，如果 \(\theta x_1+(1-\theta)x_2\in C\)，那么\(C\)为仿射集。 2）
\(\cal T_1\) \(\mathbb{D}\rm escription\) \(\mathbb{S}\rm olution\) $\mathbb{C}\rm ode $ \(\cal T_2\) 基因切割 \(\mathbb{D}\rm escription\) \(\mathbf{namespace\_std}\) 乘坐戴夫的时光机器穿越回了现代，成为了⼀名医学生。 这天，医院新进了一些 \(\rm dna\) 切
施工中。 对于常数项为 \(0\)，一次项非 \(0\) 的多项式 \(F,G\)，定义复合运算 \(\circ\)，满足 \[(F\circ G)(x)=G(F(x))=\sum_{i\ge 0}g_iF^i(x). \]对于域 \(\mathbb F\)，令 \(\mathcal S\) 为 \(\mathbb F[[x]]\) 中所有满足上述条件的多项式构成的集合。对于任意多项式 \(
广义均值不等式（默认数域为 \(\mathbb R\)）： \(\forall a_i>0\)，\(r_1,r_2\neq 0\)，\(r_1<r_2\)，均有 \[{\sum_{i=1}^n}^{\frac{1}{r_1}}\frac{1}{n}a_i^{r_1}\le{\sum_{i=1}^n}^{\frac{1}{r_2}}\frac{1}{n}a_i^{r_2} \]首先证明 \(n=2\) 时的情况。令 \(c=\frac{a_1}{a
Xavier Initialization (\(\text{Understanding the difficulty of training deep feedforward neural networks}\)) \(\text{Goal: The goal of Xavier Initialization is to initialize the weights such that the variance of the activations are the same across ev
