Hswyの小窝

图对比学习的经典步骤图对比 从一张大图中随机采样一批（batch）图； 对每一个图进行两次随机的数据增强（如删除若干条边（edge）），增强后两个新图称为视图（View）； 使用待训练的 GNN 对 View 进行编码，得到节点表示向量（node representation）和图表示向量（graph representations）； 根据上述表示向量计算 InfoNCE 损失，其中由同一个 graph 增强出来的 view 的表示相互靠近，由不同的 graph 增强得到的 view 的表示相互远离。 节点对比（以HeCo为例） 针对一张图，设置两个视图，分别为network-schema视图与meta-path视图； 使用待训练的 GNN 在两个视图下分别进行编码，得到两种视图节点表示向量（node representation）； 根据上述表示向量计算对比损失，根据两节点之间meta-path路径条数确定正负样本节点，正样本节点表示相互靠近，负样本节点表示相互远离。（补充：对比损失计算了两次，第一次正负样本在network-schema视图上，一次正负样本在meta-path视 ...

几个matchMixMatch转载：https://zhuanlan.zhihu.com/p/66281890 人类的学习方法是半监督学习，他们能从大量的未标记数据和极少量的标记数据学习，迅速理解这个世界。半监督学习最近有没有什么大的突破呢？这篇博客介绍了 DeepMind 的 MixMatch 【2】方法，此方法仅用少量的标记数据，就使半监督学习的预测精度逼近监督学习。深度学习领域的未来可能因此而刷新。 以前的半监督学习方案，一直以来表现其实都很差。你可能会想到 BERT 和 GPT，这两个超强的自然语言预训练模型。但这两个模型的微调只能算迁移学习，而非半监督学习。因为它们最开始训练的时候，使用了监督学习方法。比如通过语言模型，输入前言，预测后语；输入语境，完形填空；输入前言和后语，预测是否前言不搭后语。这几种方法，很难称作无监督学习。 下面这几种大家很容易想到的半监督学习方法，效果都不是很好。比如使用主成分分析PCA，提取数据中方差最大的特征，再在少量标记数据上，做监督学习；又比如使用自编码机 AutoEncoder，以重建输入图像的方式，获得数据潜在表示，对小数据监督学习；再比如 ...

有监督对比学习调研论文总览CV领域 Khosla P, Teterwak P, Wang C, et al. Supervised contrastive learning[J]. Advances in Neural Information Processing Systems, 2020, 33: 18661-18673. Li J, Xiong C, Hoi S C H. Comatch: Semi-supervised learning with contrastive graph regularization[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 9475-9484. Yang F, Wu K, Zhang S, et al. Class-Aware Contrastive Semi-Supervised Learning[J]. arXiv preprint arXiv:2203.02261, 2022. Zhao Z, Zhou L, Wang ...

一些小知识点Label Smoothing参考：标签平滑 - Label Smoothing概述 - 云+社区 - 腾讯云 (tencent.com) label smoothing就是把原来的one-hot表示，在每一维上都添加了一个随机噪音。这是一种简单粗暴，但又十分有效的方法，目前已经使用在很多的图像分类模型中了。 one-hot 劣势 可能导致过拟合。0或1的标记方式导致模型概率估计值为1，或接近于1，这样的编码方式不够soft，容易导致过拟合。为什么？用于训练模型的training set通常是很有限的，往往不能覆盖所有的情况，特别是在训练样本比较少的情况下更为明显。以神经机器翻译（NMT）为例：假设预测句子“今天下午我们去..”中，“去”后面的一个词。假设只有“去钓鱼”和“去逛街”两种搭配，且真实的句子是“今天下午我们去钓鱼”。training set中，“去钓鱼”这个搭配出现10次，“去逛街”搭配出现40次。“去钓鱼”出现概率真实概率是20%，“去逛街”出现的真实概率是80%。因为采用0或1的表示方式，随着training次数增加，模型逐渐倾向于“去逛街”这个搭配，使这个 ...

Label-noise Representation Learning参考文献 噪声标签的最早工作可以追溯到20世纪80年代的任意分类噪声的二分类问题。近些年，随着深度学习研究的深入，相关研究发现深度神经网络在众多场景中取得的成果离不开大量的真实标签信息。然而，在现实复杂的生活场景中，由于人工失误、原始数据噪声和专业知识不足等问题，导致实际采集得到的数据常常包含错误的标签，或者只包含少量的真实性可靠的标签。因此，如何在包含噪声标签的数据集上，合理地选出真实性大或者说可靠的标签是当前的一大研究热点。在包含噪声标签的数据集上，如果不作任何处理，直接采用神经网络进行有监督的训练和建模，会导致神经网络模型难以学习到原始数据的真实分布，或者说很容易让神经网络模型对错误标注的数据过拟合，导致下游的分类任务性能不理想。 理论分析原文从数据（Data）层面、目标（Objective）层面和优化（Optimization）层面对如何处理LNRL进行了分析 数据层面数据层面主要考虑建模噪声数据到无噪声数据之间的关系，即对数据对分布的标签噪声特性进行建模。有两种类型的噪声：instance-depende ...

Unified Robust Training for Graph Neural Networks against Label Noise (PAKDD)论文链接 代码：暂无 摘要图神经网络(gnn)在图的节点分类方面已经达到了最先进的性能。现有的绝大多数陈国都假设训练集提供的标签是正确的。然而，如何在有标签噪声的情况下提高GNN的鲁棒性的研究还很少。 挑战图学习的建模面临标签稀疏性和标签依赖的两个问题： (1）标签稀疏性: 节点相互连接的图结构数据比单个图像更难以进行数据标注。通常，图是稀疏标记的，只有一小部分标记节点用于训练。因此，我们不能像之前使用“小损失技巧”的方法那样，简单地删除带有损坏标签的“坏节点”。 (2) 标签依赖: 图节点数据表现出很强的标签依赖，因此结构接近度高(直接或间接连接)的节点往往具有相似的标签。这就迫切需要在训练抗标签噪声的鲁棒模型时充分利用图拓扑和稀疏节点标签。 方法总结本文提出了一种采用标签聚合策略的样本重加权和标签纠正的方法，具体分为： 1）标签聚合：具体来说，我们执行随机漫步来收集具有更高阶接近度的上下文节点。然后，采用上述策略选取的节点，组成一 ...

XFTP通过密钥登录访问远程服务器1 安装Xftp之后，点击左上角的文件->新建 2 填写配置信息 名称：随意设置 主机：IP地址 协议：SFTP 端口号：22 方法：Public Key 用户名：自己的用户名 密码：用户名对应的密码 3 Public Key的设置找到自己本地私钥（id_rsa）所在目录，一般在本地用户目录下，然后选择该私钥导入。待全部信息配置完成后，点击确定。 4 访问远程服务器点击右上角的文件，点击打开 此时会显示已经创建的会话信息，选择刚才创建的会话，双击访问远程服务器 右边的是远程服务器的文件，左边的是本地的文件，可以将本地文件直接拖拽至服务器相应目录下完成文件传输

子模函数边际效益递减一般而言，消费者偏好某物而未能获得，或拥有数量不够大时，增加消费量则其满足感大增（边际效用增加）；但拥有数量足够时，再增加消费量则其满足感增加幅度逐渐平缓（边际效用递减）；拥有数量太多时，再增加消费量则反而感觉厌恶（边际效用减为负且继续递减，累积之总效用因此，亦减少）。在正常状况下，消费者拥有足够数量而边际效用递减后，会将有限资源配置转移以满足其他欲望，不至于消费同一商品过量到感觉厌恶。 简单来说，就是比如说，你在非常饿的时候，打开了一桶泡面，你吃下去的第一口给你带来的满足感是比吃了好几口之后给你带来的满足感要高的多的。 按照上面的这个例子，这个“边际”指的就是“当前吃的最后一口面”，“边际效益”指的是“当前这口面给你带来的满足感”。 Submodular Functions（子模函数）存在一个集合 $E = {e_1, e_2, e_3, …,e_n}$ Definition 1存在一个集合函数 $ f: 2^{E} \rightarrow \mathbf{R}_{+}$ ，如果对于任意的两个子集 $S\subseteq T \subseteq E$ ，$f$ 是 ...

NRGNN: Learning a Label Noise-Resistant Graph Neural Network on Sparsely and Noisily Labeled Graphs (KDD 2021)论文链接 代码 摘要图神经网络(GNN)已经在图的半监督学习任务中取得了很好的结果，例如节点分类。尽管GNN取得了巨大的成功，但现实世界中的许多图往往是稀疏且带噪声的标记，这可能会严重降低GNN的性能。因此，开发一种抗标签噪声的GNN对半监督节点分类具有重要意义。 Introduction因为噪声信息会通过图结构传播到无标记的节点，由于图的稀疏性，错误标签节点的邻居可能无法获取正确标签的信息。同时一些无标记的节点只能聚合无标记节点的信息。 CNNloss correction，sample selection，但是应用到GNN中会遇到一些问题： 假定有大量的噪声标签用来学习噪声分布或选择正确标签，但是GNN中的标签是limited的，无法通过少量的噪声标签来学习噪声分布，若选择正确标签，则会使可用的标签数更小，降低模型性能 CNN所处理的数据都是IID的，无法处理图上 ...

标签噪声模型Uniform Noise标签以均匀随机概率被错误标记为其他类型的标签，如$T_{i j}=T_{j i}$，如下面的转换矩阵，每个类型的标签都有40%的概率转化为其他类型的标签，概率都为20%。$$T^{\text {uniform }}=\left[\begin{array}{llll}0.6 & 0.2 & 0.2 \0.2 & 0.6 & 0.2 \0.2 & 0.2 & 0.6\end{array}\right]$$ Pair Noise标签被错误标记为相似类型的标签。如下面的转换矩阵所示，每个类型的标签都有20%的概率被错误标记为与其相似的标签。$$T^{\text {pairflip }}=\left[\begin{array}{ccc}0.6 & 0.4 & 0 . \0 . & 0.6 & 0.4 \0.4 & 0 . & 0.6\end{array}\right]$$ 代码实现生成uniform标签转换矩阵def build_uniform_P(size, n ...