|
|
|
|
|
FCS | 前沿研究：基于自监督表征学习的深度主动采样方法 |
|
|
论文标题：（基于自监督表征学习的深度主动采样方法）
期刊：
作者：Haochen SHI, Hui ZHOU
发表时间：15 Jun 2023
DOI：
微信链接：
导读
自监督学习在无需标注的情况下，具有高效学习良好特征表示的强大能力。为了有效地执行自监督学习，通常需要在一个前置任务上训练模型，然后在下游任务上对其进行微调。前置任务的目的是引导模型学习数据的中间表示。下游任务是前置模型向特定任务的知识转移过程。通常需要大量标记的示例来微调下游任务的预训练模型。然而，标记样本通常代价高昂，并且非常昂贵。主动学习是解决该问题地一种主要途径，旨在通过主动挑选最具价值的样本进行标注并加入训练，来降低模型对已标注样本的需求量，从而降低总标注代价。
最近，一些研究尝试将自监督学习与主动学习相结合，以降低标记样本的成本。然而，这种方法很难有效地提高模型性能，因为它没有考虑前置任务上示例的特征表示性能。为了克服这一缺点，我们提出了一种具有自监督表示学习的深度主动采样框架。它主动选择对下游任务有信息且在前置任务上具有高表示质量的示例，因此可以显著降低总体标记成本。
本文章的主要贡献包括以下三个方面：
• 我们提出基于自监督表征学习的深度主动采样框架，通过主动地挑选最具效用的样本，以最小的标注代价高效地提升自监督预训练模型在特定下游任务上的微调性能。
• 在该学习框架中，同时考虑样本在自监督任务中的特征表示性能以及在下游任务上的信息量，提出一个新的主动采样策略，以适用 于自监督预训练模型在下游任务的微调。
• 我们在两种自监督模型下进行了实验。在不同数据集上的大量实验结果表明，我们提出的方法能显著地优于目前最先进的深度主动采样方法。
文章精要
相关内容推荐：
Frontiers of Computer Science
Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机明升体育app领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和明升官网明升体育app引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“明升官网科技期刊国际影响力提升计划”；入选“第4届明升官网国际化精品科技期刊”；入选“明升官网科技期刊卓越行动计划项目”。
《前沿》系列英文学术期刊
由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础明升体育app、明升m88明升体育app、工程技术和人文社会明升体育app四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中12种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。
明升官网学术前沿期刊网
特别声明：本文转载仅仅是出于传播信息的需要，并不意味着代表本网站观点或证实其内容的真实性；如其他媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者如果不希望被转载或者联系转载稿费等事宜，请与我们接洽。
