释放少样本学习的力量

Unlocking the power of few-shot learning

介绍

欢迎来到小样本学习的领域，这是机器在只有少量标记样本的情况下战胜数据难题并学会征服任务的地方。在这个指南中，我们将踏上一段激动人心的小样本学习之旅。我们将探索这些聪明的算法如何通过极少的数据实现伟大，为人工智能开辟新的可能性。

学习目标

在我们深入技术细节之前，让我们概述一下本指南的学习目标：

理解小样本学习的概念，以及它与传统机器学习的区别，以及在数据稀缺的场景中这种方法的重要性
探索小样本学习中使用的各种方法和算法，如基于度量的方法、基于模型的方法及其基本原理。
如何在不同场景中应用小样本学习技术？了解有效训练和评估小样本学习模型的最佳实践。
发现小样本学习的实际应用。
了解小样本学习的优势和局限性。

现在，让我们深入了解指南的每个部分，了解如何实现这些目标。

本文是作为数据科学博文的一部分发表的。

什么是小样本学习？

小样本学习是机器学习的一个子领域，解决的是训练模型以识别和泛化来自每个类别或任务的有限数量标记示例的挑战。小样本学习是对数据需求型模型的传统概念的挑战。与依赖海量数据集不同，小样本学习使算法能够仅依靠少量标记样本进行学习。这种从稀缺数据中泛化的能力在获取大量标记数据不切实际或昂贵的情况下，为各种领域中的挑战开辟了非凡的可能性。

想象一下一个模型可以迅速掌握新概念，识别对象，理解复杂语言，或者即使在有限的训练样本下也能进行准确预测。小样本学习使机器能够做到这一点，改变了我们在各个领域面临的各种挑战的方式。小样本学习的主要目标是开发能够从稀缺数据中学习并很好地泛化到新的未知实例的算法和技术。它通常涉及利用先前的知识或从相关任务中获取信息，以有效地泛化到新任务。

与传统机器学习的主要区别

传统的机器学习模型通常需要大量标记数据进行训练。这些模型的性能往往随着数据量的增加而提高。在传统的机器学习中，数据稀缺可能是一个重大挑战，特别是在专业领域或者获取标记数据既昂贵又耗时的情况下。小样本学习模型可以仅依靠每个类别或任务中的少量示例进行有效学习。即使在每个类别中只有几个或一个标记示例的情况下，这些模型也能进行准确的预测。它通过训练模型以有效地利用少量标记数据来解决数据稀缺问题。只需进行少量更新或调整，便能快速适应新类别或任务。

小样本学习术语

在小样本学习领域，有一些术语和概念描述了学习过程和算法的不同方面。以下是小样本学习中常见的一些关键术语：

支持集：支持集是小样本学习任务中数据集的子集。它包含每个类别的少量标记示例（图像、文本样本等）。支持集的目的是在元训练阶段为模型提供相关的信息和示例，以便学习和泛化有关类别的知识。
查询集：查询集是小样本学习任务中数据集的另一个子集。它包含未标记的示例（图像、文本样本等），必须将其分类为支持集中存在的类别之一。在支持集上训练后，评估模型在多大程度上能够准确地对查询集示例进行分类。
N-Way K-Shot：在小样本学习中，“n-way k-shot”是用来描述每个小样本学习任务中类别数（n）和每个类别的支持示例数（k）的标准符号。例如，“5-way 1-shot”表示每个任务包含五个类别，并且模型仅提供每个类别一个支持示例。类似地，“5-way 5-shot”表示每个任务包含五个类别，并且模型提供每个类别五个支持示例。

Few Shot Learning Techniques (少样本学习技术)

Metric-Based Approaches (基于度量的方法)

Siamese Networks (孪生网络)：孪生网络学习计算输入样本的嵌入（表示），然后使用距离度量方法比较嵌入以进行基于相似性的分类。它比较并测量两个输入之间的相似性，在每个类别都存在示例时特别有用。在少样本学习的上下文中，利用孪生网络学习支持集示例和查询集示例之间的相似度度量。支持集包含标记示例（例如，每个类别一个或几个示例），而查询集包含需要分类为支持集中存在的类别之一的未标记示例。
Prototypical Networks (原型网络)：原型网络是少样本学习任务中一种常见且有效的方法。原型网络使用“原型”来表示每个类别，原型是少样本示例的平均嵌入。在推理过程中，查询样本与原型进行比较以确定其类别。关键思想是通过计算每个类别的原型向量，即其支持集示例的特征嵌入的平均值，来表示每个类别。在推理过程中，根据查询示例与不同类别原型的接近程度对其进行分类。原型网络具有计算效率高、不需要复杂的元学习策略等优点，因此在计算机视觉和自然语言处理等各个领域的实际应用中备受青睐。

Model-Based Approaches (基于模型的方法)

Memory-Augmented Networks (增强记忆网络)：增强记忆网络利用外部记忆来存储少样本示例的信息。它使用注意机制在分类过程中检索相关信息。增强记忆网络旨在克服标准神经网络的局限性，标准神经网络往往在需要大量上下文信息或长程依赖的任务上表现不佳。增强记忆网络的关键思想是为模型配备一个可以读取和写入信息的记忆模块，使其能够在训练过程中存储相关信息并在推理过程中使用。这种外部记忆是模型可以访问和更新的额外资源，有助于推理和决策。
元学习（学会学习）：元学习旨在通过对多个任务进行元训练阶段，使模型能够快速适应新任务。元学习的核心思想是使模型从以前的经验（元训练）中提取知识，并将该知识用于快速适应新的、未见过的任务（元测试）。元学习通过引入“元知识”或“先验知识”的概念来解决这些挑战，这些知识指导模型的学习过程。
基于梯度的元学习（例如，MAML）：基于梯度的元学习在元测试期间修改模型参数，以便更快地适应新任务。MAML的主要目标是使模型能够仅凭少量示例快速适应新任务，这是少样本学习和元学习场景的核心主题。

Few Shot Learning应用

少样本学习在各个领域具有许多实际应用。以下是一些值得注意的少样本学习应用：

图像分类和物体识别：在图像分类任务中，模型可以通过有限的标记示例快速识别和分类对象。它特别适用于识别训练数据集中不存在的稀有或新颖对象。
自然语言处理：在自然语言处理中，少样本学习使模型能够通过最少的标记数据执行情感分析、文本分类和命名实体识别等任务。在标记文本数据稀缺或获取成本高昂的场景中，这种方法非常有益。
医学诊断和医疗保健：少样本学习在医学图像分析和诊断中具有潜力。它可以帮助识别罕见疾病、检测异常并预测患者的预后，即使只有有限的医疗数据。
推荐系统：根据少量用户交互或偏好向用户推荐个性化内容或产品。
个性化营销和广告：根据有限的客户数据，帮助企业针对特定的客户群体进行个性化营销活动。

Few Shot Learning的优势

数据效率：少样本学习每个类别只需要少量标记示例，因此具有很高的数据效率。当获取大规模标记数据集成本昂贵或不可行时，这一点尤为有利。
对新任务的泛化能力：少样本学习模型能够迅速适应具有最少标记示例的新任务或类别。这种灵活性使它们能够高效处理未见过的数据，非常适用于动态和不断演变的环境。
快速模型训练：由于需要处理的示例较少，与需要大量标记数据的传统机器学习模型相比，少样本学习模型可以更快地进行训练。
处理数据稀缺性：少样本学习直接解决了数据稀缺的问题，使模型即使在特定类别或任务缺乏标记数据时也能表现良好。
迁移学习：少样本学习模型固有地具有迁移学习能力，少样本类别的知识可以转移到相关任务或领域中以提高性能。
个性化和定制化：为个体用户偏好或特定要求提供个性化和定制化的解决方案，因为模型可以快速适应个人用户的偏好或特定要求。
减少注释工作量：减轻了手动数据注释的负担，对训练只需要较少标记示例，节省时间和资源。

限制

有限的类别区分能力：该设置可能无法提供足够的示例来捕捉细粒度类别差异，导致与密切相关的类别的区分能力降低。
依赖于少样本示例：模型在训练过程中严重依赖于提供的少样本示例的质量和代表性。
任务复杂度：少样本学习可能在需要更深入理解数据中复杂模式的高度复杂任务中遇到困难。它可能需要更多标记示例或不同的学习范式。
对噪声的敏感性：由于学习所需的数据点较少，模型对噪声或错误标记示例更为敏感。
数据分布偏移：当测试数据分布与少样本训练数据分布明显不同时，模型可能会遇到困难。
模型设计复杂性：设计有效的少样本学习模型通常涉及更复杂的架构和训练方法，这可能具有挑战性和计算开销。
异常值困难：模型可能在与训练过程中观察到的少样本示例明显不同的异常值或罕见实例上遇到困难

少样本学习的实际应用

以少样本图像分类任务为例。

我们将把不同对象的图像分类到它们各自的类别中。这些图像属于三个类别：“猫”，“狗”和“郁金香”。分类任务的目标是基于查询图像与支持集中类别原型的相似性来预测给定查询图像的类别标签（即“猫”，“狗”或“郁金香”）。第一步是数据准备。获取并预处理少样本学习数据集，将其分为每个任务的支持（标记）集和查询（未标记）集。确保数据集代表模型在部署过程中将遇到的实际场景。在这里，我们收集了一个包含各种动植物物种图像的多样化数据集，并标记了它们各自的类别。对于每个任务，随机选择几个示例（例如1到5个图像）作为支持集。

这些支持图像将用于“教导”模型有关特定类别的信息。同一类别的图像构成查询集，评估模型对未见实例的分类能力。通过应用数据增强技术来增强支持集图像，例如随机旋转、翻转或亮度调整。数据增强有助于增加支持集的适当大小并提高模型的鲁棒性。将数据组织成成对或小批次，每个批次包含支持集和相应的查询集。

示例

例如，一个少样本任务可能如下所示：

支持集：[cat_1.jpg, cat_2.jpg, cat_3.jpg]
查询集：[cat_4.jpg, cat_5.jpg, cat_6.jpg, cat_7.jpg]

支持集：[dog_1.jpg, dog_2.jpg]
查询集：[dog_3.jpg, dog_4.jpg, dog_5.jpg, dog_6.jpg]

支持集：[tulip_1.jpg, tulip_2.jpg]
查询集：[tulip_3.jpg, tulip_4.jpg, tulip_5.jpg, tulip_6.jpg]

以此类推…

import numpy as np
import random

# 样本图像和对应的类别标签示例数据集
dataset = [
    {"image": "cat_1.jpg", "label": "猫"},
    {"image": "cat_2.jpg", "label": "猫"},
    {"image": "cat_3.jpg", "label": "猫"},
    {"image": "cat_4.jpg", "label": "猫"},
    {"image": "dog_1.jpg", "label": "狗"},
    {"image": "dog_2.jpg", "label": "狗"},
    {"image": "dog_3.jpg", "label": "狗"},
    {"image": "dog_4.jpg", "label": "狗"},
    {"image": "tulip_1.jpg", "label": "郁金香"},
    {"image": "tulip_2.jpg", "label": "郁金香"},
    {"image": "tulip_3.jpg", "label": "郁金香"},
    {"image": "tulip_4.jpg", "label": "郁金香"},
]

# 打乱数据集
random.shuffle(dataset)

# 将数据集分为支持集和查询集，用于少样本任务
num_support_examples = 3
num_query_examples = 4

few_shot_task = dataset[:num_support_examples + num_query_examples]

# 准备支持集和查询集
support_set = few_shot_task[:num_support_examples]
query_set = few_shot_task[num_support_examples:]#import csv

定义了一个简单的函数load_image来模拟图像加载，另一个函数get_embedding用来模拟图像特征提取（嵌入）。在这个实现中，load_image函数使用PyTorch的transforms对图像进行预处理并将其转换为张量。该函数从PyTorch模型库中加载一个预训练的ResNet-18模型，对图像进行前向传递，并从其中间的卷积层提取特征。将特征展平并转换为NumPy数组，用于计算few-shot学习示例中的嵌入和距离。

def load_image(image_path):
    image = Image.open(image_path).convert("RGB")
    transform = transforms.Compose([
        transforms.Resize((224, 224)),     
        transforms.ToTensor(),             
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) 
    ])
    return transform(image)

# 使用预训练的CNN（如ResNet-18）为图像生成特征嵌入
def get_embedding(image):
    model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)
    model.eval()

    with torch.no_grad():
        image = image.unsqueeze(0)   # 将图像张量添加批次维度
        features = model(image)      # 模型前向传递获取特征

    # 返回特征嵌入（展平张量）
    return features.squeeze().numpy()#import csv

Few-shot学习技术

根据特定任务需求和可用资源，选择合适的few-shot学习技术。

# 为支持集中的每个类别创建原型
class_prototypes = {}
for example in support_set:
    image = load_image(example["image"])
    embedding = get_embedding(image)

    if example["label"] not in class_prototypes:
        class_prototypes[example["label"]] = []

    class_prototypes[example["label"]].append(embedding)


for label, embeddings in class_prototypes.items():
    class_prototypes[label] = np.mean(embeddings, axis=0)


for query_example in query_set:
    image = load_image(query_example["image"])
    embedding = get_embedding(image)


    distances = {label: np.linalg.norm(embedding - prototype) for label, 
    prototype in class_prototypes.items()}

    predicted_label = min(distances, key=distances.get)
    print(f"查询图像: {query_example['image']}, 预测标签: {predicted_label}")

这是使用原型网络进行图像分类的基本few-shot学习设置。该代码为支持集中的每个类别创建原型。原型是同一类别支持示例的嵌入的均值。原型代表每个类别在特征空间中的中心点。对于查询集中的每个查询示例，该代码计算查询示例的嵌入与支持集中每个类别的原型之间的距离。根据计算得到的距离，将查询示例分配给距离最近的原型所属的类别。最后，该代码打印查询图像的文件名和基于few-shot学习过程得出的预测类别。

# 损失函数（欧几里得距离）
def euclidean_distance(a, b):
    return np.linalg.norm(a - b)

# 计算预测类别的损失（负对数似然）
query_label = query_example["label"]
loss = -np.log(np.exp(-euclidean_distance(query_set_prototype, 
class_prototypes[query_label])) / np.sum(np.exp(-euclidean_distance(query_set_prototype,
 prototype)) for prototype in class_prototypes.values()))

print(f"查询示例的损失: {loss}")#import csv

在计算查询集原型与每个类别原型之间的距离后，我们使用负对数似然（交叉熵损失）计算预测类别的损失。如果查询集原型与正确类别原型之间的距离较大，该损失函数会对模型进行惩罚，鼓励模型最小化该距离并正确分类查询示例。

这是简单实现。以下是使用原型网络的few-shot学习示例的完整实现，包括训练过程：

import numpy as np
import random
import torch
import torch.nn as nn
import torchvision.transforms as transforms
from torch.optim import Adam
from PIL import Image

# 图像样本数据集及其对应的类别标签
# ...（与之前的示例相同）

# 对数据集进行洗牌
random.shuffle(dataset)

# 将数据集划分为few-shot任务的支持集和查询集
num_support_examples = 3
num_query_examples = 4

few_shot_task = dataset[:num_support_examples + num_query_examples]

# 准备支持集和查询集
support_set = few_shot_task[:num_support_examples]
query_set = few_shot_task[num_support_examples:]

# 加载图像并将其转换为张量的辅助函数
def load_image(image_path):
    image = Image.open(image_path).convert("RGB")
    transform = transforms.Compose([
        transforms.Resize((224, 224)),     
        transforms.ToTensor(),             
        transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  
    ])
    return transform(image)

# 使用预训练的CNN（如ResNet-18）为图像生成特征嵌入
def get_embedding(image):
   
    model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)
    model.eval()

    # 使用模型的卷积层从图像中提取特征
    with torch.no_grad():
        image = image.unsqueeze(0)   # 将图像张量添加批次维度
        features = model(image)      # 模型前向传递获取特征

    # 返回特征嵌入（展平张量）
    return features.squeeze()

# 原型网络模型
class PrototypicalNet(nn.Module):
    def __init__(self, input_size, output_size):
        super(PrototypicalNet, self).__init__()
        self.input_size = input_size
        self.output_size = output_size
        self.fc = nn.Linear(input_size, output_size)

    def forward(self, x):
        return self.fc(x)

# 训练
num_classes = len(set([example['label'] for example in support_set]))
input_size = 512   # 特征嵌入的大小（CNN的输出）
output_size = num_classes

# 创建原型网络模型
model = PrototypicalNet(input_size, output_size)

# 损失函数（交叉熵损失）
criterion = nn.CrossEntropyLoss()

# 优化器（Adam）
optimizer = Adam(model.parameters(), lr=0.001)

# 训练循环
num_epochs = 10

for epoch in range(num_epochs):
    model.train()  # 将模型设置为训练模式

    for example in support_set:
        image = load_image(example["image"])
        embedding = get_embedding(image)

        # 将类别标签转换为张量
        label = torch.tensor([example["label"]])

        # 前向传递
        outputs = model(embedding)

        # 计算损失
        loss = criterion(outputs, label)

        # 反向传播和优化
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

    print(f"Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item():.4f}")

# 推断（使用查询集）
model.eval()  # 将模型设置为评估模式

query_set_embeddings = [get_embedding(load_image(example["image"])) 
for example in query_set]

# 计算查询集的原型
query_set_prototype = torch.mean(torch.stack(query_set_embeddings), dim=0)

# 对每个查询示例进行分类
predictions = model(query_set_prototype)

# 获取预测的类别
_, predicted_labels = torch.max(predictions, 0)

# 获取查询示例的预测标签
predicted_label = predicted_labels.item()

# 打印查询示例的预测标签
print(f"查询图像: {query_set[0]['image']}, 预测标签: {predicted_label}")

在这个完整的实现中，我们定义了一个简单的原型网络模型，并使用交叉熵损失和Adam优化器进行训练。训练完成后，我们使用训练好的模型根据原型网络方法对查询示例进行分类。

未来发展方向和潜在应用

这个领域取得了显著的进展，但仍然在不断发展中，有许多有前景的未来方向和潜在应用。以下是未来感兴趣的一些关键领域：

元学习的持续进展：可能会进一步发展。在优化算法、架构设计和元学习策略方面的改进可能会导致更高效和有效的少样本学习模型。解决灾难性遗忘和元学习方法的可扩展性等挑战的研究正在进行中。
融入领域知识：将领域知识整合到少样本学习算法中可以增强它们在不同任务和领域之间泛化和传递知识的能力。将少样本学习与符号推理或结构化知识表示相结合可能会有希望。
探索层次化少样本学习：扩展层次化设置，其中任务和类别被层次化组织，可以使模型利用类别和任务之间的层次关系，从而实现更好的泛化。
少样本强化学习：将少样本学习与强化学习相结合可以使代理能够在有限经验的情况下学习新的任务。这个领域对于机器人控制和自主系统尤为相关。
适应实际应用：应用和实际场景，如医学诊断、药物研发、个性化推荐系统和自适应教学等，具有重要的潜力。未来的研究可能集中于开发针对特定领域的专门少样本学习技术。

结论

这是人工智能和机器学习的一个引人入胜的子领域，解决了用最少的数据训练模型的挑战。在本文中，我们探讨了其定义、与传统机器学习的区别、原型网络以及医学诊断和个性化推荐等实际应用。令人兴奋的研究方向包括元学习、图神经网络和注意机制，推动人工智能快速适应并进行准确预测。

通过普及人工智能并在有限数据上实现适应性，它为更广泛的人工智能应用打开了大门。这一解锁未开发潜力的旅程将引领我们走向机器和人类和谐共存的未来，塑造一个更智能、更有益的人工智能景观。

主要要点

少样本学习是人工智能和机器学习的一个引人入胜的子领域，解决了用有限标记示例训练模型的挑战。
原型网络是一种强大的技术，使模型能够在有限标记数据的情况下适应并进行高效预测。
它在医学诊断和个性化推荐等实际应用中展现了其多样性和实用性，有可能通过减少对大量标记数据的依赖来实现人工智能的民主化。

常见问题

本文中显示的媒体不归Analytics Vidhya所有，仅由作者自行决定使用。

Applications,blogathon,Classes,few-shot learning,images,meta learning,Models,query,training

释放少样本学习的力量

Unlocking the power of few-shot learning

介绍

学习目标

什么是小样本学习？

与传统机器学习的主要区别

小样本学习术语

Few Shot Learning Techniques (少样本学习技术)

Metric-Based Approaches (基于度量的方法)

Model-Based Approaches (基于模型的方法)

Few Shot Learning应用

Few Shot Learning的优势

限制

少样本学习的实际应用

示例

Few-shot学习技术

未来发展方向和潜在应用

结论

主要要点

常见问题

“认识MC-JEPA：一种联合嵌入预测架构，用于自监督学习运动和内容特征”

拥抱人工智能进行软件开发：解决方案策略和实施

认识 Med-PaLM 多模态（Med-PaLM M）：一个大...

企业对生成式人工智能的采用

实用的提示工程

使用Scikit-Learn管道自动化机器学习模型的训...

从多到少：在机器学习中使用降维处理高维数据

了解机器学习分类问题的不同性能指标

人工智能