掌握这个开源工具，更快速地构建计算机视觉模型 作者 | Eric Hofesmann译者 | Sambodhi策划 | 刘燕 本文最初发表于 Towards Data Science 博客，经原作者 Eric Hofesmann 授权，InfoQ 中文站翻译并分享。 最近几年，开源工具在满足端到端平台的许多需求方面取得了很大进步。从模型架构开发到数据集管护（Dataset curation），再到模型训练和部署，它们都可以扮演一个不可思议的角色。有了充分的挖掘，你就能发现一个开源的工具，可以支持大量的数据和模型生命周期。工具间的紧密集成是实现近乎无缝工作流的最好方法。本文将对 PyTorch Lightning Flash 与数据集可视化和模型分析工具 FiftyOne 之间的集成进行了深入研究。 Lightning Flash 是一个在 PyTorch Lighting 基础上构建的新框架，它提供了快速原型、基线、微调和深度学习解决业务和科学问题的任务集合。尽管 Flash 很容易上手，但是不管你有多少深度学习经验，你都可以通过 Lightning 和 PyTorch 修改已有的任务来寻找适合你的抽象层次。为更快地推进，Flash 的代码是 可扩展的，内建支持任何硬件的分布式训练和推理。 Flash 可以让你的第一个模型变得非常简单，但是要继续改进，你需要知道你的模型的性能和改进方法。FiftyOne 是一个开源工具，由 Voxel51 开发，用来建立高质量数据集和计算机视觉模型。它提供了优化数据集分析管道的构件，允许你亲自操作数据，包括可视化复杂的标签、评估模型、探索感兴趣的场景、确定失败模式、查找注释错误、管护训练数据集等。 有了 Flash+ FiftyOne，你就可以加载资料集，训练模型，然后分析下列所有计算机视觉任务的结果： 图像分类 图像目标检测 图像语义分割 视频分类 嵌入式可视化 概述Flash 和 FiftyOne 之间的紧密集成允许你执行端到端的工作流，加载数据集，训练它的模型，以及可视化 / 分析它的预测，所有这些都只需要几个简单的代码块。 将 FiftyOne 数据集加载到 Flash尽管使用 FiftyOne 开发数据集一直都很容易，但是与 PyTorch Lightning Flash 集成后，你就可以将这些数据加载到 Flash 中，直接完成训练任务。 from flash.image import ImageClassificationData import fiftyone as fo train_dataset = fo.Dataset.from_dir( "/path/to/train", fo.types.ImageClassificationDirectoryTree, label_field="ground_truth", ) val_dataset = fo.Dataset.from_dir( "/path/to/val", fo.types.ImageClassificationDirectoryTree, label_field="ground_truth", ) datamodule = ImageClassificationData.from_fiftyone( train_dataset=train_dataset, val_dataset=val_dataset, label_field="ground_truth", ) 训练 Flash 任务Flash 提供了你需要的工具，你可以用尽可能少的代码抓取任务的模型，然后从数据上进行微调，最重要的是，不需要成为该领域的专家。 import flash from flash.core.data.utils import download_data from flash.image import ImageClassificationData, ImageClassifier # 1. Download the data download_data("https://pl-flash-data.s3.amazonaws.com/hymenoptera_data.zip", 'data/') # 2. Load the data datamodule = ImageClassificationData.from_folders( train_folder="data/hymenoptera_data/train/", val_folder="data/hymenoptera_data/val/", test_folder="data/hymenoptera_data/test/", ) # 3. Build the model model = ImageClassifier(num_classes=datamodule.num_classes, backbone="resnet18") # 4. Create the trainer. Run once on data trainer = flash.Trainer(max_epochs=1) # 5. Finetune the model trainer.finetune(model, datamodule=datamodule, strategy="freeze") # 6. Save it! trainer.save_checkpoint("image_classification_model.pt") 使用 FiftyOne 可视化 Flash 预测随着现代数据集的复杂性和规模的增加，图像和视频数据的可视化一直是一个挑战。FiftyOne 的设计目的是提供对数据集和标签的用户友好的视图 （包括注释和模型预测)，现在 Flash 模型可以通过一行额外的代码访问这些数据集和标签。 from flash import Trainer from flash.core.classification import FiftyOneLabels from flash.core.integrations.fiftyone import visualize from flash.video import VideoClassificationData, VideoClassifier classifier = VideoClassifier.load_from_checkpoint(...) # Option 1: Generate predictions using a Trainer and datamodule datamodule = VideoClassificationData.from_folders( predict_folder="/path/to/folder", ... ) trainer = Trainer() classifier.serializer = FiftyOneLabels(return_filepath=True) predictions = trainer.predict(classifier, datamodule=datamodule) session = visualize(predictions) # Launch FiftyOne # Option 2: Generate predictions from model using filepaths filepaths = ["list", "of", "filepaths"] predictions = classifier.predict(filepaths) classifier.serializer = FiftyOneLabels() session = visualize(predictions, filepaths=filepaths) # Launch FiftyOne 用 FiftyOne 进行可视化 Flash 视频分类预测。 示例工作流安装要跟上本文的示例，你需要安装相关的软件包。首先，你需要安装 PyTorch Lightning Flash 和 FiftyOne： pip install fiftyone lightning-flash 对于嵌入可视化工作流，你还需要安装降维软件包 umap-learn: pip install umap-learn 通用工作流使用这些工具的大多数模型开发工作流遵循相同的通用结构： 将数据集加载到 FiftyOne。 从数据集创建 Flash数据模块。 对任务进行微调。 从模型生成预测。 向数据集中添加预测结果并将其可视化 图像目标检测本节展示了使用 PyTorch Lightning Flash 和 FiftyOne 之间的这种集成，以训练和评估一个图像目标检测模型的具体示例。 from itertools import chain import fiftyone as fo import fiftyone.zoo as foz from flash import Trainer from flash.image import ObjectDetectionData, ObjectDetector from flash.image.detection.serialization import FiftyOneDetectionLabels # 1. Load your FiftyOne dataset # Here we use views into one dataset, but you can also create a # different dataset for each split dataset = foz.load_zoo_dataset("quickstart", max_samples=40) train_dataset = dataset.shuffle(seed=51)[:20] test_dataset = dataset.shuffle(seed=51)[20:25] val_dataset = dataset.shuffle(seed=51)[25:30] predict_dataset = dataset.shuffle(seed=51)[30:40] # 2. Load the Datamodule datamodule = ObjectDetectionData.from_fiftyone( train_dataset = train_dataset, test_dataset = test_dataset, val_dataset = val_dataset, predict_dataset = predict_dataset, label_field = "ground_truth", batch_size=4, num_workers=4, ) # 3. Build the model model = ObjectDetector( model="retinanet", num_classes=datamodule.num_classes, serializer=FiftyOneDetectionLabels(), ) # 4. Create the trainer trainer = Trainer(max_epochs=1, limit_train_batches=1, limit_val_batches=1) # 5. Finetune the model trainer.finetune(model, datamodule=datamodule) # 6. Save it! trainer.save_checkpoint("object_detection_model.pt") # 7. Generate predictions model = ObjectDetector.load_from_checkpoint( "https://flash-weights.s3.amazonaws.com/object_detection_model.pt" ) model.serializer = FiftyOneDetectionLabels() predictions = trainer.predict(model, datamodule=datamodule) predictions = list(chain.from_iterable(predictions)) # flatten batches # 8. Add predictions to dataset and analyze predict_dataset.set_values("flash_predictions", predictions) session = fo.launch_app(view=predict_dataset) 在 FiftyOne 中可视化的 Flash 目标检测预测 在此之后，你可以将预测返回到数据集中，并且可以运行评估来 生成混淆矩阵、PR 曲线，以及 准确率和 mAP 等指标。尤其是，你可以 识别并查看个别的真 / 假正类 / 负类结果)，让你了解你的模型在哪些方面表现良好，哪些方面表现不佳。基于常见失败模式改进模型是开发更好模型的更加可靠的方法。 FiftyOne 中的交互式混淆矩阵 嵌入式可视化这个工作流的独特之处在于，它采用预训练模型，并使用它们来生成数据集中的每一张图片的嵌入向量。然后，你就可以 在低维空间中计算这些嵌入的可视化，以查找数据集群。这一功能可以为硬样本挖掘、数据注释、注释样本推荐等提供有价值的发现。 有了 交互图 的概念，你可以点击或圈出这些嵌入的区域，并自动更新你的会话，查看和 标记相应的示例。 其他任务你可以在这里查看其他任务的类似工作流，例如 分类和分割。 总 结开源社区多年来的发展令人瞩目，特别是在机器学习领域。尽管单独的工具可以很好地解决一个特定的问题，但是它们之间的紧密结合形成了一个强大的工作流。PyTorch Lightning Flash 与 FiftyOne 之间的新集成为开发数据集、训练模型和分析结果提供了一种新的简便方法。 作者介绍： Eric Hofesmann，Voxel51 机器学习工程师，密歇根大学（University of Michigan）计算机科学硕士。 原文链接： https://towardsdatascience.com/open-source-tools-for-fast-computer-vision-model-building-b39755aab490 你也「在看」吗？?? 阅读原文