SpeechBrain 高级

🔗 性能分析

Nautsch A.

2022 年 6 月

难度:中等

时间:45 分钟

🔗 Google Colab

SpeechBrain 模型性能分析和基准测试可以服务于不同的目的,并从不同的角度进行。性能要求高度依赖于使用 SpeechBrain 的特定用例。这为全面的自学提供了手段,作为超出所提供内容的个人成长的起点。

🔗 动态批处理:它是什么以及为什么有时需要它

Nautsch A. 和 Cornell S.

2021 年 11 月

难度:中等

时间:25 分钟

🔗 Google Colab

您想加速训练或减少内存需求吗?动态批处理可能是一个解决方案。通过这种方法,您可以动态地采样由可变数量的句子组成的批次。在本教程中,我们将展示如何在 SpeechBrain 中使用这项技术。

🔗 超参数优化

Ploujnikov A.

2021 年 12 月

难度:中等

时间:25 分钟

🔗 Google Colab

您想优化模型的超参数吗?您是否厌倦了手动调整?本教程将介绍如何使用 Orion 工具包优化 SpeechBrain 模型的超参数。

🔗 通过 SpeechBrain 和 Flower 进行联邦语音模型训练

Gao Y. & Parcollet T.

2021 年 11 月

难度:高

时间:45 分钟

🔗 Google Colab

您对联邦学习 (FL) 和语音处理都感兴趣,但又担心缺乏合适的工具来运行实验?今天您将找到答案。本教程将介绍如何集成 Flower 和 SpeechBrain 来实现联邦语音模型训练。

🔗 在训练好的 SpeechBrain 模型上进行推理

Parcollet T.

2021 年 9 月

难度:中等

时间:30 分钟

🔗 Google Colab

在本教程中,我们将学习在训练好的模型上进行推理的三种不同方法。这对于调试您的管道或在生产环境中部署模型特别有用。

🔗 使用 HuggingFace 的预训练模型和微调

Cornell S. & Parcollet T.

2021 年 3 月

难度:中等

时间:30 分钟

🔗 Google Colab

训练 DNN 模型通常非常耗时且昂贵。因此,在可能的情况下,使用现成的预训练模型在各种场景中都非常方便。我们提供了一种简单直接的方法来从 HuggingFace 下载和实例化最先进的预训练模型,并将其用于直接推理、微调/知识蒸馏或您能想到的任何新颖技术!

🔗 大型数据集和共享文件系统的数据加载

Rouhe A.

2021 年 2 月

难度:中等

时间:15 分钟

🔗 Google Colab

您是否有一个存储在共享文件系统中的庞大数据集?本教程将向您展示如何从共享文件系统加载大型数据集,并使用它们通过 SpeechBrain 训练神经网络。特别是,我们描述了一种基于 WebDataset 库的解决方案,该方案易于集成到 SpeechBrain 工具包中。

🔗 文本分词

Heba A. & Parcollet T.

2021 年 2 月

难度:简单

时间:20 分钟

🔗 Google Colab

处理文本的机器学习任务可能包含数千个词汇词,这导致模型需要处理庞大的嵌入作为输入/输出(例如,对于 One-Hot 向量和 ndim=词汇量大小)。这会导致大量的内存消耗、复杂的计算,更重要的是,由于极其稀疏和繁琐的 One-Hot 向量,学习效果不佳。在本教程中,我们提供了正确使用依赖于 SentencePiece(BPE 和 unigram)的 SpeechBrain 分词器所需的所有基础知识。

🔗 将量化应用于语音识别模型

Lam J.

2024 年 4 月

难度:中等

时间:30 分钟

🔗 Google Colab

量化是许多深度神经网络的必要步骤,特别是对于需要低延迟和高效内存使用的任务,例如实时自动语音识别。本教程将介绍量化的问题,并解释如何使用 SpeechBrain 执行量化。