speechbrain.tokenizers

定义 SentencePiece 分词器的包

`speechbrain.tokenizers.SentencePiece`	用于字节对编码 (BPE) 分词的库。作者 * Abdelwahab Heba 2020 * Loren Lugosch 2020。
`speechbrain.tokenizers.discrete_SSL_tokenizer`	用于语义 Token 的分词器。