Also known as BPE
data compression in which the most common pair of consecutive bytes is replaced with a byte that doesn't occur within the data
バイト対符号化(ばいとついふごうか、英: Byte Pair Encoding、略してBPE)は、データ圧縮法のひとつで、可逆圧縮に分類される。一般的な圧縮法と比較して圧縮速度が極端に遅いという欠点はあるが、展開速度は爆発的な速さである。また、展開ルーチンが非常に小さく作ることが可能であるという特徴を持つ。このような特徴から、性能の低いコンピュータ用のゲームソフトのデータ圧縮などに用いられることが多い。
Abstract from DBpedia / Wikipedia · CC BY-SA
Discovered by embedding cosine similarity (sentence-transformers MiniLM, 384-dim).