Paweł Domański
1.0 KiB
1.0 KiB
title, type, tags, created, updated, sources, confidence
| title | type | tags | created | updated | sources | confidence | ||||
|---|---|---|---|---|---|---|---|---|---|---|
| val_bpb (Bits Per Byte) | concept |
|
2026-05-14 | 2026-05-14 |
|
high |
val_bpb (Bits Per Byte)
Definition
Metryka stosowana w uczeniu maszynowym (szczególnie w modelach językowych), mierząca jak efektywnie model przewiduje dane. Określa średnią liczbę bitów potrzebną do zakodowania jednego bajtu informacji.
How It Works
Niższa wartość val_bpb oznacza, że model lepiej "rozumie" strukturę danych i potrafi je przewidzieć z mniejszą niepewnością. W projekcie concepts/autoresearch służy jako główny kompas dla agenta AI – każda zmiana w kodzie musi prowadzić do obniżenia tej liczby.
Why It Matters
W przeciwieństwie do innych metryk, val_bpb jest niezależna od rozmiaru słownika (vocabulary size) czy tokenizera, co czyni ją idealną do porównywania bardzo różnych architektur modeli i metod treningowych.