Paweł Domański
24 lines
1.0 KiB
Markdown
24 lines
1.0 KiB
Markdown
---
|
||
title: "val_bpb (Bits Per Byte)"
|
||
type: "concept"
|
||
tags: [machine-learning, metryka, AI]
|
||
created: 2026-05-14
|
||
updated: 2026-05-14
|
||
sources: ["[[summaries/how-to-deploy-autoresearch]]"]
|
||
confidence: high
|
||
---
|
||
|
||
# val_bpb (Bits Per Byte)
|
||
|
||
## Definition
|
||
Metryka stosowana w uczeniu maszynowym (szczególnie w modelach językowych), mierząca jak efektywnie model przewiduje dane. Określa średnią liczbę bitów potrzebną do zakodowania jednego bajtu informacji.
|
||
|
||
## How It Works
|
||
Niższa wartość `val_bpb` oznacza, że model lepiej "rozumie" strukturę danych i potrafi je przewidzieć z mniejszą niepewnością. W projekcie [[concepts/autoresearch]] służy jako główny kompas dla agenta AI – każda zmiana w kodzie musi prowadzić do obniżenia tej liczby.
|
||
|
||
## Why It Matters
|
||
W przeciwieństwie do innych metryk, `val_bpb` jest niezależna od rozmiaru słownika (vocabulary size) czy tokenizera, co czyni ją idealną do porównywania bardzo różnych architektur modeli i metod treningowych.
|
||
|
||
## Sources
|
||
- [[summaries/how-to-deploy-autoresearch]]
|