---
title: "val_bpb (Bits Per Byte)"
type: "concept"
tags: [machine-learning, metryka, AI]
created: 2026-05-14
updated: 2026-05-14
sources: ["[[summaries/how-to-deploy-autoresearch]]"]
confidence: high
---

# val_bpb (Bits Per Byte)

## Definition
Metryka stosowana w uczeniu maszynowym (szczególnie w modelach językowych), mierząca jak efektywnie model przewiduje dane. Określa średnią liczbę bitów potrzebną do zakodowania jednego bajtu informacji.

## How It Works
Niższa wartość `val_bpb` oznacza, że model lepiej "rozumie" strukturę danych i potrafi je przewidzieć z mniejszą niepewnością. W projekcie [[concepts/autoresearch]] służy jako główny kompas dla agenta AI – każda zmiana w kodzie musi prowadzić do obniżenia tej liczby.

## Why It Matters
W przeciwieństwie do innych metryk, `val_bpb` jest niezależna od rozmiaru słownika (vocabulary size) czy tokenizera, co czyni ją idealną do porównywania bardzo różnych architektur modeli i metod treningowych.

## Sources
- [[summaries/how-to-deploy-autoresearch]]