Jun 9, 2026, 3:31 PM

2026-06-09 13:31:56 +00:00
parent 371ae1ae23
commit abca038f50
41 changed files with 0 additions and 0 deletions
@@ -0,0 +1,23 @@
+---
+title: "val_bpb (Bits Per Byte)"
+type: "concept"
+tags: [machine-learning, metryka, AI]
+created: 2026-05-14
+updated: 2026-05-14
+sources: ["[[summaries/how-to-deploy-autoresearch]]"]
+confidence: high
+---
+
+# val_bpb (Bits Per Byte)
+
+## Definition
+Metryka stosowana w uczeniu maszynowym (szczególnie w modelach językowych), mierząca jak efektywnie model przewiduje dane. Określa średnią liczbę bitów potrzebną do zakodowania jednego bajtu informacji.
+
+## How It Works
+Niższa wartość `val_bpb` oznacza, że model lepiej "rozumie" strukturę danych i potrafi je przewidzieć z mniejszą niepewnością. W projekcie [[concepts/autoresearch]] służy jako główny kompas dla agenta AI – każda zmiana w kodzie musi prowadzić do obniżenia tej liczby.
+
+## Why It Matters
+W przeciwieństwie do innych metryk, `val_bpb` jest niezależna od rozmiaru słownika (vocabulary size) czy tokenizera, co czyni ją idealną do porównywania bardzo różnych architektur modeli i metod treningowych.
+
+## Sources
+- [[summaries/how-to-deploy-autoresearch]]