Paweł Domański
2.2 KiB
2.2 KiB
title, type, tags, created, updated, sources, confidence
| title | type | tags | created | updated | sources | confidence | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Autoresearch | concept |
|
2026-05-14 | 2026-05-14 |
|
high |
Autoresearch
Definition
Wzorzec projektowy (i konkretne narzędzie autorstwa Andreja Karpathy'ego), w którym agent AI (LLM) autonomicznie prowadzi badania nad poprawą innego modelu AI. Agent modyfikuje kod źródłowy, przeprowadza eksperymenty i uczy się na ich wynikach bez bezpośredniego udziału człowieka.
How It Works
System działa w pętli zamkniętej:
- Instrukcje (Meta-prompt): Człowiek definiuje cel i strategię w pliku (np.
program.md). - Akcja: Agent AI modyfikuje plik
train.py. - Eksperyment: Uruchamiany jest krótki (np. 5-minutowy) proces treningowy.
- Ocena: System porównuje wynik (
val_bpb) z poprzednim najlepszym rezultatem. - Wersjonowanie: Udane zmiany są zatwierdzane przez
git, budując trwały postęp.
Key Parameters
- Budżet czasowy: Stały czas na eksperyment (np. 5 min) wymusza szukanie najbardziej efektywnych rozwiązań.
- val_bpb: Obiektywna metryka sukcesu (niższa = lepsza).
- Autonomia: Zdolność agenta do podejmowania setek decyzji bez zatwierdzenia przez człowieka.
When To Use
- Przy optymalizacji hiperparametrów modeli.
- Przy poszukiwaniu nowych architektur sieci neuronowych.
- W badaniach, gdzie przestrzeń poszukiwań jest zbyt duża dla człowieka.
Risks & Pitfalls
- Halucynacje w kodzie: Agent może zaproponować kod, który się nie kompiluje lub daje błędne wyniki (rozwiązywane przez pętlę błędu).
- Zasoby GPU: System wymaga ciągłego dostępu do mocy obliczeniowej.
- Lokalne minima: Agent może utknąć w jednej strategii poprawy (wymaga dopracowania meta-instrukcji).
Related Concepts
- concepts/ai-pipelines - Autoresearch to najbardziej zaawansowana forma rurociągu AI.
- concepts/knowledge-compilation - Kod modelu jest "kompilowany" przez agenta do coraz lepszej formy.