Paweł Domański
47 lines
2.2 KiB
Markdown
47 lines
2.2 KiB
Markdown
---
|
|
title: "Autoresearch"
|
|
type: "concept"
|
|
tags: [AI, automatyzacja, machine-learning, karpathy]
|
|
created: 2026-05-14
|
|
updated: 2026-05-14
|
|
sources: ["[[summaries/how-to-deploy-autoresearch]]", "[[summaries/karpathy-llm-knowledge-breakdown]]"]
|
|
confidence: high
|
|
---
|
|
|
|
# Autoresearch
|
|
|
|
## Definition
|
|
Wzorzec projektowy (i konkretne narzędzie autorstwa Andreja Karpathy'ego), w którym agent AI (LLM) autonomicznie prowadzi badania nad poprawą innego modelu AI. Agent modyfikuje kod źródłowy, przeprowadza eksperymenty i uczy się na ich wynikach bez bezpośredniego udziału człowieka.
|
|
|
|
## How It Works
|
|
System działa w pętli zamkniętej:
|
|
1. **Instrukcje (Meta-prompt)**: Człowiek definiuje cel i strategię w pliku (np. `program.md`).
|
|
2. **Akcja**: Agent AI modyfikuje plik `train.py`.
|
|
3. **Eksperyment**: Uruchamiany jest krótki (np. 5-minutowy) proces treningowy.
|
|
4. **Ocena**: System porównuje wynik (`val_bpb`) z poprzednim najlepszym rezultatem.
|
|
5. **Wersjonowanie**: Udane zmiany są zatwierdzane przez `git`, budując trwały postęp.
|
|
|
|
## Key Parameters
|
|
- **Budżet czasowy**: Stały czas na eksperyment (np. 5 min) wymusza szukanie najbardziej efektywnych rozwiązań.
|
|
- **val_bpb**: Obiektywna metryka sukcesu (niższa = lepsza).
|
|
- **Autonomia**: Zdolność agenta do podejmowania setek decyzji bez zatwierdzenia przez człowieka.
|
|
|
|
## When To Use
|
|
- Przy optymalizacji hiperparametrów modeli.
|
|
- Przy poszukiwaniu nowych architektur sieci neuronowych.
|
|
- W badaniach, gdzie przestrzeń poszukiwań jest zbyt duża dla człowieka.
|
|
|
|
## Risks & Pitfalls
|
|
- **Halucynacje w kodzie**: Agent może zaproponować kod, który się nie kompiluje lub daje błędne wyniki (rozwiązywane przez pętlę błędu).
|
|
- **Zasoby GPU**: System wymaga ciągłego dostępu do mocy obliczeniowej.
|
|
- **Lokalne minima**: Agent może utknąć w jednej strategii poprawy (wymaga dopracowania meta-instrukcji).
|
|
|
|
## Related Concepts
|
|
- [[concepts/ai-pipelines]] - Autoresearch to najbardziej zaawansowana forma rurociągu AI.
|
|
- [[concepts/knowledge-compilation]] - Kod modelu jest "kompilowany" przez agenta do coraz lepszej formy.
|
|
|
|
## Sources
|
|
- [[summaries/how-to-deploy-autoresearch]]
|
|
- [[summaries/karpathy-llm-knowledge-breakdown]]
|
|
|