Paweł Domański
2.0 KiB
title, type, tags, created, updated, sources, confidence
| title | type | tags | created | updated | sources | confidence | |||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Model as CPU, Harness as OS (Model jako CPU, Rusztowanie jako OS) | concept |
|
2026-06-09 | 2026-06-09 |
|
high |
Model as CPU, Harness as OS (Model jako CPU, Rusztowanie jako OS)
Definition
Mentalny wzorzec architektoniczny w inżynierii systemów agentowych, w którym sam model językowy (LLM) jest traktowany jak surowa jednostka obliczeniowa (CPU), natomiast rusztowanie systemowe (harness / scaffolding) pełni rolę systemu operacyjnego (OS).
How It Works
Model językowy (np. Gemini lub Claude) sam z siebie jest bezstanowy i po prostu zgaduje kolejne wyrazy na podstawie dostarczonego kontekstu. Aby stworzyć stabilnego, bezpiecznego i deterministycznego agenta produkcyjnego, potrzebne jest rusztowanie (harness), które działa jak OS:
- Zarządzanie wejściem/wyjściem: Parsowanie zapytań, walidacja poprawności formatu (np. schematów JSON).
- Zarządzanie narzędziami: Udostępnianie modelowi tylko niezbędnych, precyzyjnie opisanych API i funkcji (ograniczenie entropii decyzyjnej).
- Obsługa stanu (State & Checkpointing): Możliwość zapisywania stanu działania agenta, wstrzymywania i wznawiania (checkpoint/resume).
- Śledzenie wykonania (Tracing): Trwałe rejestrowanie każdego kroku wnioskowania i użycia narzędzi do celów debugowania i audytu (run-level tracing).
- Zasady bezpieczeństwa (Guardrails): Nienaruszalne reguły i filtry blokujące niebezpieczne komendy i wyciek poufnych danych.
Why It Matters
Różne rusztowania zbudowane wokół tego samego modelu językowego dają gigantyczne różnice w jakości i poprawności wykonywanych zadań. Zamiast ciągłej wymiany modelu na większy, inżynierowie powinni inwestować w optymalizację i utwardzanie "systemu operacyjnego" agenta (kontrakty agentów, obsługa błędów, walidacja).