Przełomowy esej Andreja Karpathy'ego definiujący przejście od tradycyjnego oprogramowania (Software 1.0) do systemów opartych na sieciach neuronowych (Software 2.0). Autor argumentuje, że sieci neuronowe nie są tylko klasyfikatorem, ale fundamentalnie nowym sposobem pisania oprogramowania.
Key Points
Software 1.0 vs 2.0:
1.0: Kod pisany przez ludzi linia po linii (np. C++, Python). Jawne instrukcje.
2.0: Kod pisany przez optymalizację (trening) na podstawie danych i celu. Abstrakcyjne wagi sieci neuronowej.
Kompilacja: W świecie 2.0 proces treningu jest odpowiednikiem kompilacji. Kodem źródłowym są dane i architektura modelu.