Jun 9, 2026, 3:59 PM
This commit is contained in:
Paweł Domański
+38
-38
@@ -1,6 +1,6 @@
|
||||
---
|
||||
title: "Andrej Karpathy’s LLM Wiki: Create your own knowledge base"
|
||||
source: "https://medium.com/@urvvil08/andrej-karpathys-llm-wiki-create-your-own-knowledge-base-8779014accd5"
|
||||
title: "Andrej Karpathy’s LLM Knowledge Base: Create your own knowledge base"
|
||||
source: "https://medium.com/@urvvil08/andrej-karpathys-llm-knowledge-create-your-own-knowledge-base-8779014accd5"
|
||||
author:
|
||||
- "[[Urvil Joshi]]"
|
||||
published: 2026-04-20
|
||||
@@ -11,7 +11,7 @@ tags:
|
||||
---
|
||||
Andrej Karpathy [**tweeted**](https://x.com/karpathy/status/2039805659525644595) something that quietly broke the AI community’s understanding of how we should be using LLMs to manage knowledge.
|
||||
|
||||
Two days later, he followed up with a GitHub gist called [**llm-wiki.md**](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f). The idea isn’t a product. It’s not code. It’s a *pattern* a special one that might make will help you create a small scale personal knowledge base in few minutes.
|
||||
Two days later, he followed up with a GitHub gist called [**llm-knowledge.md**](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f). The idea isn’t a product. It’s not code. It’s a *pattern* a special one that might make will help you create a small scale personal knowledge base in few minutes.
|
||||
|
||||
Let’s break this down.
|
||||
|
||||
@@ -27,7 +27,7 @@ And that’s what he published a single markdown file on GitHub Gist. Something
|
||||
|
||||
## ✨The Core Idea: Stop Retrieving. Start Compiling.
|
||||
|
||||
Here’s the insight in one sentence: **instead of having the LLM re-read your raw documents every time you ask a question, build a persistent, structured wiki once and keep it updated forever.**
|
||||
Here’s the insight in one sentence: **instead of having the LLM re-read your raw documents every time you ask a question, build a persistent, structured knowledge once and keep it updated forever.**
|
||||
|
||||
Karpathy used an analogy from software engineering: **compilation**.
|
||||
|
||||
@@ -43,22 +43,22 @@ Karpathy used an analogy from software engineering: **compilation**.
|
||||
┌─────────────────────────────────────────────────────────────┐
|
||||
│ LLM WIKI │
|
||||
│ │
|
||||
│ Raw Sources ──[ LLM compiles ]──► Wiki │
|
||||
│ Raw Sources ──[ LLM compiles ]──► Knowledge Base │
|
||||
│ (PDFs, notes, (pre-synthesized, │
|
||||
│ articles) interlinked, │
|
||||
│ always ready) │
|
||||
└─────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
You don’t execute source code every time you want to run a program. You compile it once into a binary and run *that*. Karpathy says: treat knowledge the same way. Your PDFs and notes are the source code. The wiki is the binary.
|
||||
You don’t execute source code every time you want to run a program. You compile it once into a binary and run *that*. Karpathy says: treat knowledge the same way. Your PDFs and notes are the source code. The knowledge is the binary.
|
||||
|
||||
Every time you add a new document, the LLM doesn’t just index it. It **reads it, extracts the key information, updates existing pages, revises summaries, flags contradictions, and strengthens cross-links**. The wiki is a persistent, compounding artifact.
|
||||
Every time you add a new document, the LLM doesn’t just index it. It **reads it, extracts the key information, updates existing pages, revises summaries, flags contradictions, and strengthens cross-links**. The knowledge is a persistent, compounding artifact.
|
||||
|
||||
In Karpathy’s own words, the line that captures the whole philosophy:
|
||||
|
||||
> “Obsidian is the IDE; the LLM is the programmer; the wiki is the codebase.”
|
||||
> “Obsidian is the IDE; the LLM is the programmer; the knowledge is the codebase.”
|
||||
|
||||
You rarely write the wiki yourself. You curate sources, ask questions, and think. The LLM handles the whole work summarizing, cross-referencing, filing, and bookkeeping.
|
||||
You rarely write the knowledge yourself. You curate sources, ask questions, and think. The LLM handles the whole work summarizing, cross-referencing, filing, and bookkeeping.
|
||||
|
||||
## 🔍The Three-Layer Architecture
|
||||
|
||||
@@ -89,11 +89,11 @@ You rarely write the wiki yourself. You curate sources, ask questions, and think
|
||||
╚══════════════════════════════════════════════════════════════╝
|
||||
```
|
||||
|
||||
**Layer 1 — Raw sources.** Your curated collection. Articles, papers, meeting notes, images. Immutable. The LLM reads them but *never* modifies them. This is your ground truth. The fact that they’re immutable is a deliberate design choice: you can always re-compile the wiki from scratch if needed.
|
||||
**Layer 1 — Raw sources.** Your curated collection. Articles, papers, meeting notes, images. Immutable. The LLM reads them but *never* modifies them. This is your ground truth. The fact that they’re immutable is a deliberate design choice: you can always re-compile the knowledge from scratch if needed.
|
||||
|
||||
**Layer 2 — The wiki.** A directory of markdown files the LLM owns completely. Entity pages, concept pages, summaries, an index, a log. You read it. The LLM writes it.
|
||||
**Layer 2 — The knowledge.** A directory of markdown files the LLM owns completely. Entity pages, concept pages, summaries, an index, a log. You read it. The LLM writes it.
|
||||
|
||||
**Layer 3 — The schema.** This is a CLAUDE.md (for Claude Code) or AGENTS.md (for Codex) file. It’s the config that turns a generic agent into a *disciplined wiki maintainer*. It defines how pages are structured, how new sources get ingested, how answers get formatted.
|
||||
**Layer 3 — The schema.** This is a CLAUDE.md (for Claude Code) or AGENTS.md (for Codex) file. It’s the config that turns a generic agent into a *disciplined knowledge maintainer*. It defines how pages are structured, how new sources get ingested, how answers get formatted.
|
||||
|
||||
## 🧰The Three Operations
|
||||
|
||||
@@ -110,11 +110,11 @@ You rarely write the wiki yourself. You curate sources, ask questions, and think
|
||||
│ 1. INGEST │ │ 2. QUERY │ │ 3. LINT │
|
||||
├────────────┤ ├────────────┤ ├────────────┤
|
||||
│ Drop new │ │ Ask a │ │ Health- │
|
||||
│ source → │ │ question → │ │ check wiki │
|
||||
│ source → │ │ question → │ │ check knowledge │
|
||||
│ LLM reads, │ │ LLM reads │ │ → find │
|
||||
│ summarises,│ │ wiki & │ │ contra- │
|
||||
│ summarises,│ │ knowledge & │ │ contra- │
|
||||
│ updates │ │ synthesises│ │ dictions, │
|
||||
│ 10–15 wiki │ │ answer │ │ orphans, │
|
||||
│ 10–15 knowledge │ │ answer │ │ orphans, │
|
||||
│ pages │ │ w/ cites │ │ stale data │
|
||||
└─────┬──────┘ └─────┬──────┘ └─────┬──────┘
|
||||
│ │ │
|
||||
@@ -130,13 +130,13 @@ You rarely write the wiki yourself. You curate sources, ask questions, and think
|
||||
|
||||
**Ingest.** You drop a source into the raw folder. The LLM reads it, writes a summary page, and touches some related pages updating, cross-linking, flagging contradictions. A single article becomes a web of updates across your entire knowledge base.
|
||||
|
||||
**Query.** You ask a question. The LLM doesn’t search raw documents it reads the already synthesized wiki and answers. And here’s the compounding trick: **good answers can be filed back into the wiki as new pages**. Your explorations become permanent knowledge.
|
||||
**Query.** You ask a question. The LLM doesn’t search raw documents it reads the already synthesized knowledge and answers. And here’s the compounding trick: **good answers can be filed back into the knowledge as new pages**. Your explorations become permanent knowledge.
|
||||
|
||||
**Lint.** Periodically, you ask the LLM to audit the whole wiki. Find contradictions. Find orphan pages with no links pointing in. Find concepts that are mentioned but missing their own page. The wiki stays healthy because the LLM does the maintenance no human ever wants to do.
|
||||
**Lint.** Periodically, you ask the LLM to audit the whole knowledge. Find contradictions. Find orphan pages with no links pointing in. Find concepts that are mentioned but missing their own page. The knowledge stays healthy because the LLM does the maintenance no human ever wants to do.
|
||||
|
||||
## ✨Let’s Actually Build One
|
||||
|
||||
Let’s build a working LLM Wiki together.
|
||||
Let’s build a working LLM Knowledge Base together.
|
||||
|
||||
### What you need
|
||||
|
||||
@@ -151,20 +151,20 @@ Open your terminal:
|
||||
bash
|
||||
|
||||
```c
|
||||
mkdir llm-wiki-demo && cd llm-wiki-demo
|
||||
mkdir llm-knowledge-demo && cd llm-knowledge-demo
|
||||
mkdir raw
|
||||
```
|
||||
|
||||
Masz teraz:
|
||||
|
||||
```c
|
||||
llm-wiki-demo/
|
||||
llm-knowledge-demo/
|
||||
├── raw/ (your immutable sources go here)
|
||||
```
|
||||
|
||||
### Krok 2: Otwórz Claude Code w tym folderze i wklej tę pojedynczą wiadomość
|
||||
|
||||
> =="Chcę, żebyś przeczytał ten plik pomysłów autorstwa Andreja Karpathy'ego i pomógł mi założyć Wiki LLM w tym katalogu. Zanim cokolwiek zrobisz, zapytaj mnie, o czym będzie ta wiki i jakich źródeł zamierzam ją podać. Gdy odpowiem, napisz mi plik schematu CLAUDE.md na podstawie mojej odpowiedzi".==
|
||||
> =="Chcę, żebyś przeczytał ten plik pomysłów autorstwa Andreja Karpathy'ego i pomógł mi założyć Knowledge Base LLM w tym katalogu. Zanim cokolwiek zrobisz, zapytaj mnie, o czym będzie ta knowledge i jakich źródeł zamierzam ją podać. Gdy odpowiem, napisz mi plik schematu CLAUDE.md na podstawie mojej odpowiedzi".==
|
||||
|
||||
Tutaj wklej pełną treść [oryginalnego smysłu Karpathy'ego](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f)
|
||||
|
||||
@@ -172,18 +172,18 @@ Tutaj wklej pełną treść [oryginalnego smysłu Karpathy'ego](https://gist.git
|
||||
|
||||
Claude odpowie kilkoma pytaniami wyjaśniającymi, takimi jak:
|
||||
|
||||
- Jaki temat będzie poruszać ta wiki?
|
||||
- Jaki temat będzie poruszać ta knowledge?
|
||||
- Jakie źródła będziesz mu dostarczać?
|
||||
- Ile mniej więcej chcesz pochłonąć?
|
||||
- Jakie typy stron chcesz?
|
||||
|
||||
### Krok 4: Odpowiedz szczerze
|
||||
|
||||
Do tego dema tworzę wiki o **AI i filozofii oprogramowania**. Moja odpowiedź:
|
||||
Do tego dema tworzę knowledge o **AI i filozofii oprogramowania**. Moja odpowiedź:
|
||||
|
||||
> "Wiki obejmuje badania nad AI i filozofię oprogramowania. Dam mu krótkie eseje i wpisy na blogu od takich osób jak Rich Sutton i Andrej Karpathy. Prawdopodobnie 10–20 źródeł. Chcę stron koncepcyjne, streszczeń esejów i stron autorów."
|
||||
> "Knowledge Base obejmuje badania nad AI i filozofię oprogramowania. Dam mu krótkie eseje i wpisy na blogu od takich osób jak Rich Sutton i Andrej Karpathy. Prawdopodobnie 10–20 źródeł. Chcę stron koncepcyjne, streszczeń esejów i stron autorów."
|
||||
|
||||
Claude teraz napisze plik dostosowany do tego zastosowania, inicjalizuje i, i powie coś w stylu *"Gotowy do pobrania twojego pierwszego źródła."* `CLAUDE.md` `wiki/index.md` `wiki/log.md`
|
||||
Claude teraz napisze plik dostosowany do tego zastosowania, inicjalizuje i, i powie coś w stylu *"Gotowy do pobrania twojego pierwszego źródła."* `CLAUDE.md` `knowledge/index.md` `knowledge/log.md`
|
||||
|
||||
Po prostu zbudowałeś cały schemat bez napisania choćby jednej linii kodu. To jest wzorzec Karpathy'ego, który działa dokładnie tak, jak zamierzono.
|
||||
|
||||
@@ -202,7 +202,7 @@ Powiedz Claude'owi:
|
||||
Zobacz, co się stanie. Claude czyta dwustronicowy esej i generuje coś w stylu:
|
||||
|
||||
```c
|
||||
wiki/
|
||||
knowledge/
|
||||
├── index.md (updated)
|
||||
├── log.md (new entry appended)
|
||||
├── sources/
|
||||
@@ -222,7 +222,7 @@ wiki/
|
||||
└── rich-sutton.md
|
||||
```
|
||||
|
||||
Jeden dwustronicowy PDF stał się ~10 połączonych stron. Każda strona odwołuje się do pozostałych w stylu Obsidian.`[[wikilinks]]`
|
||||
Jeden dwustronicowy PDF stał się ~10 połączonych stron. Każda strona odwołuje się do pozostałych w stylu Obsidian.`[[knowledgelinks]]`
|
||||
|
||||
**#2 — "Oprogramowanie 2.0" Karpathy'ego**
|
||||
|
||||
@@ -232,11 +232,11 @@ Powiedz Claude'owi:
|
||||
|
||||
> "Połykanie." `raw/software-2-0.pdf`
|
||||
|
||||
Claude nie zaczyna od zera. Najpierw czyta twoją istniejącą wiki, rozpoznaje, że esej Karpathy'ego "Software 2.0" argumentuje czymś ściśle związanym z Gorzką Lekcją, i robi coś niezwykłego: **aktualizuje istniejące strony**, dodając ramy Karpathy'ego, wzmacnia odniesienia krzyżowe i tworzy nowe strony tylko tam, gdzie jest to potrzebne.
|
||||
Claude nie zaczyna od zera. Najpierw czyta twoją istniejącą knowledge, rozpoznaje, że esej Karpathy'ego "Software 2.0" argumentuje czymś ściśle związanym z Gorzką Lekcją, i robi coś niezwykłego: **aktualizuje istniejące strony**, dodając ramy Karpathy'ego, wzmacnia odniesienia krzyżowe i tworzy nowe strony tylko tam, gdzie jest to potrzebne.
|
||||
|
||||
Strona teraz zawiera link zwrotny, ponieważ LLM wykrył koncepcyjny związek między dwoma esejami, link, który *nie dodał nikt inny*.`software-2-0.md` `[[bitter-lesson]]`
|
||||
|
||||
**Twoja wiki stała się gęstsza, nie tylko większa.** To jest właściwość złożenia, na którą wskazuje Karpathy.
|
||||
**Twoja knowledge stała się gęstsza, nie tylko większa.** To jest właściwość złożenia, na którą wskazuje Karpathy.
|
||||
|
||||
### Krok 6: Zadaj pytanie syntetyczne
|
||||
|
||||
@@ -244,19 +244,19 @@ A teraz efekt:
|
||||
|
||||
> "Jak Sutton i Karpathy zgadzają się co do przyszłości oprogramowania i gdzie mogą się nie zgadzać?"
|
||||
|
||||
==Claude nie otwiera ponownie PDF-ów. Odczytuje dwie strony wiki, które właśnie stworzyłeś, podąża za== ==`[[linkami]]`== między nimi i w kilka sekund daje ugruntowaną syntezę międzyautorów. Ta odpowiedź, która opiera się na połączeniach, które nie istniały 60 sekund temu, jest teraz plikiem leżącym w twoim skarbcu na zawsze.
|
||||
==Claude nie otwiera ponownie PDF-ów. Odczytuje dwie strony knowledge, które właśnie stworzyłeś, podąża za== ==`[[linkami]]`== między nimi i w kilka sekund daje ugruntowaną syntezę międzyautorów. Ta odpowiedź, która opiera się na połączeniach, które nie istniały 60 sekund temu, jest teraz plikiem leżącym w twoim skarbcu na zawsze.
|
||||
|
||||
To właśnie ma na myśli Karpathy, mówiąc, że wiedza *się kumuluje*.
|
||||
|
||||
### Krok 7: Otwórz Obsidian i skieruj go na folder
|
||||
|
||||
Zainstaluj [Obsidian](https://obsidian.md/), stwórz nowy skarbiec, skieruj go na swój folder i kliknij **w widok grafu**.`llm-wiki-demo/`
|
||||
Zainstaluj [Obsidian](https://obsidian.md/), stwórz nowy skarbiec, skieruj go na swój folder i kliknij **w widok grafu**.`llm-knowledge-demo/`
|
||||
|
||||
Teraz patrzysz na swoją wiedzę jako na sieć. Węzły to strony. Krawędzie to ogniwa, które Claude dodawał automatycznie. Każde dodane źródło sprawia, że wykres staje się gęstszy.
|
||||
|
||||
To właśnie wtedy wykres jest wyrenderowany po raz pierwszy, wtedy większość ludzi to rozumie.
|
||||
|
||||
## 🔍RAG vs LLM Wiki: Szczere porównanie
|
||||
## 🔍RAG vs LLM Knowledge Base: Szczere porównanie
|
||||
|
||||
Pytanie, które wszyscy zadają: czy to faktycznie lepsze niż RAG?
|
||||
|
||||
@@ -268,7 +268,7 @@ Szczera odpowiedź: **żadne z nich nie wygrywa. Rozwiązują różne problemy.*
|
||||
├─────────────────────────────────┼─────────────────────────────────┤
|
||||
│ │ │
|
||||
│ 📄 Raw docs stay raw │ 📄 Raw docs compiled into │
|
||||
│ │ structured wiki pages │
|
||||
│ │ structured knowledge pages │
|
||||
│ │ │
|
||||
│ 🔍 Retrieves chunks per query │ 📖 Reads pre-synthesized pages │
|
||||
│ │ │
|
||||
@@ -301,15 +301,15 @@ Szczera odpowiedź: **żadne z nich nie wygrywa. Rozwiązują różne problemy.*
|
||||
|
||||
**RAG** jest świetny, gdy masz miliony dokumentów, które ciągle się zmieniają i potrzebujesz precyzyjnych cytowań do konkretnego fragmentu. Pomyśl o obsłudze klienta, wyszukiwarce prawne, wyszukiwaniu faktów w firmie.
|
||||
|
||||
**Wiki LLM** jest świetna, gdy masz ograniczony, wyselekcjonowany korpus, może kilkaset źródeł na temat, którym się zajmujesz. Projekty badawcze. Książka, którą studiujesz. Kurs, który wybierasz. Twój własny dziennik. Sytuacje, w których **synteza ma większe znaczenie niż wyszukiwanie**, gdzie wartościowe odpowiedzi wymagają połączenia pięciu źródeł, a nie szukania jednego.
|
||||
**Knowledge Base LLM** jest świetna, gdy masz ograniczony, wyselekcjonowany korpus, może kilkaset źródeł na temat, którym się zajmujesz. Projekty badawcze. Książka, którą studiujesz. Kurs, który wybierasz. Twój własny dziennik. Sytuacje, w których **synteza ma większe znaczenie niż wyszukiwanie**, gdzie wartościowe odpowiedzi wymagają połączenia pięciu źródeł, a nie szukania jednego.
|
||||
|
||||
Jest prawdziwa krytyka wzorca LLM Wiki, którą warto traktować poważnie: ponieważ LLM podsumowuje i skrada źródła na stronach wiki, istnieje ryzyko, że halucynacje zostaną wplecione jako *"fakty".* W czystym RAG błędna odpowiedź to po prostu jedna błędna odpowiedź. W przypadku wiki LLM drobne nieporozumienie może cicho rozprzestrzenić się na powiązanych stronach.
|
||||
Jest prawdziwa krytyka wzorca LLM Knowledge Base, którą warto traktować poważnie: ponieważ LLM podsumowuje i skrada źródła na stronach knowledge, istnieje ryzyko, że halucynacje zostaną wplecione jako *"fakty".* W czystym RAG błędna odpowiedź to po prostu jedna błędna odpowiedź. W przypadku knowledge LLM drobne nieporozumienie może cicho rozprzestrzenić się na powiązanych stronach.
|
||||
|
||||
Dlatego Karpathy podkreśla okresowe audyty **stopniowe usuwania kłaczków** i dlaczego każda poważna implementacja powinna dokładnie sprawdzać generowane strony względem surowych źródeł.
|
||||
|
||||
## 🧰Dlaczego to naprawdę ma znaczenie
|
||||
|
||||
To nie tak naprawdę chodzi o wiki. Karpathy wskazuje na coś znacznie starszego – wizję Vannevara Busha z 1945 roku, zwaną **Memex**: osobistym, kuratorowanym magazynem wiedzy, gdzie *powiązania między dokumentami* są równie cenne jak same dokumenty.
|
||||
To nie tak naprawdę chodzi o knowledge. Karpathy wskazuje na coś znacznie starszego – wizję Vannevara Busha z 1945 roku, zwaną **Memex**: osobistym, kuratorowanym magazynem wiedzy, gdzie *powiązania między dokumentami* są równie cenne jak same dokumenty.
|
||||
|
||||
|
||||
|
||||
@@ -317,7 +317,7 @@ Wizja Busha była bliższa temu niż temu, czym stał się internet: prywatny, a
|
||||
|
||||
Jak pisze Karpathy w ogóle:
|
||||
|
||||
> "Żmudną częścią utrzymania bazy wiedzy nie jest czytanie ani myślenie, lecz księgowość. Ludzie porzucają wiki, ponieważ obciążenie związane z utrzymaniem rośnie szybciej niż wartość. LLM się nie nudzi, nie zapominają zaktualizować referencji krzyżowych i mogą obsłużyć 15 plików na raz."
|
||||
> "Żmudną częścią utrzymania bazy wiedzy nie jest czytanie ani myślenie, lecz księgowość. Ludzie porzucają knowledge, ponieważ obciążenie związane z utrzymaniem rośnie szybciej niż wartość. LLM się nie nudzi, nie zapominają zaktualizować referencji krzyżowych i mogą obsłużyć 15 plików na raz."
|
||||
|
||||
**Nużąca część wiedzy zostaje w końcu rozwiązana.**
|
||||
|
||||
@@ -331,4 +331,4 @@ Twoja praca zmienia się z *archiwizowania na* *myślenie*. Od *organizacji* po
|
||||
- **Obsydian:** [obsidian.md](https://obsidian.md/)
|
||||
- **Źródło demo 1 — "Gorzka lekcja" Suttona:** [incompleteideas.net/IncIdeas/BitterLesson.html](http://www.incompleteideas.net/IncIdeas/BitterLesson.html)
|
||||
- **Demo źródło 2 — "Software 2.0" Karpathy'ego:** [karpathy.medium.com/software-2–0-a64152b37c35](https://karpathy.medium.com/software-2-0-a64152b37c35)
|
||||
- **Wiki LLM Karpathy'ego zmienia wszystko:** [https://youtu.be/04z2M\_Nv\_Rk](https://youtu.be/04z2M_Nv_Rk)
|
||||
- **Knowledge Base LLM Karpathy'ego zmienia wszystko:** [https://youtu.be/04z2M\_Nv\_Rk](https://youtu.be/04z2M_Nv_Rk)
|
||||
@@ -466,9 +466,9 @@ Pewnie — poniżej masz dopasowany diagram Mermaid **pod SQL Server + Airflow**
|
||||
|
||||
W diagramie uwzględniłem, że:
|
||||
|
||||
* Airflow ma **logi per task/DAG** (np. w bucketach / Composer) jak w runbookach, [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* Airflow ma **logi per task/DAG** (np. w bucketach / Composer) jak w runbookach, [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* Monitorowanie/alertowanie po stronie DB jest standardowo podpinane pod **Splunk** (zgodnie z „MS SQL – Monitoring Standards”), [\[MS SQL - M...Standards | PDF\]](https://mydnb.sharepoint.com/sites/theHub-Technology/Documents%20Database%20Management/MS%20SQL%20-%20Monitoring%20Standards.pdf?web=1)
|
||||
* W runbooku „Shipping 2.0” jest przykład, że monitorowanie jest realizowane przez **Airflow DAG monitor + email na failure**. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
* W runbooku „Shipping 2.0” jest przykład, że monitorowanie jest realizowane przez **Airflow DAG monitor + email na failure**. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
|
||||
***
|
||||
|
||||
@@ -480,18 +480,18 @@ W diagramie uwzględniłem, że:
|
||||
|
||||
### 💡 Mini-legenda (żeby było „DBA-friendly”)
|
||||
|
||||
* **Airflow logs**: miejsce startu triage (per task), często przechowywane centralnie (np. bucket/Composer). [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* **Airflow logs**: miejsce startu triage (per task), często przechowywane centralnie (np. bucket/Composer). [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* **Splunk**: typowe narzędzie enterprise do monitoringu/alertów SQL Server (metryki, progi, routing). [\[MS SQL - M...Standards | PDF\]](https://mydnb.sharepoint.com/sites/theHub-Technology/Documents%20Database%20Management/MS%20SQL%20-%20Monitoring%20Standards.pdf?web=1)
|
||||
* **Airflow DAG monitor + email na failure**: częsty model alertowania dla pipeline’ów. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
* **Airflow DAG monitor + email na failure**: częsty model alertowania dla pipeline’ów. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
|
||||
***
|
||||
Pewnie — poniżej masz dopasowany diagram Mermaid **pod SQL Server + Airflow**, z typowymi ścieżkami: **DAG run → staging → transformy w SQL Server → walidacja → publikacja**, a przy awarii: **triage w Airflow logs + metryki/alerty + ServiceNow + działania DBA**. Dodałem też miejsca na logowanie w Twoim **worklogu**.
|
||||
|
||||
W diagramie uwzględniłem, że:
|
||||
|
||||
* Airflow ma **logi per task/DAG** (np. w bucketach / Composer) jak w runbookach, [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* Airflow ma **logi per task/DAG** (np. w bucketach / Composer) jak w runbookach, [\[EU Analyti...k (EUANAP) | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/197919037/EU+Analytics+Platform+Runbook+EUANAP)
|
||||
* Monitorowanie/alertowanie po stronie DB jest standardowo podpinane pod **Splunk** (zgodnie z „MS SQL – Monitoring Standards”), [\[MS SQL - M...Standards | PDF\]](https://mydnb.sharepoint.com/sites/theHub-Technology/Documents%20Database%20Management/MS%20SQL%20-%20Monitoring%20Standards.pdf?web=1)
|
||||
* W runbooku „Shipping 2.0” jest przykład, że monitorowanie jest realizowane przez **Airflow DAG monitor + email na failure**. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/wiki/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
* W runbooku „Shipping 2.0” jest przykład, że monitorowanie jest realizowane przez **Airflow DAG monitor + email na failure**. [\[Shipping 2.0 | Confluence\]](https://dnbenterprise.atlassian.net/knowledge/spaces/ER/pages/271386232/Shipping+2.0)
|
||||
|
||||
***
|
||||
|
||||
@@ -1133,3 +1133,4 @@ My robimy kompromis: **Ty możesz pisać prefiksowe tagi dużymi literami dla cz
|
||||
***
|
||||
|
||||
Jeśli chcesz, mogę też dopisać **regułę priorytetu** (np. `[INC]` zawsze pierwsze w “Najważniejsze”, potem `[DEC]`, `[SQL]`, `[AIRFLOW]`, `[DQ]`) i wtedy “Podsumuj dzień” będzie jeszcze bardziej “opsowy” (SRE‑style).
|
||||
|
||||
|
||||
Reference in New Issue
Block a user