지식체계 · 협업 · agent
방법론 조사와 도입 검토
시뮬레이션 성능 분석을 위한 외부 개념 52건 조사 — T002 결정과 대조해 채택 · 조건부 · 보류 · 기각을 판정한 결과
T002 는 이미 대부분을 갖고 있었다. 조사의 결론은 이름과 근거를 붙이고, 빠진 자리 14곳을 채우는 것이다
기각 · 보류 (사내가 다시 검토하지 않을 것): RAG · GraphRAG (보류 조건: INDEX 진입 불가 규모), fine-tuning 계열, 그래프 DB · 벡터 메모리 · 실험 추적 도구 · 워크플로 엔진 (D6 충돌), 역할당 agent · 토론형 · 인계형 토폴로지, LLM 채점기(내용), 사후 설명 도구, 지속 호몰로지, 대리 모델 (보류), DIKW, 5 Whys 양식, 시간 기반 신뢰 감쇠. 전체 목록과 되살릴 조건은 REVIEW.md §2.
T002 의 설계 11곳은 외부에 이름이 있는 개념과 같았다 — 이름을 붙이면 근거와 문헌이 따라온다
| T002 | 외부 개념 | 문서 |
|---|---|---|
| 4계층 파일 + 스크립트 + 워크플로 | 파일시스템 칠판 + 지식원 + 파이프라인 제어 | blackboard-architecture |
| INDEX → 문서 1건, STATUS.md, 파일 직접 읽기 | 컨텍스트 엔지니어링 (just-in-time, 구조화된 메모) | context-engineering |
| L2 를 실행에 붙임 · 적중률 자기 채점 · archived | KCS 풀기 고리 (부산물 · 사용 = 검토 · 수요 기반) | kcs-knowledge-centered |
| 실행 = 사례, neighbors = 찾기, 진단 = 재사용, L2 = 보관 | CBR 4단계 주기 | case-based-reasoning |
| neighbors "축 하나만 다른 실행", covariates, blocked | 인과 개입(do) · 뒷문 · FMEA 검출도 | causal-graph-fta-fmea |
| 하네스 (불변식 lint + 회귀) · D35 | 지식 CI (docs-as-code · 데이터 단언 · 실행 가능한 규격) | knowledge-ci |
| HANDOFF §5 D1~D37 결정표 | ADR | adr-design-rationale |
| 출처 measured/human/llm · build · as-of | PROV 의 귀속 · 주체 · 사용 시점 | provenance-prov |
| 등록 · 판정 코드, 진단 트리 절차 | 워크플로 (코드가 경로) vs agent (LLM 이 경로) | agentic-workflow-patterns |
| L1 JSONL = 실행 1건 1줄, build, delta | 실험 추적 (run · 파라미터 · 지표 · 코드 버전) | experiment-tracking |
| axes.yaml · metrics.yaml · 불변식 · 파생 | 작은 온톨로지 (스키마 · 공리 · 추론) | knowledge-graph-ontology |
이 태스크가 채운 것 — 채택 · 우선순위 상 14건
| # | 빠진 것 | 채우는 개념 | 한 줄 |
|---|---|---|---|
| 1 | 절차와 지식의 경계 | agent-skills | 절차는 skill, 값 · 출처가 붙는 것은 L1~L3 · K. 경계 기준 넷 |
| 2 | 단계별 "LLM 인가 코드인가" | agentic-workflow-patterns | 등록 · 판정 = 코드, 진단 = 라우팅 + 연쇄, 미지 증상 · 야간만 상한 있는 agent |
| 3 | agent 를 나눌 근거 | when-not-multi-agent | 6항목 체크리스트. 나누는 곳은 주간 지식 정리 · 리뷰 둘뿐 |
| 4 | 노하우를 꺼내는 기법 | knowledge-elicitation (+cognitive-task-analysis) | CDM 4단계, 구성 격자, 카드 분류. 문턱은 입이 아니라 스크립트 |
| 5 | 사내 문서 연결 규칙 | context-engineering | INDEX 설계 원칙 6 |
| 6 | 스크립트의 agent 인터페이스 | tool-design-principles | 반환 형식 · 외삽 열 · --as-of 오류 · 절단 · 한 진입점 |
| 7 | 승인 부하 관리 | approval-gate-design | 게이트는 예산. 코드 게이트 3 + 배치 승인 5조건 |
| 8 | 신뢰 보정의 해상도 | automation-bias-trust | 못 맞힌 사례 · 기저율 · 거부 개수. 채점은 스크립트가 L1 과 대조 |
| 9 | 평가 세트의 규모와 일관성 | agent-evaluation | 9 → 20~50건 (실패에서), pass^k. LLM 채점기는 내용에 금지 |
| 10 | CI 3등급과 문서 lint | knowledge-ci | 실패 / 경고(개수 기록) / 정보. 지식 문서 검사 9항목 |
| 11 | 재개 검증 · 멱등 | checkpoint-resume | STATUS ↔ 파일 대조, 파일 존재 = 완료. 이 태스크에서 실측 |
| 12 | 상호작용 설계 | design-of-experiments | OAT 를 넘어 2^k 요인 설계. 야간 예산 = 가설 검증 + 공간 채움 |
| 13 | strong/weak 의 데이터 근거 | sensitivity-analysis | Morris 선별 (μ* · σ) |
| 14 | 사람 절차의 통합 | knowledge-curation-workflow (+kcs) | 큐 셋 · 주기 둘 · 규칙 다섯. 부산물 원칙 |
개념 52건 — 판정과 우선순위로 거르고, 이름을 누르면 개념 문서 원문이 열린다
별도 문서 없이 흡수 · 병합 · 보류한 후보 (24)
docs-as-code 문서를 코드처럼 → 흡수 → knowledge-ci §1·§3 (정의·사례) 와 kcs-knowledge-centered (부산물 원칙). 별도 문서 불필요 · data-contracts 데이터 계약 → 보류 → knowledge-ci · model-vv 에 요지. 별도 문서 불필요 · atomic-rename 원자적 교체 → 흡수 → checkpoint-resume §3 · §4.3. 별도 문서 불필요 · common-cause-failure 공통 원인 고장 → 흡수 → causal-graph-fta-fmea (covariates 의 특수형). 별도 문서 불필요 · active-learning 능동 학습 → 판정 완료 → surrogate-bayesian-opt §9: 원리만 채택(이웃 거리 휴리스틱), 별도 문서 불필요 · blameless-postmortem 비난 없는 사후 분석 → 흡수 → automation-bias-trust 원칙과 동일, 별도 문서 불필요 · information-architecture 정보 아키텍처 → 흡수 → context-engineering §4 INDEX 설계 원칙과 동일, 별도 문서 불필요 · job-design 직무 설계 → 흡수 → human-in-the-loop 단계표 + approval-gate-design 이 결정권 배치. 별도 문서 불필요 · faceted-classification 패싯 분류 → 흡수 → INDEX 가 지표 × base 두 축이 될 때 참고. 별도 문서 불필요 · model-checking 모델 체킹 → 보류 · unfaithful-cot 불충실한 사고 사슬 → 흡수 → explainability §4.2 규칙 3 의 근거. 별도 문서 불필요 · calibration-training 보정 훈련 · 예측 시장 → 보류 · learning-organization 학습 조직 (Senge) → 보류 · attention-sensitive-alerting 주의 민감 알림 (Horvitz) → 흡수 → 아침 배치가 단순형. 별도 문서 불필요 · situation-awareness 상황 인식 (Endsley) → 흡수 → automation-bias-trust · human-in-the-loop 에 요지. 별도 문서 불필요 · property-based-testing 속성 기반 테스트 → 흡수 → 러너 구현 참고. 별도 문서 불필요 · uncertainty-quantification 불확실성 정량화 (UQ) → 기각 · expertise-research 전문성 연구 (Ericsson) → 흡수 → human-in-the-loop 조건 3 의 배경. 별도 문서 불필요 · data-governance 데이터 거버넌스 → 보류 · least-privilege 최소 권한 원칙 → 흡수 → 규칙 2. 별도 문서 불필요 · model-upgrade-regression LLM 모델 버전 변경 시 L2·진단 회귀 → 흡수 → provenance-prov (model 필드) + agent-evaluation (pass^k 로 버전 전후 비교). 별도 문서 불필요 · token-budgeting 단계별 토큰·호출 예산 관리 → 흡수 → when-not-multi-agent (비용) + agentic-workflow-patterns (③' 상한) + tool-design-principles (호출 수 기록). 별도 문서 불필요 · skill-versioning skill 버전 관리 · 변경 이력 → 흡수 → provenance-prov (skill_rev) + adr-design-rationale (변경 이유) + scientific-workflow-dag (캐시 키). 별도 문서 불필요 · nanopublication-claims 주장 단위 지식 그래프 (nanopublication) → 병합 완료 → knowledge-graph-ontology §1·§4.2
T002 의 순서는 바꾸지 않는다 — 채택 항목을 각 단계에 끼워 넣고, 소급 불가한 스키마부터 먼저
- 단계 0스키마 확정 전에 (소급 불가 · 가장 급함)
더하는 필드 9개 —
captured(시뮬레이터 버전 · 환경),tags,model·skill_rev(+ 기존flow_rev),path.reason구조화 형식, 노드judge: script / llm,verified전이표 (재검토 · void 상태 포함), 노드origin(결정 지점 ID),attributes_to복수, anchor 3분할 (assertion · provenance{source, supports, refutes} · pubinfo{superseded_by, status, alternatives_rejected, cited_by}), 게이트 · 전이 · 탐색 로그 공통 머리, 출처human:A(사람 구분) - 단계 1트리 초안 (T002 ①) 에 끼우기
- 지표별 고장 트리 1장 먼저 — top event → 원인 조합. 절단 집합이 CDM 인터뷰의 사건 목록.
- CDM 인터뷰 skill — 4단계, 결정 지점 표 · 인지 요구 표, "초보라면" 열 필수. 문턱은 묻지 않는다.
- Morris 선별 로 strong/weak 대조 — 야간 예산 필요 (사내 확인).
- 노드에
judge·origin·attributes_to복수.
- 단계 2스크립트 · 하네스 (T002 ⑤ · ⑤-2) 에 끼우기
- 스크립트 5종 ACI 개편 : concise/detailed, 출처 · 외삽 열 상시,
--as-of생략 = 오류, "did you mean", 토큰 절단, 한 진입점. stale판정식 = N AND 도달 AND 사건 .impact= 전파 · 남은 근거 · 경로 .effects2요인 확장 .explain에 근거 개수 · 적중률 · 기저율 · 미스 목록 .- 하네스 3등급 (실패 / 경고 개수 기록 / 정보) + 문서 lint 9항목 + 메타모픽 층 (MR 여섯 초안 · 도메인 확인) + 코드 게이트 3 (출처 우선 불변식 · 적중률 트리거 · 게이트 기록) + 전이 lint + 토폴로지 lint 3 .
- 회귀 세트 9 → 20~50 (실패에서), k 회 반복 · pass^k, 실패 → 과제 변환 skill, 실패 유형 태그 .
- 파이프라인을 규칙 · 입력 · 출력 · 캐시 키 표로 . 재개 검증 스크립트 .
- 스크립트 5종 ACI 개편 : concise/detailed, 출처 · 외삽 열 상시,
- 단계 3skill 층
- skill 템플릿: "역할 · 한다 · 하지 않는다 · 산출물 규격 · 결정권" 절 , 경계 기준 4 .
- 진단 skill · 리포트 skill · 인터뷰 skill · 주간 정리 skill · 실패 → 과제 변환 skill.
- 개인 메모리 lint + 승격 후보 경로 — 이것 없이 auto memory 켜지 않음 .
- 단계 4사람 절차 · 화면
- 단계별 자동화 수준표 · "할까 물을까" 정책표 .
- 아침 보고 세 묶음 (충돌 / 유의차 / 통과) + 미분류 큐 상단 + 전환 알림. 같이 보는 자리 .
- 큐 셋 · 주기 둘 . 담당자 지정 (사내).
- 진단 화면 = 경로 세 줄 + 근거 수 + 적중률 · 기저율 + 미스 목록 .
- 단계 5사내 문서 유입
- 리포트 → 종류 판정 → 표 / 해석 / 권고 세 조각 . INDEX 한 줄, 허브 anchor, 근거 DAG . 리포트 간 직접 링크 금지.
knowledge/참조 문서에 kind 필드.
- 단계 6야간 자율 탐색 (T002 ⑩, D6 선행)
- 예산 = 가설 검증 (2^k 요인 설계) + 공간 채움 (이웃 거리 휴리스틱) (
DoE·surrogate의 원리만). - 조건부 감독형 · 워커 반환 제한 · 중단 명령 · 미분류 큐 · 저널 = 체크포인트 .
- L-sim leaf 와 검증 큐 .
- 예산 = 가설 검증 (2^k 요인 설계) + 공간 채움 (이웃 거리 휴리스틱) (
순서를 정한 근거 (의존)
단계 0 (스키마) ─ 소급 불가 ─▶ 모든 것 단계 1 (트리) ─▶ 단계 2 (스크립트가 트리 · 노드 필드를 읽는다) ─▶ 단계 3 (skill 이 스크립트를 부른다) 단계 2 (하네스) ─▶ 단계 4 (게이트 · 큐가 하네스 신호를 받는다) 단계 3 · 4 ─▶ 단계 5 (문서 유입은 skill 과 큐가 있어야) 단계 1 · 2 · 4 + D6 (사내) ─▶ 단계 6
결정 15건 — 새 인프라를 들이지 않고, 절차는 skill · 지식은 파일 · 판단은 코드 또는 사람
| # | 결정 | 근거 | 문서 |
|---|---|---|---|
| T4-D1 | T002 결정 D1~D37 을 전부 유지한다. 이 태스크의 51개 판정 중 T002 와 충돌하는 채택은 없다 | 조사 결과. 유일한 충돌 초안(주장 파일 분리) 은 철회 | REVIEW.md §3 |
| T4-D2 | 새 인프라를 들이지 않는다 — 그래프 DB · 벡터 메모리 · 실험 추적 도구 · 워크플로 엔진 · MCP 서버(조건부) · 대리 모델 전부 기각 또는 보류 | D6 (검색 인프라 없음) 이 외부 연구로도 뒷받침되며, 우리 규모 · 결정론 · 구조화 데이터에서 파일 + 스크립트가 충분 | knowledge-injection-methods · knowledge-graph-ontology · experiment-tracking · scientific-workflow-dag · mcp-primitives · surrogate-bayesian-opt |
| T4-D3 | 절차는 skill, 지식은 파일, 판단은 코드 또는 사람 | 경계 기준 4 (빈도 · 출처 꼬리표 · 결정론 · 경로 참조) | agent-skills · role-based-agents |
| T4-D4 | agent 를 나누는 곳은 둘뿐 — 주간 지식 정리(감독형) · 리뷰(별도 컨텍스트). 나머지는 단일 agent 또는 코드 | 이득은 토큰량에서 오고 한 창에 들어가면 나눌 이유가 없다. 실패의 다수가 조정 문제 | when-not-multi-agent · multi-agent-topologies · multi-agent-failure-taxonomy |
| T4-D5 | LLM 은 채점하지 않는다 — 적중률 · 회귀 · MR 전부 코드가 L1 과 대조. LLM 채점기는 내용에 금지 | 자기 강화 편향, 출처 규약 (llm 이 llm 을 승인하면 무의미) | agent-evaluation · automation-bias-trust |
| T4-D6 | 사람 게이트는 셋 (야간 계획 · 아침 보고 · L3 승격). 나머지는 코드 게이트. 배치 승인 5조건 | 안전은 승인률의 역U자. 게이트는 예산 | approval-gate-design · human-in-the-loop |
| T4-D7 | "모른다"는 정식 출력이다 — 트리 밖 · 야간에는 추측 대신 미분류 큐 | 되묻지 않음(FM-2.2) 이 파이프라인의 최대 위험. 밤에는 물을 사람이 없다 | mixed-initiative · multi-agent-failure-taxonomy · state-machine-workflow |
| T4-D8 | 노하우는 진단 중에 잡는다 (부산물). 별도 문서화 시간을 요구하지 않는다. 기법은 CDM, 문턱은 스크립트 | KCS 30년의 답. 자기보고는 사후 이론 (Nisbett & Wilson) | kcs-knowledge-centered · knowledge-elicitation |
| T4-D9 | 낡음은 사건으로 판정한다 (반증 · 대체 · 근거 소실 · 환경 · 미검증 나이). 나이 단독 금지. 삭제 금지, 대체 표시 | 반감기는 평균이지 이 주장의 상태가 아니다. 유일 대조군 보존 (D11) | knowledge-decay-supersession · case-based-reasoning · truth-maintenance |
| T4-D10 | 설명은 경로로 — LLM 산문은 접고, 이유 칸은 구조화, LLM 판단 노드는 표시 | 우리 진단은 이미 해석 가능 모델. 불충실할 수 있는 곳은 자연어 두 곳뿐 | explainability |
| T4-D11 | 사내 문서는 종류로 쪼개 넣는다 — 표 / 해석 / 권고. 허브(L3) 경유, 직접 링크 금지 | 섞인 문서는 어느 독자도 만족 못 함. 허브 비대화 · 골목화 방지 | diataxis · knowledge-topology · context-engineering |
| T4-D12 | 실험은 설계한다 — OAT 를 넘어 요인 설계, Morris 선별, 공간 채움. 통계는 버린다 (결정론) | 상호작용을 사후 covariates 로만 잡는 것은 늦다. 노이즈가 없으니 설계만 남는다 | design-of-experiments · sensitivity-analysis |
| T4-D13 | 시뮬레이터를 의심하는 자리를 둔다 — L-sim leaf · MR 검사 · 용도 명시 | 시뮬레이터 결함이 L-cond · 노하우로 오염된다 | model-vv · metamorphic-testing |
| T4-D14 | 사람 절차는 큐 셋 · 주기 둘로 통합 | 여섯 문서의 절차 요구를 따로 두면 아무것도 안 돈다 | knowledge-curation-workflow |
| T4-D15 | 개념 문서 51건은 `knowledge/` 로 승격한다 — 승격 단위는 폴더 + INDEX (T003 선례). 시점 · 승인은 사용자 | 재사용 가치. 태스크 폴더는 아카이브된다 (CLAUDE.md §5-6) | REQUIREMENTS Q1 → R7 |
외부에서 못 닫는 것 13건 — 값을 만들지 않고 판단 기준만 넘긴다
| # | 항목 | 왜 사내인가 | 문서 |
|---|---|---|---|
| S1 | 사내 agent 클라이언트 — MCP · bash · 하위 agent 위임 · 반환 길이 제한 · auto memory · 중단 명령 지원 여부 | 환경 | mcp-primitives · multi-agent-topologies · memory-tools · mixed-initiative |
| S2 | 기존 자동화 · 정리 skill 의 클라이언트 · 형식 | 환경 | agent-skills |
| S3 | 스크립트 5종의 현재 반환 형식 · 오류 · --as-of 동작, 다른 호출자 존재 | 코드 | tool-design-principles |
| S4 | 야간 실행 예산 (대수 · 시간), 실행 1건 비용, 중단 가능 여부 | 자원 | DoE · sensitivity-analysis · surrogate · checkpoint-resume |
| S5 | 축별 현실적 범위 · 수준 정의 | 도메인 | sensitivity-analysis · DoE |
| S6 | MR2 (단조) · MR5 (weak 가법) 의 도메인 타당성 | 도메인 | metamorphic-testing |
| S7 | 시뮬레이터 버전 · 환경을 실행 시 자동으로 읽을 수 있는가 | 코드 | experiment-tracking · provenance-prov |
| S8 | 시뮬레이터 팀 이관 경로, 현재 V&V 수준 | 조직 | model-vv |
| S9 | 큐레이션 담당자 · 순번, 아침 보고 형식(같이 보기), 사람별 기록 합의 | 조직 · 문화 | knowledge-curation-workflow · community-of-practice · structured-expert-judgment · automation-bias-trust |
| S10 | 노드 · L3 수정 권한 (면허 단계), 적중률 임계 · 차단 상한 초기값 | 조직 | kcs · adaptive-automation · approval-gate-design |
| S11 | 기존 기술 리포트의 전형적 구성 (표 · 해석 · 권고가 섞여 있는가), 사내 문서 총량 | 자료 | diataxis · knowledge-injection-methods |
| S12 | CI 러너의 Python · 파일 접근 · k 회 반복 시간 예산 | 환경 | knowledge-ci · agent-evaluation |
| S13 | 진단 트리 1개의 실제 컨텍스트 크기, LLM 판단 노드 비율 | 측정 | when-not-multi-agent · explainability |
이 도입안이 답하지 않는 것
- 규격. 필드 이름 · 형식 · 전이표의 확정본은 후속 태스크 (또는 사내 ①-2 · ①-3 확정 시). 이 문서는 "무엇이 있어야 하고 왜"까지다.
- 사내 문화. 실천 공동체 · 담당자 · 시간 배정.
- 시뮬레이터 자체의 V&V.
- 개념 문서의 승격 실행 — 사용자 승인 뒤 CURATION 세션.