모델보다 ‘일을 배우는 루프’가 중요해지는 날

📖 오늘의 AI 뉴스를 책처럼 읽기

오늘 뉴스의 표면에는 서로 다른 장면이 놓여 있다. 한쪽에서는 카메라 하나로 낯선 건물을 이동하는 로봇 모델이 등장했고, 다른 쪽에서는 에이전트에게 필요한 공개 데이터와 실패 기록이 모델 가중치만큼 중요하다는 주장이 나왔다. 또 로봇 개발 도구는 ‘상상하고, 평가하고, 개선하는’ 순환을 제품의 중심에 놓았다. 각각을 제품 출시로 읽으면 세 개의 업데이트에 불과하다. 그러나 한 걸음 물러나면 같은 방향의 화살표가 보인다.

그 화살표는 AI가 문장을 한 번 잘 생성하는 기계에서, 현실 속에서 오래 일하고 실패를 교정하는 시스템으로 바뀌고 있다는 것이다. 현실은 시험 문제집처럼 깔끔하지 않다. API는 끊기고, 문서는 모순되며, 로봇 앞에는 훈련 때 없던 장애물이 나타난다. 그래서 앞으로의 차이는 ‘처음부터 얼마나 똑똑한가’뿐 아니라 ‘틀렸을 때 무엇을 기록하고, 누가 성공을 판정하며, 다음 시도에 어떻게 반영하는가’에서 생긴다.

이 보고서는 오늘 확인된 발표를 그 변화의 증거로 사용한다. 아직 직접 본문을 충분히 추출하지 못한 발표는 핵심 논거로 과장하지 않고, 신호 또는 보조 근거로만 둔다. 뉴스가 미래를 증명하지는 않는다. 다만 서로 독립적인 팀들이 같은 설계 언어—데이터, 평가, 보상, 시뮬레이션, 회복—를 쓰기 시작했다는 사실은 방향을 읽을 만한 근거다.

Prologue. 오늘 뉴스들이 가리키는 하나의 장면

오래전 소프트웨어는 정해진 명령을 정확히 반복했다. 오류가 나면 사람이 로그를 읽고 코드를 고쳤다. 생성형 AI는 그 경계를 흐렸다. 명령을 글로 주고, AI가 상황을 해석해 다음 행동을 고른다. 하지만 이 유연성은 새로운 약점을 만든다. 같은 질문에도 답이 달라질 수 있고, 말은 그럴듯하지만 작업은 실패할 수 있다. 따라서 에이전트 시대에는 ‘생성 능력’ 옆에 ‘운영 능력’이 필요하다.

비개발자는 이를 신입 직원의 성장 과정으로 이해하면 된다. 좋은 대학을 나온 직원, 즉 강한 기초 모델을 뽑는 것은 중요하다. 그러나 회사의 실제 업무를 배우려면 업무 매뉴얼, 과거 사례, 실패 기록, 검수자, 재작업 절차가 필요하다. 이것이 데이터셋(dataset), 작업 궤적(trace), 평가(eval), 보상 모델(reward model), 피드백 루프(feedback loop)에 해당한다. 직원의 머리만 바꾼다고 조직의 일이 저절로 좋아지지 않는 것처럼, 모델만 교체한다고 에이전트 작업흐름(workflow)이 성숙하지는 않는다.

오늘의 로봇 뉴스가 중요한 이유도 여기에 있다. 로봇은 말로 실패를 감출 수 없다. 문을 못 찾으면 못 찾은 것이고, 물체를 떨어뜨리면 실패다. 물리 세계는 AI 시스템의 허술한 운영 구조를 가장 빠르게 드러내는 시험장이다. 로봇 분야에서 먼저 선명해지는 ‘관찰→행동→평가→교정’ 구조는 문서 조사, 코딩, 지식 관리, 출판 자동화에도 같은 형태로 돌아온다.

따라서 오늘의 질문은 “어느 모델이 1등인가?”가 아니다. 더 생산적인 질문은 “내 시스템은 실패를 다음 성공의 재료로 바꾸는가?”이다. 이 질문을 Hermes Agent, Telegram, LLM Wiki에 내려놓으면 모델 쇼핑보다 훨씬 구체적인 운영 개선점이 보인다.

Chapter 1. 현실에 들어간 AI는 ‘한 번의 정답’으로 살 수 없다

문제 제시: 화면 밖 세계는 계속 변한다

언어 모델은 대체로 이미 적힌 텍스트를 바탕으로 다음 말을 예측한다. 반면 이동 로봇은 매 순간 새 장면을 본다. 복도에 사람이 서 있고, 의자가 옮겨졌으며, 빛이 달라진다. 이동 중 한 번의 작은 오차는 다음 관찰 위치를 바꾸고, 그 변화가 다시 다음 판단에 영향을 준다. 이를 닫힌 고리 제어(closed-loop control)라고 부른다. 행동의 결과를 다시 관찰해 계획을 고치는 방식이다.

뉴스 근거: 카메라 하나와 언어 지시로 움직이는 Robostral Navigate

Mistral AI는 7월 12일 Robostral Navigate를 공개했다. 공식 페이지의 설명에 따르면 이 모델은 80억 개 매개변수(8B)를 가진 체화형 내비게이션 모델로, 단일 RGB 카메라 이미지와 자연어 지시를 받아 로봇을 이동시킨다. 회사는 보지 못한 R2R-CE 벤치마크에서 76.6% 성공률을 기록했다고 주장하며, 시뮬레이션 데이터와 강화학습(reinforcement learning), 지점을 가리키는 방식의 내비게이션을 결합했다고 설명한다. 이 수치는 회사 자체 발표이므로 독립 재현 전에는 ‘검증 완료된 일반 성능’이 아니라 ‘공식 주장’으로 읽어야 한다.

핵심은 센서 수의 화려함보다 학습 구조다. 카메라 한 대만으로 움직인다는 것은 모델이 풍부한 전용 센서에 의존하기보다 시각 장면과 언어 목표 사이의 연결을 학습해야 한다는 뜻이다. 동시에 현실에서 처음 보는 장애물에 적응한다는 주장은 훈련 데이터의 양보다 다양한 실패 상황을 어떻게 구성했는지가 중요해졌음을 보여준다.

하부 원리: 상태가 아니라 ‘변화’를 학습한다

에이전트가 긴 일을 하려면 지금 상태만 읽는 것으로 부족하다. 내가 방금 한 행동이 세상을 어떻게 바꿨는지 추적해야 한다. 이를 작업 궤적(trajectory)이라 할 수 있다. 출발점, 판단, 행동, 결과가 시간 순서로 이어진 기록이다. 좋은 궤적 데이터는 성공 사례만 모으지 않는다. 잘못된 회전, 막힌 길, 회복 행동을 포함한다. 실패가 제거해야 할 쓰레기가 아니라 다음 정책(policy)을 가르치는 교재가 되는 셈이다.

비개발자는 어떤 장면으로 이해하면 되는가?

낯선 건물에서 “엘리베이터를 나와 두 번째 회의실로 가세요”라는 말을 들었다고 생각해 보자. 머릿속 지도를 한 번 만들고 눈을 감은 채 걷지는 않는다. 표지판을 보고, 잘못 든 복도를 알아차리고, 돌아가며, 공사 중이면 다른 길을 찾는다. 로봇의 닫힌 루프도 이와 같다. AI 에이전트 역시 검색 한 번, 답변 한 번으로 끝내는 대신 파일을 읽고, 결과를 검사하고, 오류가 있으면 대체 경로(fallback)를 택해야 한다.

Chapter 2. 공개 가중치만으로는 에이전트를 재현할 수 없다

문제 제시: 두뇌를 받아도 업무 교육과 시험지가 없다

오픈 가중치(open-weight)는 모델 내부의 학습된 수치들을 내려받아 실행할 수 있다는 뜻이다. 흔히 이것을 ‘모델이 공개되었다’고 말하지만, 에이전트 관점에서는 절반만 공개된 것일 수 있다. 어떤 업무 사례로 추가 학습했는지, 실패 사례를 어떻게 골랐는지, 어떤 도구 형식을 사용했는지, 성공을 무엇으로 판정했는지가 빠지면 같은 행동을 재현하기 어렵다.

뉴스 근거: NVIDIA·Hugging Face가 강조한 ‘Data for Agents’

7월 8일 Hugging Face에 게시된 NVIDIA 공동 글은 “현실은 벤치마크처럼 행동하지 않는다”고 문제를 정리한다. 깨진 API 호출에서 회복하지 못하거나 처음 보는 workflow에 대응하지 못하는 시스템은 도구가 붙은 자동완성에 가깝다는 것이다. 글은 에이전트 구축에 소프트웨어 작업 궤적, 도구 사용 실패, 다단계 추론, 검색, 안전, 사용자 시뮬레이션, workflow 실행 데이터가 필요하다고 열거한다.

더 중요한 문장은 재현성(reproducibility)에 관한 부분이다. 가중치뿐 아니라 데이터셋, 선별 기준, 학습 조리법, 평가 방법이 함께 있어야 다른 사람이 결과를 점검하고 개선할 수 있다는 주장이다. 이것은 오픈소스 경쟁의 단위가 ‘모델 파일’에서 ‘학습과 운영의 공급망’으로 넓어진다는 신호다.

하부 원리: 에이전트의 품질은 모델×데이터×하네스의 곱이다

하네스(harness)는 모델 주변에서 일을 실제로 굴리는 틀이다. 프롬프트, 도구 정의, 권한, 상태 저장, 재시도, 검증, 로그를 묶는다. 자동차 엔진이 모델이라면 하네스는 변속기, 브레이크, 계기판, 정비 기록까지 포함한 차량 전체에 가깝다. 엔진 출력이 높아도 브레이크가 없으면 믿고 운전할 수 없다.

에이전트 데이터는 완성된 답변만 모아서는 부족하다. “어떤 출처를 왜 채택했는가”, “도구 호출이 왜 실패했는가”, “검증이 무엇을 잡았는가” 같은 중간 과정이 필요하다. 이를 평가 출처성(eval provenance)이라 부를 수 있다. 점수만 남기는 대신 그 점수가 어떤 입력, 모델, 도구, 기준, 시점에서 나왔는지를 추적하는 것이다. 출처성이 없으면 개선이 진짜인지 우연인지 구분하기 어렵다.

비개발자는 어떤 장면으로 이해하면 되는가?

유명 요리사의 완성된 수프 한 그릇만 받아서는 같은 맛을 만들 수 없다. 재료 산지, 손질 순서, 불의 세기, 실패한 배치, 맛을 본 기준이 필요하다. 모델 가중치는 완성된 수프와 비슷하고, 데이터와 평가 기록은 레시피와 조리 일지다. 에이전트를 운영한다는 것은 수프를 사는 일이 아니라 주방을 운영하는 일이다.

Chapter 3. 평가가 보고서의 마지막 단계가 아니라 학습의 시작점이 된다

문제 제시: 성공을 정의하지 못하면 개선도 정의할 수 없다

AI 시스템에서 평가(eval)는 시험지를 주는 일에 가깝다. 다만 정답 하나를 맞혔는지만 보지 않는다. 도구를 제대로 불렀는지, 위험한 행동을 피했는지, 실패 뒤 복구했는지, 출처를 구분했는지까지 본다. 그래서 eval은 순위를 매기는 표보다 “이 AI에게 실제 일을 맡겨도 되는가”를 확인하는 계약에 가깝다.

뉴스 근거: LeRobot v0.6.0의 ‘Imagine, Evaluate, Improve’

Hugging Face는 7월 7일 LeRobot v0.6.0을 공개하며 로봇 학습 루프를 닫는 것을 이번 릴리스의 중심으로 설명했다. 공식 본문은 행동 전 미래를 상상하는 세계 모델(world model), 성공 여부를 판정하는 보상 모델(reward model), 실패를 훈련 데이터로 되돌리는 배포 CLI, 여섯 개의 시뮬레이션 벤치마크를 함께 제시한다. 사람의 교정을 rollout에 넣는 DAgger식 흐름도 포함한다.

여기서 눈여겨볼 것은 기능 수가 아니라 순서다. 상상하고, 행동하고, 평가하고, 개선한다. 보상 모델은 “이 장면이 성공인가”를 자동으로 판단하는 심판이다. rollout은 정책이 실제 또는 가상 환경에서 연속으로 행동해 본 기록이다. 벤치마크는 같은 조건에서 비교할 운동장이다. 이 셋이 연결될 때 배포 실패가 다음 훈련의 입력이 된다.

하부 원리: 검증 가능한 산출물이 에이전트의 기억을 만든다

사람은 막연한 피드백에서도 배울 수 있지만 자동화는 구조화된 신호가 필요하다. “보고서가 별로다”보다 “출처 링크가 5개 미만이다”, “날짜가 다르다”, “복사 버튼이 없다”가 훨씬 학습 가능한 정보다. 이것이 평가 스키마(eval schema)의 역할이다. 성공 조건을 기계가 읽을 수 있는 항목으로 나누는 것이다.

다만 자동 평가가 모든 품질을 대신하지는 않는다. 파일 크기와 marker 검사는 문서가 존재하는지 확인할 수 있지만, 인사이트가 깊은지는 보장하지 못한다. 그러므로 결정적 검사(deterministic check)와 사람의 정성 평가를 층으로 나눠야 한다. 전자는 매번 실행하고, 후자는 1~2주 간격으로 표본을 읽어 문체와 유용성을 평가한다. 자동화가 스스로 운영 원칙을 바꾸지 못하게 하는 것도 중요하다.

비개발자는 어떤 장면으로 이해하면 되는가?

공장에서 제품이 나온 뒤 상자를 닫기 전에 무게, 봉인, 라벨을 검사한다고 생각하면 된다. 이 검사는 맛이나 아름다움을 모두 판단하지 못하지만 빈 상자나 잘못된 배송지는 확실히 잡는다. 그 다음 사람이 표본을 열어 품질을 본다. 오늘의 watchdog과 HTML validator는 이 첫 번째 검사대다. 좋은 closed loop는 검사대를 통과하지 못한 제품을 ‘배송 완료’라고 기록하지 않는다.

Chapter 4. 강한 모델의 시대에서 ‘선택 가능한 운영체계’의 시대로

문제 제시: 모델 출시는 크지만 사용자의 병목과 다를 수 있다

이번 주 RSS에는 OpenAI의 GPT-5.6 Sol 미리보기, Google의 AlphaEvolve Cloud 확대, Anthropic의 언어 모델 내부 global workspace 연구가 잡혔다. 세 발표는 각각 범용 모델 능력, 알고리즘 발견의 서비스화, 내부 계산 구조의 해석이라는 큰 주제를 갖는다. 그러나 이번 실행에서는 이 세 원문의 전체 본문을 안정적으로 추출하지 못했다. 따라서 제목과 공식 게시 사실 이상을 핵심 주장으로 확장하지 않는다.

그래도 보조 신호는 분명하다. 모델 회사들은 더 강한 단일 채팅 모델만 만드는 것이 아니라, 장기 작업, 과학·알고리즘 탐색, 내부 추론 이해, 도구 실행으로 경쟁 범위를 넓히고 있다. 인터페이스(interface)가 prompt box에서 workflow runtime으로 이동한다는 말은, 사용자가 한 문장을 입력하고 답을 받는 화면보다 여러 단계의 일을 지속적으로 실행하는 환경이 중요해진다는 뜻이다.

하부 원리: 접근권과 회복탄력성이 성능의 일부다

최고 성능 모델도 접근이 막히거나 비용이 급등하거나 provider 장애가 나면 workflow에서는 0점이다. 따라서 모델 라우팅(model routing)은 업무 특성에 따라 모델을 선택하는 배전반이고, 대체 경로(fallback)는 한 회선이 끊겼을 때 다른 회선으로 전기를 보내는 설계다. 이는 단순 백업이 아니라 실패를 예상한 회복탄력성(resilience)이다.

모델 교체의 기준도 benchmark 한 줄이 아니라 사용자 작업에서의 실제 eval이어야 한다. 출처 충실도, 긴 문서 구조, 한국어 설명, 도구 성공률, 비용, 지연, 실패 후 복구를 함께 본다. 새로운 모델이 이 병목을 실제로 줄이지 않는다면 이전 작업(migration)은 보류할 수 있다.

비개발자는 어떤 장면으로 이해하면 되는가?

전국에서 가장 빠른 스포츠카가 눈길 배송 업무에 최선은 아니다. 배송에서는 적재량, 정비망, 연료비, 겨울 타이어, 대체 차량이 중요하다. AI 모델도 같다. 신기록은 흥미롭지만, 개인 AI 운영체계에는 안정적으로 문서를 만들고 검증하며 전달하는 능력이 더 중요할 수 있다.

Epilogue. 내 AI 운영체계로 내려오는 실행 설계

상위 방향. AI는 답을 생성하는 제품에서 경험을 축적하는 운영 시스템으로 이동한다. 오늘의 핵심 자산은 모델 이름보다 검증 가능한 작업 궤적, 실패 분류, 출처성, 대체 경로다.

현재 위치. 사용자는 Hermes Agent를 Telegram에서 사용하고, skills로 반복 작업을 구조화하며, Link-to-Book/YouTube-to-Book HTML과 ai-agent-ops-wiki를 운영한다. raw/source/wiki/output 분리와 scheduled digest validator는 이미 작은 closed loop의 토대다.

갭. 가장 큰 갭은 새 도구 부족이 아니라 여러 workflow 사이의 평가 계약이 얼마나 일관되게 재사용되는지, 그리고 실패가 다음 개선 후보로 얼마나 잘 분류되는지다. 자동화가 문서를 만들 수는 있지만, 어떤 실패가 source access인지, extraction인지, writing인지, rendering인지, delivery인지 구분하지 못하면 같은 오류가 반복된다.

Today — 오늘

HIGH오늘 artifact의 closed loop를 끝낸다. HTML 생성 후 deterministic watchdog을 실행하고, PASS가 아니면 성공으로 보고하지 않는다. 이는 이번 작업에서 이미 수행해야 하는 계약이며, 별도 도구 도입보다 우선한다.

HIGH모델 뉴스는 migration 신호가 아니라 eval 후보로 기록한다. GPT-5.6 Sol 같은 발표는 즉시 기본 모델을 바꾸라는 뜻이 아니다. 향후 접근 가능할 때 기존 대표 작업 묶음으로 한국어 장문, 출처 충실도, tool call 회복을 비교할 후보로 둔다.

This Week — 이번 주

HIGH실패 분류표를 수동으로 1회 적용한다. AI news, Link-to-Book, YouTube-to-Book에서 최근 실패를 source 접근, 추출, 구조화, HTML 렌더, 전달로 나눠 본다. 아직 새 automation을 만들지 말고 실제로 반복되는 두세 종류를 찾는다.

MEDIUM대표 eval 묶음을 작게 고정한다. 각 workflow마다 정상 사례 2개, 어려운 사례 1개, 접근 실패 사례 1개를 두고 산출물 계약과 사람 검토 질문을 함께 둔다. 점수보다 provenance를 남기는 것이 중요하다.

This Month — 이번 달

HIGHprovider fallback을 문서 계약과 연결한다. 모델/API 대체는 품질 기준을 만족할 때만 허용하고, 어떤 provider가 실행했는지 artifact metadata에 남기는 방식을 검토한다. 비용·지연·출처 품질이 함께 비교되어야 한다.

MEDIUMCloudflare/GitHub publishing은 draft와 publish를 분리한다. 생성 성공과 공개 성공은 다른 상태다. draft artifact validator, 명시적 publish 승인, public URL readback의 세 단계를 유지한다.

Defer / 보류

새 로봇 모델을 직접 도입하거나, 모든 workflow를 world model 기반으로 재설계하거나, 뉴스 한 건만 보고 Hermes 기본 모델을 전면 교체하는 일은 보류한다. 현재 병목은 물리 로봇 제어가 아니라 출처 품질과 장문 artifact의 closed-loop 검증이다. 또한 자동화가 자기 skill·playbook·eval·cron 정책을 수정하도록 만드는 것은 권한과 회귀 위험 때문에 보류한다.

Appendix A. 표면 뉴스와 깊은 신호

Appendix B. Source & Reliability Notes

수집 한계: 오늘은 일요일이며 공식 발표 밀도가 낮았다. Google News RSS는 발견용으로만 사용했고, social-only rumor는 핵심 논지에서 제외했다. 일부 직접 URL은 공식 섹션 링크로 연결되며 원문 slug는 추후 변경될 수 있다. 이 문서는 AI 보조로 작성되었고, 해석과 예측은 사실과 구분해 서술했다.

Appendix C. 실행·검증 recap

Appendix D. AI 시대의 단어장: 맥락으로 이해하기

폐쇄형 학습 루프(closed learning loop)

사전적 뜻: 결과가 다시 입력으로 돌아오는 닫힌 순환. AI 맥락: AI의 행동을 평가하고 실패를 데이터로 바꿔 다음 정책을 개선하는 구조. 뉘앙스: 단순 반복이 아니라 관찰과 검증이 순환 안에 포함되어야 한다.

체화형 AI(embodied AI)

사전적 뜻: 몸을 가진 지능. AI 맥락: 로봇처럼 센서와 행동 장치를 통해 물리 환경과 상호작용하는 AI. 뉘앙스: 말의 그럴듯함보다 실제 행동 결과가 즉시 드러난다.

작업 궤적(trajectory/trace)

사전적 뜻: 움직임이 지나간 경로. AI 맥락: 입력, 판단, 도구 호출, 결과, 수정이 시간 순서로 이어진 기록. 뉘앙스: 최종 답만 저장하는 것보다 실패와 회복을 학습하기 좋다.

강화학습(reinforcement learning)

사전적 뜻: 보상을 통해 행동을 강화하는 학습. AI 맥락: 성공에 높은 보상, 실패에 낮은 보상을 주어 더 나은 행동 정책을 익히게 한다. 뉘앙스: 무엇을 보상으로 정의하는지가 모델 자체만큼 중요하다.

보상 모델(reward model)

사전적 뜻: 보상의 크기를 예측하는 모델. AI 맥락: 행동 결과가 목표에 얼마나 가까운지 자동 판정하는 심판. 뉘앙스: 심판이 틀리면 시스템은 잘못된 행동을 능숙하게 배울 수 있다.

세계 모델(world model)

사전적 뜻: 세계가 움직이는 방식을 나타낸 내부 모형. AI 맥락: 행동하기 전에 가능한 미래 장면과 결과를 예측하는 모델. 뉘앙스: 실제 시행착오의 비용이 큰 로봇에서 특히 중요하다.

평가 출처성(eval provenance)

사전적 뜻: 평가 결과의 기원과 계보. AI 맥락: 점수가 어떤 입력, 모델, 도구, 기준, 시점에서 나왔는지 추적하는 기록. 뉘앙스: 점수 상승이 진짜 개선인지 조건 변화인지 구분하게 한다.

평가 스키마(eval schema)

사전적 뜻: 평가 항목의 구조. AI 맥락: 성공 조건을 날짜, 출처, 형식, 오류 여부처럼 기계가 검사 가능한 필드로 나눈 것. 뉘앙스: 좋은 글 전체를 판정하지는 못하지만 빈 산출물과 계약 위반을 잡는다.

하네스(harness)

사전적 뜻: 장비를 묶고 제어하는 마구. AI 맥락: 모델 주변의 prompt, tools, memory, permissions, retry, validation, logs를 묶은 실행 틀. 뉘앙스: 실제 에이전트 품질은 모델과 하네스의 결합에서 나온다.

대체 경로(fallback)

사전적 뜻: 실패했을 때 돌아갈 예비 선택지. AI 맥락: 모델, API, 추출기가 막힐 때 workflow를 안전하게 이어갈 다른 절차. 뉘앙스: 무한 재시도가 아니라 실패 종류와 중복 side effect를 고려한 회복 경로다.

모델 라우팅(model routing)

사전적 뜻: 요청을 적절한 경로로 보내는 것. AI 맥락: 작업 난도, 비용, 속도, 개인정보, 가용성에 따라 모델/provider를 선택하는 방식. 뉘앙스: 하나의 최고 모델보다 포트폴리오 운영에 가깝다.

오픈 가중치(open-weight)

사전적 뜻: 학습된 수치가 공개된 모델. AI 맥락: 사용자가 모델 파일을 내려받아 실행·수정할 수 있는 배포 방식. 뉘앙스: 데이터와 학습 조리법까지 공개된 완전한 재현성과는 다르다.

Appendix E. 오늘의 위키 반영 후보

아래는 추천만 하며 이번 cron 실행에서는 03_wiki를 수정하지 않는다.

1. 작업 궤적을 자산으로 보는 에이전트 데이터

추천 위치: 03_wiki/concepts/agent-trajectory-data.md
장기 가치: agent 학습·debug·eval에 반복되는 핵심 개념이다.
보류 이유: NVIDIA 관점 외 독립 연구와 실제 Hermes 실패 사례를 추가해야 한다.
연결 문서: concepts/closed-loop-agent-operations.md, raw/source/wiki/output 분리 문서.

2. 평가 출처성(eval provenance)

추천 위치: 03_wiki/evals/eval-provenance.md
장기 가치: 모델·prompt·tool 변경 전후 비교를 신뢰할 수 있게 한다.
보류 이유: 현재 프로젝트의 run log field와 최소 schema를 먼저 조사해야 한다.
연결 문서: 기존 eval 문서, operations.md.

3. 로봇 학습 루프에서 배우는 agent 운영

추천 위치: 03_wiki/syntheses/robot-learning-loop-for-agent-ops.md
장기 가치: 관찰→행동→평가→교정 구조를 소프트웨어 agent와 연결하는 재사용 가능한 설명이다.
보류 이유: 오늘 두 릴리스만으로 일반화하지 말고 후속 논문과 독립 benchmark를 확인해야 한다.
연결 문서: closed-loop agent operations, automation 문서.

4. Model routing과 provider fallback의 평가 계약

추천 위치: 03_wiki/playbooks/model-routing-fallback.md 또는 기존 provider 문서 보강.
장기 가치: 접근권·비용·장애가 모델 성능만큼 운영에 반복 영향을 준다.
보류 이유: 실제 provider failure가 2~3회 축적된 뒤 playbook으로 승격해야 한다.
연결 문서: Hermes provider 설정, eval, resilience 관련 문서.

5. Artifact validator의 두 층: 결정적 검사와 사람 검토

추천 위치: 03_wiki/evals/artifact-validation-layers.md
장기 가치: HTML·wiki·publish workflow 전반에 적용 가능하다.
보류 이유: 기존 watchdog/eval 문서와 중복 여부를 먼저 확인해야 한다.
연결 문서: AI news automation, publishing workflow, operations.md.