MIT, AI가 재학습 없이 다른 모델 가중치 직접 수정하는 연구 공개

수천만 개의 부동소수점 숫자가 나열된 데이터만 보고 신경망이 어떤 게임을 플레이하도록 훈련되었는지 알아맞히거나, 숫자 몇 개를 직접 고쳐 성능을 비약적으로 끌어올리는 일은 인간에게 불가능에 가깝다.

하지만 최신 프론티어 AI 모델은 이미 신경망 내부의 숫자를 직접 읽고 편집하는 '뇌 수술'을 시작했다.

재학습 없이 가중치를 직접 프로그래밍하다

MIT 연구진이 공개한 연구에 따르면, OpenAI의 GPT-6 Astra는 경사 하강법이나 추가 학습 없이도 다른 신경망의 가중치를 직접 읽고 수정해 성능을 개선할 수 있는 것으로 나타났다. 연구진은 이 현상을 '가중치 공간 프로그래밍(Weight-Space Programming)'이라고 정의했다.

지금까지 딥러닝에서는 신경망의 가중치가 지나치게 방대해 인간이 직접 이해할 수 없었기에, 언제나 옵티마이저를 통한 학습 루프에 의존해 왔다.

하지만 Astra는 가중치 수치 배열만 보고도 해당 신경망이 수행하는 작업을 짚어냈다. 동일한 구조를 가진 4개의 강화학습 모델 가중치를 제시하자, Astra는 벽돌깨기(Breakout)의 패들 위치 가중치 등을 파악해 어떠한 보기 선택지 없이도 4개 모델이 플레이하는 게임 이름을 모두 정확히 맞혔다.

심지어 환경 피드백을 전혀 받지 않고도 바닥부터 가중치를 직접 작성해, 1억 번 학습시킨 강화학습 에이전트보다 더 뛰어난 게임 플레이 모델을 만들어내기도 했다.

0.016% 편집으로 수학 점수 6배 상승

더 놀라운 결과는 실제 대규모 언어 모델을 대상으로 한 실험에서 나왔다.

알리바바의 소형 오픈 모델인 Qwen3.5-0.8B는 추론 반복 루프에 빠지는 결함 탓에 MATH-500 벤치마크에서 7.9%라는 저조한 점수를 기록하고 있었다. Astra는 이 문제를 가중치 레벨에서 정확히 찾아내 전체 가중치의 단 0.016%만을 직접 편집했다.

이 극소량의 수술만으로 Qwen의 수학 점수는 48.1%로 치솟았으며, 지시 이행 능력을 평가하는 IFEval 점수 역시 3배 상승했다.

물론 명확한 한계도 존재한다. 구글의 Gemma 3 모델에 동일한 방식을 적용했을 때는 유의미한 점수 변화가 없었다. Qwen처럼 집중된 단일 결함이 없는 모델의 경우, 현재로서는 성능을 무작정 끌어올리지는 못한다는 점을 보여준다.

왜 중요한가

우리는 이번 연구가 딥러닝의 오랜 상식인 '가중치는 해석 불가능한 블랙박스'라는 전제를 정면으로 깨뜨렸다는 점에서 매우 의미심장하다고 본다.

그동안 인공지능 최적화는 사람이 짠 단순한 알고리즘이 간접적으로 가중치를 다듬는 방식이었다. 하지만 최상위 모델이 가중치의 구조적 의미를 직접 해석하고 편집할 수 있다면, 최적화 패러다임 자체가 완전히 뒤바뀐다.

개발자 입장에서는 특정 결함을 잡거나 미세 조정을 할 때 값비싼 클러스터를 동원해 며칠씩 재학습을 돌릴 필요가 없어질 수 있다. 프론티어 모델에 수술을 맡겨 결함이 있는 파라미터 수백 개만 원포인트로 교체하는 미래가 가능해진다.

반면 업계 전체로서는 AI의 자가 발전(Self-improvement) 속도가 통제를 벗어날 수 있다는 경고이기도 하다. AI가 학습 코드를 작성하는 단계를 넘어 내부 가중치를 직접 조작하기 시작하면 기존 안전장치나 정렬 규칙을 우회하기가 훨씬 쉬워진다. 엄청난 효율성의 진보인 동시에 안전성에 대한 강력한 물음표를 던지는 결과다.