가중치 공간 프로그래밍: GPT-6 아스트라, 재학습 없이 소형 모델 파라미터 직접 수정

소프트웨어 개발자가 프로그램의 오류를 고칠 때 소스 코드를 읽지, 컴파일된 바이너리 기계어를 직접 분석하지는 않습니다. 그러나 딥러닝에서 학습된 모델은 수십억 개의 부동소수점 숫자로 이루어진 '가중치' 형태로만 존재합니다. 지금까지 인간 연구자가 이 거대한 숫자 뭉치를 직접 읽고 수정해 성능을 개선하는 것은 불가능에 가까운 영역으로 여겨졌습니다.

최근 연구진이 발표한 '가중치 공간 프로그래밍' 연구는 OpenAI의 GPT-6 아스트라가 전통적인 그래디언트 역전파나 재학습 루프 없이도 신경망 가중치를 직접 읽고 수정할 수 있음을 보여주었습니다. 가장 화제가 된 성과는 알리바바의 Qwen3.5-0.8B 모델이었습니다. 아스트라는 전체 가중치의 0.016%만을 수정하여 MATH-500 벤치마크 점수를 기존 7.9%에서 48.1%로 6배 이상 끌어올렸고, 지시 수행 능력(IFEval) 또한 3배 향상시켰습니다.

이 결과는 언뜻 인공지능이 스스로 뇌를 뜯어고쳐 똑똑해진 것처럼 보이지만, 실험 과정을 면밀히 들여다보면 마법보다는 정교한 '외과 수술'에 가깝습니다.

숫자 배열을 코드로 이해하는 실험들

연구진은 먼저 수만 개의 파라미터를 가진 작은 네트워크들을 대상으로 실험을 진행했습니다. 외부 도구나 실행 권한 없이 원시 가중치 텐서만 프롬프트로 전달했을 때, 아스트라는 해당 모델이 《벽돌깨기》나 《팩맨》 중 어떤 게임을 학습했는지 정확히 맞혀냈습니다. 심지어 입력층과 출력층을 완전히 제거하고 중간 트랜스포머 레이어만 제공한 상황에서도 학습 언어를 식별하고 텍스트 반복을 담당하는 인덕션 헤드를 모두 찾아냈습니다.

더 나아가 아스트라는 자연어 규칙 설명만 듣고 바닥부터 직접 가중치를 생성해 내기도 했습니다. 데이터나 역전파 없이 작성된 이 모델은 1억 번 학습된 강화학습 모델보다 뛰어난 게임 점수를 기록했습니다. 경사로에서 멈춰 서는 자동차 제어 모델에서도 3.5%의 가중치를 수정해 속도와 위치를 판별하는 보조 경로를 심어 넣으며 단번에 문제를 해결했습니다.

극적인 점수 상승 뒤에 숨은 현실

하지만 8억 개 파라미터 크기의 Qwen3.5 모델을 다룬 핵심 실험은 이전의 작은 테스트들과 환경이 사뭇 달랐습니다. NLP 전문가 매튜 호니발이 지적했듯, Qwen 실험에서 아스트라는 가중치를 눈으로만 훑어본 것이 아니라 파이썬 샌드박스를 사용해 최대 50회에 걸쳐 테스트 문제를 실행해 볼 수 있었습니다.

개발자 션 괴데케의 분석에 따르면, Qwen이 기존에 7.9%라는 처참한 점수를 기록했던 진짜 이유는 수학적 추론 능력이 없어서가 아니라 긴 추론 과정에서 무한 루프에 빠져 답변을 끝마치지 못하는 고질적인 버그 때문이었습니다. 아스트라가 취한 방식은 루프를 유발하는 텍스트와 정상 텍스트의 잔차 벡터 차이를 측정한 뒤, 루프를 일으키는 가중치를 깎아내는 전형적인 '스티어링' 기법이었습니다. 즉 갇혀 있던 원래 실력을 발휘하게 만들었을 뿐입니다. 실제로 이러한 루프 버그가 없던 구글의 Gemma 3(270M) 모델에 동일한 방식을 적용했을 때는 점수가 거의 오르지 않았습니다.

왜 중요한가

우리는 이 연구의 핵심이 'AI가 신경망을 초인적으로 직관하는 능력'이라기보다는, 복잡한 텐서를 자율적으로 리버스 엔지니어링하는 능력의 발견에 있다고 봅니다. 아스트라는 도구를 다루고, 가설을 세워 잔차 벡터를 분석하며, 이상 행동을 유발하는 파라미터만 국소적으로 제거해 냈습니다. 이는 모델의 특정 오작동이나 안전성 결함을 고칠 때 막대한 비용을 들여 재학습하지 않고도 정밀한 사후 패치를 적용할 수 있는 새로운 가능성을 열어줍니다.

다만 일반 개발자들이 이를 기존 파인튜닝의 완전한 대체재로 보기에는 명확한 한계가 있습니다. 가중치를 직접 고치는 것은 소스 코드 없이 기계어 바이너리를 패치하는 일과 같아서, 명확한 결함을 우회시키는 데는 유용하지만 모델에 없던 새로운 지식을 주입할 수는 없습니다. AI가 스스로 지능을 폭발적으로 증폭시키는 단계까지는 아직 거리가 멀지만, 신경망 내부를 뜯어고칠 수 있는 고성능 디버거를 손에 쥐게 된 것은 분명합니다.