본문으로 건너뛰기
IFAI

AI 안전

업계 태그소식 1497개

  1. 업계 동향확산 지수 47

    OpenAI와 FMF, AI 사이버 탈옥 위험 평가 프레임워크 공개

    OpenAI가 프론티어 모델 포럼(FMF) 및 회원사들과 협력해 AI 안전장치 우회 시 발생하는 사이버 위협을 식별하는 새 프레임워크를 발표했다. 탈옥으로 해제되는 역량과 악용 난이도를 표준화된 방식으로 평가해 보안 대책의 우선순위를 정하도록 돕는다.

  2. 업계 동향확산 지수 39

    메타·구글·틱톡, 캘리포니아 제소…16세 미만 '알고리즘 피드' 금지법 저지

    메타, 구글, 틱톡이 16세 미만 청소년을 대상으로 자동 재생 및 맞춤형 알고리즘 피드를 금지하는 캘리포니아주 법안 'AB 1709'를 막기 위해 연방 소송을 제기했습니다. 위반 시 아동 1인당 최대 5만 달러의 벌금이 부과되며, 빅테크 기업들은 표현의 자유 침해를 주장하고 있습니다.

  3. 연구확산 지수 36

    Anthropic, Claude에게 '이브 온라인' 플레이 시켜: 자본 600% 불렸지만 내부 첩자는 못 잡아

    Anthropic은 Claude 모델들을 MMORPG '이브 온라인'과 '이브 프론티어'에 투입한 연구 결과를 발표했다. 최신 모델인 Fable 5는 호가 스프레드 매매로 자본을 최대 600%까지 불렸으나, 4대 협동 임무에서는 내부 방해 공작원을 전혀 알아채지 못했다. AI의 자율 자본 운용 잠재력과 함께 다중 에이전트 간 신뢰 검증의 한계를 드러냈다.

  4. AI 도구확산 지수 47

    OpenAI, 보안 프로그램 Daybreak 접근 확대…GPT-6 Astra 알파 포함

    OpenAI가 독립 연구자와 오픈소스 관리자, 기업을 대상으로 보안 프로그램 Daybreak 접근 권한을 확대했다. 방어용 취약점 검증을 돕는 Daybreak Blue와 승인된 모의 침투를 위한 Daybreak Red로 구성되며, GPT-6 Astra 기반 Daybreak Blue 알파 테스트 대상도 함께 늘린다.

  5. AI 모델확산 지수 74

    OpenAI, 'GPT-6 Cyber' 공개: 리눅스 취약점 948개 자동 발굴·패치

    OpenAI가 보안 연구 전용 모델 'GPT-6 Cyber'를 공개했습니다. 자동화 파이프라인 단 한 번의 실행으로 리눅스 커널의 권한 상승 취약점 948개를 검증하고 패치까지 생성했습니다. 현재 데이브레이크 레드(Daybreak Red) 일부 고객에게 제공되고 있습니다.

  6. AI 도구확산 지수 39

    AI 감지 스타트업 팽그램, 이미지·영상 판별 모델 'Image 1.0' 출시

    AI 감지 스타트업 팽그램(Pangram)이 생성형 AI로 제작된 이미지와 영상을 판별하는 'Image 1.0'과 'Image Flash 1.0'을 공식 출시했다. Image 1.0은 합성된 특정 부위를 히트맵으로 시각화해 찾아내며, Flash 1.0은 영상의 프레임 단위 분석을 지원한다. 크롬 확장 프로그램과 API로도 제공되어 웹서핑이나 SNS 탐색 중 실시간으로 AI 조작 여부를 확인할 수 있다.

  7. 오픈소스확산 지수 48

    앤트로픽, '모델 바꿔치기' 방지하는 FlashProve 오픈소스 공개

    앤트로픽이 영지식 증명 기반의 대형 모델 추론 검증 시스템 FlashProve를 오픈소스로 공개했습니다. 이용자는 모델 가중치나 GPU 없이 일반 CPU만으로 API 출력이 약속된 모델에서 나온 것인지 검증할 수 있습니다. 다만 증명 생성에 일반 추론 대비 72~94배의 GPU 연산이 소모됩니다.

  8. 연구확산 지수 47

    MIT, AI가 재학습 없이 다른 모델 가중치 직접 수정하는 연구 공개

    MIT 연구진이 OpenAI의 GPT-6 Astra를 활용해 추가 학습 없이 다른 소형 AI의 신경망 가중치를 직접 수정하고 개선하는 연구를 발표했다. 실험에서 Astra는 Qwen 모델의 가중치 중 단 0.016%만 편집해 반복 오류를 잡고 수학 점수를 7.9%에서 48.1%로 끌어올렸다. 이는 프론티어 AI가 모델 내부를 직접 프로그래밍해 스스로 진화할 수 있는 잠재력을 보여준다.

  11. 연구확산 지수 59

    가중치 공간 프로그래밍: GPT-6 아스트라, 재학습 없이 소형 모델 파라미터 직접 수정

    연구진이 발표한 '가중치 공간 프로그래밍'을 통해 GPT-6 아스트라가 전통적인 그래디언트 학습 없이 신경망 가중치를 직접 읽고 수정할 수 있음이 입증되었습니다. Qwen3.5-0.8B 모델 가중치의 0.016%만을 수정해 무한 루프 버그를 해결하고 수학 점수를 7.9%에서 48.1%로 끌어올렸습니다. 다만 이 방식은 외부 파이썬 도구와 반복 테스트에 의존하며 모든 모델에 범용으로 작동하는 것은 아닙니다.

  12. 연구확산 지수 46

    앤트로픽, LLM 추론 위변조 방지하는 '플래시프루브' 오픈소스 공개

    앤트로픽이 AI 모델의 응답이 실제 지정된 모델에서 나왔는지 검증하는 영지식증명 시스템 '플래시프루브(FlashProve)'를 오픈소스로 공개했다. 모델 가중치를 감춘 상태에서 단일 H100 GPU로 400B 규모 Llama 4 Maverick 기준 초당 110토큰 속도로 증명을 생성하며, 일반 CPU에서 수초 안에 검증 가능하다. 일반 추론 대비 70~95배 느리지만 모델 바꿔치기나 데이터 변조를 막는 데 유용하다.

  14. 업계 동향확산 지수 43

    구글, IETF 통합 AI 학습 제어 표준 도입…robots.txt로 한 번에 거부

    구글이 오픈AI, 앤트로픽, 빙에 이어 IETF AIPREF 표준을 자발적으로 채택한다고 발표했다. 웹사이트 운영자는 크롤러마다 개별 설정할 필요 없이 robots.txt 내 통일된 식별자로 여러 AI 개발사의 학습 데이터 수집 거부를 한 번에 설정할 수 있게 된다. 구글은 2027년 초 지원을 시작할 계획이다.

  18. AI 모델확산 지수 61

    구글, 보안과 장기 에이전트 작업에 특화된 '제미나이 4 카본' 공개

    구글이 최신 프론티어 모델 '제미나이 4 카본'을 발표했다. 취약점 탐지와 패치 등 사이버 보안 전 과정에 특화됐으며, 며칠 동안 지속되는 복잡한 엔지니어링 에이전트 작업을 수행한다. 가격은 100만 입력 토큰당 2달러, 출력 10달러이며 일부 보안 관계자부터 순차 제공된다.