MIT、AIが追加学習なしで他モデルの重みを直接書き換える研究を発表
MITの研究チームは、OpenAIのGPT-6 Astraが追加学習を経ずに他の小規模AIの重みを直接読み書きして性能を改善できることを示した。Qwenの重みのわずか0.016%を修正して推論ループを取り除き、数学スコアを7.9%から48.1%へと大幅改善させた。AIが自らの構造を直接改変する新たな可能性を示唆している。
MITの研究チームは、OpenAIのGPT-6 Astraが追加学習を経ずに他の小規模AIの重みを直接読み書きして性能を改善できることを示した。Qwenの重みのわずか0.016%を修正して推論ループを取り除き、数学スコアを7.9%から48.1%へと大幅改善させた。AIが自らの構造を直接改変する新たな可能性を示唆している。
ScenemaAI が表現力豊かな音声生成モデル「Scenema Audio」をオープンソース公開しました。LTX 2.3 から抽出した拡散モデルを基盤に、指示タグで感情変化や環境音を制御でき、ゼロショット音声クローンにも対応。16GB の VRAM から動作可能です。
Google は Gemma 3 ベースのオープン翻訳モデル「TranslateGemma」を発表しました。4B、12B、27B の 3 サイズ展開で 55 言語に対応。12B モデルが従来の 27B ベースラインを上回る精度を出し、画像内のテキスト翻訳機能もそのまま引き継いでいます。
Google DeepMind は言語モデルの内部動作を可視化する「Gemma Scope 2」を公開した。270M から 27B までの Gemma 3 ファミリー全体に対応し、SAE やトランスコーダーで内部推論を追跡できる。ハルシネーションや脱獄などの安全課題の解明に役立つ。
GoogleはGemma 3ベースの次世代エンコーダー・デコーダーモデル「T5Gemma 2」を発表した。同構造として初めてマルチモーダルと128Kトークンの長文脈に対応。注意機構の統合などにより約3.7億〜70億パラメータに小型化し、オンデバイス向け事前学習済みモデルとして提供する。
GoogleはGemma 3 270Mをベースに関数呼び出しへ特化させたFunctionGemmaを公開した。スマホやJetson Nano上で完全オフライン稼働し、ファインチューニングにより精度は58%から85%に向上。プライベートかつ高速なエッジエージェントを構築できる。
Google は端末上での動作に特化したオープンな埋め込みモデル「EmbeddingGemma」を発表した。パラメータ数は 3 億 800 万で、ネット接続なしでセマンティック検索や RAG を実行できる。Gemma 3n と同じトークナイザーを採用し、メモリ消費を抑えつつ高い多言語性能を実現する。
GoogleはGemma 3シリーズの最小モデル「Gemma 3 270M」を発表した。パラメータ数はわずか2.7億で、指示追従や構造化テキスト出力を標準装備。テキスト分類やデータ抽出など、特定用途に絞った低コストかつ高速なファインチューニングに最適化されている。
Googleはオープン医療マルチモーダルモデル「MedGemma 27B Multimodal」と軽量画像エンコーダー「MedSigLIP」を発表した。単一GPUやモバイル端末でも動作可能で、医療データプライバシーを自社で保護しながら開発できる環境を提供する。
Googleは量子化認識トレーニング(QAT)を適用したオープンモデル「Gemma 3」の新版を公開した。学習時に量子化を模擬することで、int4圧縮時のパープレキシティ低下を54%抑制。高価なデータセンター向けGPUを使わずとも、RTX 3090などの民生用GPUで27Bモデルをローカル実行できる。
Googleはオープンウェイトモデルの最新版「Gemma 3」を公開した。1Bから27Bまでの4サイズを展開し、4B以上は画像とテキストの両方を扱えるマルチモーダルに対応。文脈長は最大128kトークンに拡張され、27B版はGemini 1.5 Proを上回る性能を示している。