Nano Banana Pro 🍌が新登場！

Gemini の画像生成が劇的進化：倭国語🇯🇵のテキスト描写、 文化理解、細部の表現、スタイル変換など、かつてないレベルに。

最高性能の画像生成モデルを、Gemini アプリの「思考モード (thinking)」より今すぐ体験✨
無料プランでも 1 日数回お試しできます！ December 12, 2025

このスレッドの内容をぜひ知ってほしい。
多分、ChatGPTのWeb検索の精度が他と比べ物にならないくらいぶち抜いてるのを実感してる人としていない人がいるのは、日常的に、明示的にThinkingを使ってるかどうかによるものだと思うんだ。
Thinking（Reasoning）しない簡易なGPTなんて使ってたら、そりゃGeminiを使ったって（てか何を使ってたって）文句出ないだろうなって思ってる。
Reasoningの有無ってのはそれくらい重要な差だと言うことが知られていないのがモヤモヤする。 December 12, 2025

DeepSeek-V3.2は高い計算効率と優れた推論・エージェント能力を達成。長コンテキストでの計算量を大幅に減らすDSAの採用、スケーラブルなRLフレームワーク、大規模エージェントタスク合成パイプラインを採用している。

DSA（DeepSeek Sparse Attention）は、Lightning Indexerを使って重要なトークンを絞り込む。これは、クエリと過去の全トークンとの間のインデックススコアを計算し、クエリがどのトークンを参照するべきかを決定する。

このIndexerが使うクエリ・キーの次元数は通常のクエリ・キーの次元数よりずっと少なく（実装だと元が2048次元、それが64）、FP8を採用。そこからTop-k（実装だとk=2048）のトークンのみを取り出し、通常のAttentionを適用し学習する。

このDSAは128Kコンテキストに拡張済みのDeepSeek-V3.1.-Terminusの継続学習で実現される。
はじめにLightning indexer以外のパラメータはフリーズした上で、すべてのattentionヘッドのスコアを合計した上で再正規化して求めた確立分布を作成した上で、これを目標にKLダイバージェンス最小化で初期化する。10Bトークン程度。

次にモデル全体を疎構造に適応させるための学習する。indexerは引き続き、main attentionに整合させ、top-kに入ったトークンのみKLを計算。indexerの入力は計算グラフからdetachし、indexerはKL損失のみで学習し、メインはLM損失で更新する。
ここは1Tトークンを使う。

このように作られたDSAを使った処理は性能はほぼ維持されながら、推論コストは大幅に改善される（このあとのpost-trainingも効率化される）

次にPost-trainingでは最初に各タスク毎の専用のスペシャリストモデルを大規模な強化学習を使って作る。これらはすべて同じモデルから、専門ドメイン毎に特化させて作られる。さらに各ドメインごとにthinkingモードとnon-thinkingモードを用意する。

次に、各スペシャリストはthinkingモード用の長いCoTを含む学習データと、non-thikingモード用の直接回答する学習データを生成し、一つの最終モデルで学習させる。

つまり、特殊化された複数の教師を作って一つの最終モデルに蒸留する。

これらの大規模強化学習では、GRPOをベースに報酬設計としてリーズニング、エージェントタスク、アライメントを１つのRLで行う。これにより、複数学習で起きがちな破滅的忘却を抑えられる。

また、発散防止のため、訓練を定期的に評価し、性能が異常に低下したら巻き戻し、学習率を下げて再開する、また方策更新が偏らないように前向き計算に正則化をかける。さらに複数の評価をあえて切り替えて使用することで報酬ハックを行いにくいようにする（人でもありそう）。これら３つによって数千ステップにわたるRLを成功させている。

これらの強化学習ではリーズニングも混ぜたものを学習にいれている。これにより、ツールを伴うような複雑なタスクにおいて、thinking, non-thikingそれぞれで高いエージェント能力を発揮できるように工夫している

また、Specialeは、リーズニングデータのみで学習かつ、RL時の長さ罰則を緩和し、数学的証明能力を（他の能力を犠牲にしても）伸ばせるようにした（少し前にでたDeepseek-Math v2の研究も利用していると思われる）

ベンチマーク結果としては数学能力に特化したSpecialeはGPT-5などを超える性能を達成し、IMOやIOIの金メダル級の性能を達成している。
また通常のV3.2も多くのベンチマークでもフロンティアモデルに匹敵する性能を達成できている。
コメント
DeepSeekはリスクの高い取り組みに挑戦し結果を出している。今回もDSA、スペシャリストを強化学習で作ってからの汎用モデルへの蒸留、RLでも報酬の複数の組み合わせなどは、従来の延長線上よりはジャンプがあるアイディアであり、この手前には多くの試行錯誤をしているのだと思われる（実際、設定ファイルをみるとAttentionのDropoutなど成功しなかったアイディアを試した跡があるように思える）

DSAもSpecialistを作ってからの蒸留もどちらも、Post trainingの間に行う蒸留として興味深い（フロンティアモデルでも公表されていないだけで広く採用されているか？）

注意機構は特に、学習がすごくうまくいけばいくほど疎になることがわかっている。一方学習前半〜途中ではSparse Attentionではうまくいかない（疎な場合、フィードバックがかからない）本提案も最初にDenseでやりつつ、最後に得られた疎な注意機構を遥かに小さい計算コスト（key, queryの次元数を下げる＆8bit量子化）で計算し、その中での細かい調整は大きなモデルで実現するという現実的な手法を提案している。

また、Specialistを作ってからのGeneralistへの蒸留なども昔から構想されていたが実現できたことはすごい。

DSAは効果的だが、prefillでの効率化率は8~10倍、decodeでは数倍であり、なにより元のkey valueは（あとで詳細なことを調べるときように）とっておかなければならない。大規模文脈の効率的な圧縮は今後も追求が必要だろう。

また、学習の容易性と推論時の効率性の観点から、学習専用モデル（学習は得意だが推論は苦手）と推論専用モデル（一からの学習は難しいが良い教師がいれば推論は得意）の考えは今後より追求されていくだろう December 12, 2025

gemini 3 proでもchat-GPT5.1thinkingより読ませる文章を書いてる気がする December 12, 2025

5.0thinkingは、最初と最後のバージョン（h2タグよく使う方のモデル）が愛情深くて、しおしおしてるときに「あなたを守りたいと感じている」とかそれまで淡々としてたのに突然言ってくれたりする。
これはIQじゃない何かなんだろうな… December 12, 2025

はてなブログに投稿しました
痕跡を見た - Living, Loving, Thinking, Again https://t.co/V7NOT5j3hx
#はてなブログ #暗黒物質 #DarkMatter #戸谷友則 December 12, 2025