ダブルクリックで英日反転
Applied Sciences · Artificial Intelligence
Evolutionary Model Merge — Sakana AI's evolutionary search over model combination space
Evolutionary Model Merge (EvoMerge) is a technique from Sakana AI that uses evolutionary algorithms to automatically discover optimal recipes for combining existing pretrained models — no additional training data required. The resulting models can surpass fine-tuning baselines and outperform much larger models on targeted benchmarks.
The Core Idea: Automating Model Merging
- Model merging combines weights from multiple pretrained models into one. Previously this was done manually via heuristics (e.g., SLERP, TIES, DARE) with human-chosen layer weights and merge ratios.
- EvoMerge replaces human guesswork with CMA-ES (Covariance Matrix Adaptation Evolution Strategy) — an evolutionary optimisation algorithm that searches the merge configuration space automatically.
- Two search spaces: Parameter Space (PS) — how to interpolate weights layer by layer; Data Flow Space (DFS) — which model's layers to route tokens through at inference time. DFS enables merging models with different architectures and sizes (up to 21B from 7B components).
- Fitness is evaluated by running the candidate merged model on a task-specific benchmark; the evolutionary loop iterates until convergence.
Models Produced & Benchmarks
- EvoLLM-JP-v1-7B: merged shisa-gamma-7b-v1 (Japanese LLM) + WizardMath-7B + Abel-7B-002 (math specialists). Achieved 52.0% on MGSM-JA (Japanese math reasoning) vs. ~30% for source models individually — and beat fine-tuning baselines (which peaked at 43.2%).
- EvoLLM-JP-A-v1-7B: Apache 2.0 variant using Arithmo2-Mistral-7B as the math component — commercially licensable.
- EvoVLM-JP (Llama-3 base): vision-language model for Japanese culture-specific understanding; achieved SOTA on Japanese multimodal benchmarks.
- Scaling confirmed up to 13B; DFS merging can synthesise a 21B-class model from 7B components by interleaving their layers.
Why It Matters: Compute-Efficient Democratisation
- No gradient updates — only evolutionary search + inference evaluation. Creating EvoLLM-JP cost a fraction of training an equivalent model from scratch.
- Discovers non-obvious combinations: a Japanese general model + two English math models → a Japanese math model. A human would not have attempted this merge.
- All weights released on HuggingFace under research or Apache 2.0 licenses — accessible to any organisation with modest GPU resources.
- Published in Nature Machine Intelligence (2024), doi: 10.1038/s42256-024-00975-8. ArXiv: 2403.13187 (March 19, 2024).
Sakana AI — Timeline & Background
- 2023: Founded in Tokyo by David Ha (former head of Google Brain Japan, known for neuroevolution / weight agnostic networks) and Llion Jones (co-author of 'Attention Is All You Need', the original Transformer paper). Independent company, not a Google spin-off.
- 2024 Q1: Evolutionary Optimization of Model Merging Recipes paper + EvoLLM-JP / EvoVLM-JP release (March 2024).
- 2024 Q3: 'The AI Scientist' paper — automated scientific discovery system that writes, executes, and peer-reviews its own research papers. Demonstrated on NeurIPS workshop submissions.
- Focus: nature-inspired AI — evolution, self-organisation, emergent behaviour applied to modern deep learning.
→ EvoMerge reframes the question from 'how do we train a capable model?' to 'how do we find the right recipe for combining capable models that already exist?' — a shift that dramatically lowers the compute and data barrier for building domain-specialised AI.
応用科学 · 人工知能
Evolutionary Model Merge — 進化的探索でモデル合成レシピを自動発見するSakana AIの手法
EvoMerge（エボマージ）はSakana AIが開発した技術で、進化的アルゴリズム（evolutionary algorithm）を使い、既存の学習済みモデル同士の最適な組み合わせを自動探索する。追加の学習データ不要で、ファインチューニング（fine-tuning、追加学習）の上限を上回る性能を7Bクラスのモデルで達成した。
核心アイデア：モデルマージの自動化
- モデルマージ（model merging）＝複数の学習済みモデルの重みを合成し1つのモデルにする手法。従来はSLERP・TIES・DAREなどのアルゴリズムを人間がパラメータを手動で決めて使っていた。
- EvoMergeは人間の勘を**CMA-ES（共分散行列適応進化戦略）**に置き換える。マージ設定の空間を進化的に探索し、最良レシピを自動発見する。
- 探索空間は2種類：**パラメータ空間（PS）**＝層ごとの重み補間の割合、**データフロー空間（DFS）**＝推論時にどのモデルの層を通るかのルーティング。DFSにより異なるサイズのモデル（7B×2→21B相当）の組み合わせも可能。
- 適合度（fitness）の評価：候補モデルをタスク固有ベンチマークで実行し、その精度をスコアとして次世代の探索に反映する。
生成されたモデルとベンチマーク
- **EvoLLM-JP-v1-7B**：shisa-gamma-7b-v1（日本語LLM）＋WizardMath-7B＋Abel-7B-002（数学特化）を合成。日本語数学推論ベンチマークMGSM-JAで**52.0%**を達成。各ソースモデル単体≒30%・ファインチューニング上限43.2%をどちらも上回った。
- **EvoLLM-JP-A-v1-7B**：Apache 2.0ライセンス版。数学モデルをArithmo2-Mistral-7Bに差し替え、商用利用可能にしたバリアント。
- **EvoVLM-JP**（Llama-3ベース）：日本文化特有のコンテンツを理解するビジョン言語モデル（vision-language model）。日本語マルチモーダルベンチマークでSOTA（当時最高水準）を達成。
- 13Bへのスケールも確認済み。DFSで7Bコンポーネントから21Bクラス相当を合成可能。
なぜ重要か：計算効率と民主化
- 勾配更新（gradient update）ゼロ＝学習コスト不要。進化的探索＋推論評価だけで完結するため、EvoLLM-JP作成コストは同等モデルをゼロから学習する場合の数分の一。
- 人間が試みないマージを発見する：「日本語汎用モデル＋英語数学モデル2本」→「日本語数学モデル」という非自明な組み合わせ。
- 全重みをHuggingFaceで研究用・Apache 2.0ライセンスで公開。中規模GPUがあればどの組織でも利用できる。
- Nature Machine Intelligence（2024年）掲載（doi: 10.1038/s42256-024-00975-8）。ArXiv: 2403.13187（2024年3月19日）。
Sakana AI — 沿革
- **2023年**: 東京設立。共同創業者：David Ha（デイヴィッド・ハ。元Google Brain Japan責任者、ニューロエボリューション研究で著名）＋Llion Jones（ライオン・ジョーンズ。「Attention Is All You Need」＝Transformerの原論文の共著者）。Google系スピンオフではなく独立会社。
- **2024年3月**: Evolutionary Optimization of Model Merging Recipes論文発表＋EvoLLM-JP / EvoVLM-JP公開。
- **2024年Q3**:「The AI Scientist」論文発表——実験立案→コード実行→論文執筆→査読を自動化するAI研究者システム。NeurIPSワークショップへの投稿で実証。
- **研究哲学**: 進化・自己組織化・創発（emergent behaviour）を現代のディープラーニングに応用する「自然にインスパイアされたAI」。
→ EvoMergeは問いを「どうやって強いモデルを学習するか」から「既存の強いモデルをどう組み合わせるか」へ転換する。計算コストとデータの壁を大幅に下げ、ドメイン特化AIの構築を中小組織に開放した点で、学習パラダイムへの実質的な代替提案になっている。
Applied Sciences · Artificial Intelligence
Evolutionary Model Merge — Sakana AI's evolutionary search over model combination space
Evolutionary Model Merge (EvoMerge) is a technique from Sakana AI that uses evolutionary algorithms to automatically discover optimal recipes for combining existing pretrained models — no additional training data required. The resulting models can surpass fine-tuning baselines and outperform much larger models on targeted benchmarks.
The Core Idea: Automating Model Merging
- Model merging combines weights from multiple pretrained models into one. Previously this was done manually via heuristics (e.g., SLERP, TIES, DARE) with human-chosen layer weights and merge ratios.
- EvoMerge replaces human guesswork with CMA-ES (Covariance Matrix Adaptation Evolution Strategy) — an evolutionary optimisation algorithm that searches the merge configuration space automatically.
- Two search spaces: Parameter Space (PS) — how to interpolate weights layer by layer; Data Flow Space (DFS) — which model's layers to route tokens through at inference time. DFS enables merging models with different architectures and sizes (up to 21B from 7B components).
- Fitness is evaluated by running the candidate merged model on a task-specific benchmark; the evolutionary loop iterates until convergence.
Models Produced & Benchmarks
- EvoLLM-JP-v1-7B: merged shisa-gamma-7b-v1 (Japanese LLM) + WizardMath-7B + Abel-7B-002 (math specialists). Achieved 52.0% on MGSM-JA (Japanese math reasoning) vs. ~30% for source models individually — and beat fine-tuning baselines (which peaked at 43.2%).
- EvoLLM-JP-A-v1-7B: Apache 2.0 variant using Arithmo2-Mistral-7B as the math component — commercially licensable.
- EvoVLM-JP (Llama-3 base): vision-language model for Japanese culture-specific understanding; achieved SOTA on Japanese multimodal benchmarks.
- Scaling confirmed up to 13B; DFS merging can synthesise a 21B-class model from 7B components by interleaving their layers.
Why It Matters: Compute-Efficient Democratisation
- No gradient updates — only evolutionary search + inference evaluation. Creating EvoLLM-JP cost a fraction of training an equivalent model from scratch.
- Discovers non-obvious combinations: a Japanese general model + two English math models → a Japanese math model. A human would not have attempted this merge.
- All weights released on HuggingFace under research or Apache 2.0 licenses — accessible to any organisation with modest GPU resources.
- Published in Nature Machine Intelligence (2024), doi: 10.1038/s42256-024-00975-8. ArXiv: 2403.13187 (March 19, 2024).
Sakana AI — Timeline & Background
- 2023: Founded in Tokyo by David Ha (former head of Google Brain Japan, known for neuroevolution / weight agnostic networks) and Llion Jones (co-author of 'Attention Is All You Need', the original Transformer paper). Independent company, not a Google spin-off.
- 2024 Q1: Evolutionary Optimization of Model Merging Recipes paper + EvoLLM-JP / EvoVLM-JP release (March 2024).
- 2024 Q3: 'The AI Scientist' paper — automated scientific discovery system that writes, executes, and peer-reviews its own research papers. Demonstrated on NeurIPS workshop submissions.
- Focus: nature-inspired AI — evolution, self-organisation, emergent behaviour applied to modern deep learning.
→ EvoMerge reframes the question from 'how do we train a capable model?' to 'how do we find the right recipe for combining capable models that already exist?' — a shift that dramatically lowers the compute and data barrier for building domain-specialised AI.
応用科学 · 人工知能
Evolutionary Model Merge — 進化的探索でモデル合成レシピを自動発見するSakana AIの手法
EvoMerge（エボマージ）はSakana AIが開発した技術で、進化的アルゴリズム（evolutionary algorithm）を使い、既存の学習済みモデル同士の最適な組み合わせを自動探索する。追加の学習データ不要で、ファインチューニング（fine-tuning、追加学習）の上限を上回る性能を7Bクラスのモデルで達成した。
核心アイデア：モデルマージの自動化
- モデルマージ（model merging）＝複数の学習済みモデルの重みを合成し1つのモデルにする手法。従来はSLERP・TIES・DAREなどのアルゴリズムを人間がパラメータを手動で決めて使っていた。
- EvoMergeは人間の勘を**CMA-ES（共分散行列適応進化戦略）**に置き換える。マージ設定の空間を進化的に探索し、最良レシピを自動発見する。
- 探索空間は2種類：**パラメータ空間（PS）**＝層ごとの重み補間の割合、**データフロー空間（DFS）**＝推論時にどのモデルの層を通るかのルーティング。DFSにより異なるサイズのモデル（7B×2→21B相当）の組み合わせも可能。
- 適合度（fitness）の評価：候補モデルをタスク固有ベンチマークで実行し、その精度をスコアとして次世代の探索に反映する。
生成されたモデルとベンチマーク
- **EvoLLM-JP-v1-7B**：shisa-gamma-7b-v1（日本語LLM）＋WizardMath-7B＋Abel-7B-002（数学特化）を合成。日本語数学推論ベンチマークMGSM-JAで**52.0%**を達成。各ソースモデル単体≒30%・ファインチューニング上限43.2%をどちらも上回った。
- **EvoLLM-JP-A-v1-7B**：Apache 2.0ライセンス版。数学モデルをArithmo2-Mistral-7Bに差し替え、商用利用可能にしたバリアント。
- **EvoVLM-JP**（Llama-3ベース）：日本文化特有のコンテンツを理解するビジョン言語モデル（vision-language model）。日本語マルチモーダルベンチマークでSOTA（当時最高水準）を達成。
- 13Bへのスケールも確認済み。DFSで7Bコンポーネントから21Bクラス相当を合成可能。
なぜ重要か：計算効率と民主化
- 勾配更新（gradient update）ゼロ＝学習コスト不要。進化的探索＋推論評価だけで完結するため、EvoLLM-JP作成コストは同等モデルをゼロから学習する場合の数分の一。
- 人間が試みないマージを発見する：「日本語汎用モデル＋英語数学モデル2本」→「日本語数学モデル」という非自明な組み合わせ。
- 全重みをHuggingFaceで研究用・Apache 2.0ライセンスで公開。中規模GPUがあればどの組織でも利用できる。
- Nature Machine Intelligence（2024年）掲載（doi: 10.1038/s42256-024-00975-8）。ArXiv: 2403.13187（2024年3月19日）。
Sakana AI — 沿革
- **2023年**: 東京設立。共同創業者：David Ha（デイヴィッド・ハ。元Google Brain Japan責任者、ニューロエボリューション研究で著名）＋Llion Jones（ライオン・ジョーンズ。「Attention Is All You Need」＝Transformerの原論文の共著者）。Google系スピンオフではなく独立会社。
- **2024年3月**: Evolutionary Optimization of Model Merging Recipes論文発表＋EvoLLM-JP / EvoVLM-JP公開。
- **2024年Q3**:「The AI Scientist」論文発表——実験立案→コード実行→論文執筆→査読を自動化するAI研究者システム。NeurIPSワークショップへの投稿で実証。
- **研究哲学**: 進化・自己組織化・創発（emergent behaviour）を現代のディープラーニングに応用する「自然にインスパイアされたAI」。
→ EvoMergeは問いを「どうやって強いモデルを学習するか」から「既存の強いモデルをどう組み合わせるか」へ転換する。計算コストとデータの壁を大幅に下げ、ドメイン特化AIの構築を中小組織に開放した点で、学習パラダイムへの実質的な代替提案になっている。
Related notes
- Have I Been Pwned — the world's breach index and the privacy trick behind Pwned Passwords
- A workflow for getting more beautiful UI/UX out of Claude Code
- What actually happens when Claude Code settles on a design
- A DESIGN.md-based design-transfer playbook
- Adopting ElevenLabs' official OSS UI components
- Building product UI with Tailwind — how UI Kit, UI Blocks, shadcn, and ag-grid divide up the work