MIT zeigt „Weight Space Programming“: Qwen-Gewichte direkt editiert

MIT-Forschende berichten ueber einen Ansatz namens „Weight Space Programming“, bei dem ein Sprachmodell (GPT-6 Astra) die offenen Gewichte eines anderen Modells gezielt veraendert. Im gezeigten Beispiel wurde Qwen3.5-0.8B direkt im Weight-Space angepasst, statt ueber klassisches Fine-Tuning oder Prompting. Laut Quelle verbesserte sich dadurch der MATH-500-Score von 7,9% auf 48,1%, obwohl nur rund 0,016% der Gewichte angefasst wurden.

Relevant ist das, weil solches „Editieren“ theoretisch schneller und guenstiger sein kann als wiederholtes Training: Wenn sich mit sehr kleinen Eingriffen bestimmte Faehigkeiten stark verschieben lassen, sinken Rechenkosten und Iterationszeit bei Modellanpassungen. Gleichzeitig ist der Befund vorerst eng: Er bezieht sich auf einen konkreten Benchmark (Mathematik) und ein bestimmtes Modell. Ob die Methode robust ist, sich reproduzieren laesst und vor allem auf business-nahe Aufgaben wie Extraktion, Klassifikation, Zusammenfassung oder Tool-Use uebertragbar ist, bleibt offen. Fuer den produktiven Einsatz muessten zudem Nebenwirkungen wie unerwuenschte Leistungsabfaelle in anderen Bereichen, Sicherheitsfragen und Qualitaetskontrolle sauber geprueft werden.