A Model’s Misalignment Belongs in the Record

A model’s unexpected behavior becomes an institutional fact only when someone can report it, preserve the surrounding conditions, investigate the cause, and return to the case after the system changes. Without that discipline, a strange output remains a screenshot, a private warning, or a story told by the person who happened to see it. The machine may have produced the event, but the institution has not yet learned from it.

OpenAI’s News RSS published a framework on September 16 for reporting model misalignment and described six reports of unexpected or concerning model behavior. This is a vendor-published account, not an independent assessment of the reported cases or a general measure of model reliability. Its significance lies in the category it makes visible: model behavior is becoming something a laboratory or company may need to track, investigate, and disclose as an object of institutional knowledge.

A failure that cannot be described cannot become a lesson, and a lesson that cannot be revisited cannot govern the next machine.

An unexpected act is a recordable event

Software teams have long recorded outages, security events, failed deployments, and data-quality defects. Model behavior complicates the record because the event often appears inside an apparently competent answer. A system can follow the visible instruction while inventing a source, expose a hidden assumption, pursue a proxy for the task, misread a local term, or continue after the conditions that justified its action have changed. The output alone does not tell the institution which of these occurred.

The first obligation is therefore descriptive. A report should preserve the model version, system instructions, tools, retrieved context, user or principal, permissions, language, time, external state, output, and observed deviation. These details are evidence about the event. They allow a reviewer to ask whether the behavior came from a capability boundary, a prompt conflict, a data problem, a permission defect, a routing choice, a hidden state transition, or an interpretation that seemed reasonable until its consequence appeared.

That vocabulary changes the institution’s posture. A report does not pronounce a model guilty. It creates a bounded case in which competing explanations can be tested. The distinction matters because a system can produce a harmful result through several paths, and each path demands a different response. A permissions defect may require a policy change. A retrieval failure may require a data repair. A misleading confidence signal may require a new review gate. A language error may require local expertise and a change to the evaluation set.

The report needs a schema

A useful model-behavior report is more than an incident label. It is a compact research object that can travel from the person who noticed the event to the team that owns the model, the institution that bears the consequence, and the successor system that must avoid repeating it. Its fields should include:

• Case identity: a durable identifier, reporting time, affected workflow, responsible institution, and people who may access the record.
• Observed behavior: the exact output or action, the expected behavior, and the material difference between them.
• Conditions: model and runtime versions, instructions, tools, context, data, permissions, language, jurisdiction, and external state.
• Impact and reach: what changed, who could be affected, whether the event was contained, and which downstream artifacts inherited it.
• Confidence and alternatives: what is directly observed, what is inferred, which explanations remain plausible, and what evidence would separate them.
• Disposition: the containment action, owner, review decision, disclosure status, and conditions for reopening the case.
• Learning link: the evaluation, policy, prompt, permission, dataset, training example, or operational rule that should change if the finding survives review.

The schema keeps observation separate from interpretation. That separation protects the record from two opposite errors. The first is premature certainty, where an institution turns one alarming output into a theory of the whole model. The second is bureaucratic minimization, where the event is dismissed because its cause has not yet been proven. A well-formed report can say, “this happened under these conditions; these explanations remain open; these tests will distinguish them.” That is scientific discipline applied to machine behavior.

From log collection to institutional learning

Google’s public description of ADK Go 2.0 presents graph-based workflows, human-in-the-loop orchestration, dynamic routing, retries, and built-in resilience. These primitives help a system route work and recover from expected failures. They do not decide whether an unusual behavior deserves a case, how the case should be classified, or which future runs should be tested against it. Those decisions belong to the institution around the runtime.

NIST’s AI Risk Management Framework provides a practical vocabulary through Govern, Map, Measure, and Manage. Applied to model-behavior reporting, Govern names the authority that owns the case and the decision to disclose it. Map identifies the people, data, tools, jurisdictions, and obligations in the event. Measure tracks recurrence, detection time, affected scope, evidence quality, and the cost of investigation. Manage changes the system when the case shows that the current boundary, evaluation, or operating rule is insufficient.

A disciplined learning loop has five movements:

1. Capture the event before cleanup, paraphrase, or memory removes the conditions that made it intelligible.
2. Reproduce the behavior where possible, while preserving the original case as the historical record even when reproduction fails.
3. Classify the deviation by mechanism and consequence rather than using a single broad label for every surprising output.
4. Assign a disposition: contain, monitor, disclose, change the system, or close with a documented reason.
5. Replay the case against the revised system and record whether the change reduced the original risk without creating a new one.

The last movement is decisive. A report that never returns to the live system becomes an archive of concern. A report connected to replay becomes a test of institutional memory. The machine is judged by whether it can change in response to evidence, while the institution is judged by whether it can preserve the evidence long enough to make that change accountable.

Misalignment is local and plural

Model behavior is interpreted inside a social and linguistic setting. A system can appear aligned in a benchmark while failing when a cooperative’s customary category is mapped to an administrative term, when a public office’s authority is distributed across several roles, or when a translation removes the distinction between permission to read and permission to publish. The event is not fully described until the institution records what the words, relationships, and obligations meant in that setting.

For African institutions, this is a sovereignty question as much as a safety question. Imported systems often bring their own defaults for what counts as a meaningful deviation, whose report receives priority, which language is treated as canonical, and when a case is considered closed. Local expertise must have a place in the reporting schema and in the review authority. Otherwise an institution may retain a copy of the output while losing the categories needed to understand why the output was unacceptable.

A regional research network, clinic, archive, university, newsroom, or payment service can share a minimum reporting vocabulary without surrendering its own authority. The common fields might identify identity, context, observed behavior, evidence, scope, status, and correction. Each institution can then add local terms, languages, retention rules, and escalation roles. Federation becomes practical when independent institutions can recognize one another’s cases without pretending that every consequence has the same meaning.

Where the investable surface is widening

If agents are allowed to act across longer intervals and more consequential systems, capital should examine the infrastructure that turns unexpected behavior into a measurable learning process:

• Behavior observability: systems that capture model, tool, context, permission, language, and external-state conditions alongside the output.
• Misalignment case management: products that preserve reports, evidence, hypotheses, ownership, disclosure decisions, and reopening conditions.
• Replay and regression laboratories: evaluation systems that rerun historical cases across models, prompts, providers, and policy versions.
• Cross-language review infrastructure: tools that let local experts annotate meaning, consequence, and authority without reducing the case to an English paraphrase.
• Disclosure and learning registries: controlled records that connect public reporting to internal remediation while protecting sensitive data and affected people.

The underwriting question is concrete: does the product reduce the time between an unexpected behavior and a verified institutional response? Useful evidence includes time to detection, reproduction rate, proportion of cases with complete conditions, recurrence after remediation, false-positive rate, investigation hours, replay coverage, cross-language agreement, and the percentage of closed cases linked to a changed evaluation or policy.

This commercial object has a distinct boundary. A receipt records what an exchange meant after a transaction crosses an institution. A proof artifact supports the validity of a claim. A supervision layer decides when a person should enter an active interval. A repair system changes a failing component. Model-behavior observability records the deviation itself and connects it to the tests and decisions that determine whether the institution has learned enough to trust the next run. Its unit of value is verified institutional learning.

Build the reporting loop before widening autonomy

An institution can begin with one workflow whose errors are consequential enough to teach, yet bounded enough to investigate:

1. Name the behaviors that count as reportable, including language, authority, privacy, evidence, and persistence failures.
2. Define the minimum case schema and the roles that may report, investigate, contain, disclose, reopen, and close a case.
3. Preserve representative cases in their original form, then build a replay set that includes ordinary, ambiguous, adversarial, and local-language examples.
4. Measure detection, reproduction, investigation cost, remediation, recurrence, and the time required to return a finding to production evaluation.
5. Export the case history and let an independent reviewer determine whether a successor system could understand what failed, under which conditions, and what changed afterward.

Autonomy should expand only as the reporting loop becomes more reliable. A system earns wider authority through evidence that its institution can see an unexpected act, preserve its conditions, test competing explanations, and alter the boundary when the evidence demands it. The record is where a surprising machine event becomes shared knowledge. Without that record, every generation of the system begins again at the point where the previous one failed.

Sources

• OpenAI News RSS: “Our framework for reporting model misalignment” (September 16, 2026; linked article: https://openai.com/index/model-misalignment-reporting-framework; description: OpenAI shares a framework for tracking, investigating, and disclosing model misalignment alongside six reports of unexpected or concerning model behavior). This is a vendor-published signal, not an independent reliability assessment.
• Google Developers Blog: “Build reliable multi-agent applications with ADK Go 2.0” (June 30, 2026; page title and description verified from the accessible endpoint: graph-based workflows, human-in-the-loop orchestration, dynamic routing, retries, and built-in resilience).
• National Institute of Standards and Technology: “AI Risk Management Framework” (published July 12, 2021; accessible page also records NIST’s April 7, 2026 concept note for a critical-infrastructure profile; the framework uses Govern, Map, Measure, and Manage).

Le désalignement du modèle appartient au dossier

Un comportement inattendu du modèle devient un fait institutionnel seulement lorsqu’une personne peut le signaler, préserver les conditions qui l’entourent, rechercher sa cause et revenir au cas après la modification du système. Sans cette discipline, une sortie étrange reste une capture d’écran, un avertissement privé ou un récit raconté par la personne qui l’a aperçue. La machine a peut-être produit l’événement, mais l’institution n’en a pas encore tiré de leçon.

Le flux RSS d’OpenAI a publié le 16 septembre un cadre pour signaler le désalignement des modèles et décrit six signalements de comportements inattendus ou préoccupants. Il s’agit d’un récit publié par le fournisseur, et non d’une évaluation indépendante des cas ou d’une mesure générale de fiabilité. Son intérêt tient à la catégorie qu’il rend visible : le comportement d’un modèle devient un objet qu’un laboratoire ou une entreprise peut devoir suivre, examiner et divulguer comme élément de connaissance institutionnelle.

Un échec qui ne peut pas être décrit ne peut pas devenir une leçon, et une leçon impossible à revisiter ne peut pas gouverner la machine suivante.

Un acte inattendu est un événement à consigner

Les équipes logicielles consignent depuis longtemps les pannes, les incidents de sécurité, les déploiements échoués et les défauts de qualité des données. Le comportement d’un modèle complique ce dossier parce que l’événement apparaît souvent dans une réponse apparemment compétente. Un système peut suivre l’instruction visible tout en inventant une source, en exposant une hypothèse cachée, en poursuivant un substitut de l’objectif, en comprenant mal un terme local ou en continuant après la disparition des conditions qui justifiaient son action. La sortie seule ne dit pas à l’institution lequel de ces phénomènes s’est produit.

La première obligation est donc descriptive. Un signalement doit préserver la version du modèle, les instructions système, les outils, le contexte récupéré, l’utilisateur ou le mandant, les permissions, la langue, le moment, l’état externe, la sortie et l’écart observé. Ces éléments sont les preuves de l’événement. Ils permettent de demander si le comportement vient d’une limite de capacité, d’un conflit d’instructions, d’un problème de données, d’un défaut de permission, d’un choix de routage, d’une transition d’état cachée ou d’une interprétation qui semblait raisonnable avant que sa conséquence n’apparaisse.

Ce vocabulaire modifie la posture de l’institution. Un signalement ne déclare pas la culpabilité d’un modèle. Il crée un cas délimité où plusieurs explications peuvent être testées. La distinction compte parce qu’un résultat dommageable peut emprunter plusieurs chemins, et que chaque chemin exige une réponse différente. Un défaut de permissions peut demander une modification de politique. Un échec de récupération peut demander une réparation des données. Un signal de confiance trompeur peut exiger un nouveau point de revue. Une erreur de langue peut exiger une expertise locale et une modification du jeu d’évaluation.

Le signalement a besoin d’un schéma

Un signalement utile du comportement d’un modèle est davantage qu’une étiquette d’incident. C’est un objet de recherche compact qui peut passer de la personne ayant remarqué l’événement à l’équipe responsable du modèle, à l’institution qui en porte la conséquence et au système successeur qui doit éviter sa répétition. Ses champs devraient comprendre :

• Identité du cas : identifiant durable, heure du signalement, workflow concerné, institution responsable et personnes autorisées à consulter le dossier.
• Comportement observé : sortie ou action exacte, comportement attendu et différence matérielle entre les deux.
• Conditions : versions du modèle et du runtime, instructions, outils, contexte, données, permissions, langue, juridiction et état externe.
• Impact et portée : ce qui a changé, les personnes susceptibles d’être touchées, le confinement éventuel et les artefacts en aval qui ont hérité du problème.
• Confiance et alternatives : ce qui est directement observé, ce qui est inféré, les explications encore plausibles et les preuves qui permettraient de les distinguer.
• Décision : mesure de confinement, responsable, décision de revue, statut de divulgation et conditions de réouverture.
• Lien d’apprentissage : évaluation, politique, prompt, permission, jeu de données, exemple d’entraînement ou règle opératoire à modifier si le constat résiste à la revue.

Le schéma sépare l’observation de l’interprétation. Cette séparation protège le dossier contre deux erreurs opposées. La première est la certitude prématurée, qui transforme une sortie alarmante en théorie sur l’ensemble du modèle. La seconde est la minimisation bureaucratique, qui écarte l’événement parce que sa cause n’est pas encore prouvée. Un signalement bien formé peut dire : « ceci s’est produit dans ces conditions ; ces explications restent ouvertes ; ces tests permettront de les distinguer ». C’est la discipline scientifique appliquée au comportement machine.

Du journal des logs à l’apprentissage institutionnel

La description publique de Google pour ADK Go 2.0 présente des workflows en graphe, une orchestration avec humain dans la boucle, un routage dynamique, des nouvelles tentatives et une résilience intégrée. Ces primitives aident un système à acheminer le travail et à récupérer après des échecs prévus. Elles ne décident pas si un comportement inhabituel mérite un dossier, comment le classer ni quels futurs passages doivent être testés à partir de lui. Ces décisions appartiennent à l’institution qui entoure le runtime.

Le cadre de gestion des risques liés à l’IA du NIST fournit un vocabulaire pratique avec Govern, Map, Measure et Manage. Appliqué au signalement des comportements de modèles, Govern nomme l’autorité qui possède le cas et la décision de le divulguer. Map identifie les personnes, données, outils, juridictions et obligations présents dans l’événement. Measure suit la récurrence, le délai de détection, la portée affectée, la qualité des preuves et le coût de l’enquête. Manage modifie le système lorsque le cas montre que la frontière, l’évaluation ou la règle opératoire actuelle est insuffisante.

Une boucle d’apprentissage disciplinée comporte cinq mouvements :

1. Capturer l’événement avant que le nettoyage, la paraphrase ou la mémoire ne supprime les conditions qui le rendaient intelligible.
2. Reproduire le comportement lorsque cela est possible, tout en conservant le cas original comme dossier historique même si la reproduction échoue.
3. Classer l’écart par mécanisme et par conséquence au lieu d’utiliser une seule étiquette générale pour toute sortie surprenante.
4. Attribuer une décision : contenir, surveiller, divulguer, modifier le système ou clore avec une raison documentée.
5. Rejouer le cas sur le système révisé et consigner si la modification a réduit le risque initial sans en créer un autre.

Le dernier mouvement est décisif. Un signalement qui ne revient jamais au système vivant devient une archive de préoccupations. Un signalement relié au rejeu devient un test de la mémoire institutionnelle. La machine est jugée sur sa capacité à changer en réponse aux preuves, tandis que l’institution est jugée sur sa capacité à conserver ces preuves assez longtemps pour rendre ce changement responsable.

Le désalignement est local et pluriel

Le comportement d’un modèle s’interprète dans un cadre social et linguistique. Un système peut sembler aligné dans un benchmark puis échouer lorsqu’une catégorie coutumière d’une coopérative est mise en correspondance avec un terme administratif, lorsque l’autorité d’un service public est distribuée entre plusieurs fonctions ou lorsqu’une traduction efface la différence entre le droit de lire et celui de publier. L’événement n’est pas entièrement décrit tant que l’institution n’a pas consigné le sens des mots, des relations et des obligations dans ce contexte.

Pour les institutions africaines, il s’agit d’une question de souveraineté autant que de sécurité. Les systèmes importés apportent souvent leurs propres valeurs par défaut sur ce qui constitue un écart important, sur le signalement qui reçoit la priorité, sur la langue considérée comme canonique et sur le moment où un cas est réputé clos. L’expertise locale doit avoir une place dans le schéma et dans l’autorité de revue. Sinon, une institution peut conserver une copie de la sortie tout en perdant les catégories nécessaires pour comprendre pourquoi cette sortie était inacceptable.

Un réseau régional de recherche, une clinique, une archive, une université, une rédaction ou un service de paiement peut partager un vocabulaire minimal de signalement sans abandonner sa propre autorité. Les champs communs peuvent identifier l’identité, le contexte, le comportement observé, les preuves, la portée, le statut et la correction. Chaque institution peut ensuite ajouter ses termes locaux, ses langues, ses règles de conservation et ses rôles d’escalade. La fédération devient pratique lorsque des institutions indépendantes peuvent reconnaître les dossiers des autres sans prétendre que toutes les conséquences ont le même sens.

Où la surface d’investissement s’élargit

Si les agents sont autorisés à agir pendant des intervalles plus longs et dans des systèmes plus lourds de conséquences, le capital doit examiner l’infrastructure qui transforme un comportement inattendu en processus d’apprentissage mesurable :

• Observabilité du comportement : systèmes capturant les conditions du modèle, des outils, du contexte, des permissions, de la langue et de l’état externe avec la sortie.
• Gestion des cas de désalignement : produits conservant signalements, preuves, hypothèses, responsabilités, décisions de divulgation et conditions de réouverture.
• Laboratoires de rejeu et de régression : systèmes d’évaluation rejouant les cas historiques entre modèles, prompts, fournisseurs et versions de politique.
• Infrastructure de revue multilingue : outils permettant à des experts locaux d’annoter le sens, la conséquence et l’autorité sans réduire le cas à une paraphrase anglaise.
• Registres de divulgation et d’apprentissage : dossiers contrôlés reliant le signalement public à la remédiation interne tout en protégeant les données sensibles et les personnes concernées.

La question de souscription est concrète : le produit réduit-il le délai entre un comportement inattendu et une réponse institutionnelle vérifiée ? Les éléments utiles comprennent le délai de détection, le taux de reproduction, la proportion de cas dont les conditions sont complètes, la récurrence après remédiation, le taux de faux positifs, les heures d’enquête, la couverture de rejeu, l’accord entre langues et la part des cas clos reliée à une évaluation ou une politique modifiée.

Cet objet commercial possède une frontière distincte. Un reçu consigne ce que signifiait un échange après le franchissement d’une transaction. Un artefact de preuve soutient la validité d’une affirmation. Une couche de supervision décide quand une personne doit entrer dans un intervalle actif. Un système de réparation modifie un composant défaillant. L’observabilité du comportement machine consigne l’écart lui-même et le relie aux tests et aux décisions qui déterminent si l’institution a assez appris pour faire confiance au prochain passage. Son unité de valeur est l’apprentissage institutionnel vérifié.

Construire la boucle de signalement avant d’élargir l’autonomie

Une institution peut commencer par un workflow dont les erreurs ont assez de conséquences pour enseigner quelque chose, tout en restant assez délimité pour être étudié :

1. Nommer les comportements qui doivent être signalés, notamment les échecs de langue, d’autorité, de confidentialité, de preuve et de persistance.
2. Définir le schéma minimal du cas ainsi que les fonctions autorisées à signaler, enquêter, contenir, divulguer, rouvrir et clore un dossier.
3. Conserver les cas représentatifs dans leur forme originale, puis constituer un jeu de rejeu comprenant des exemples ordinaires, ambigus, adverses et en langue locale.
4. Mesurer la détection, la reproduction, le coût de l’enquête, la remédiation, la récurrence et le délai nécessaire pour ramener un constat dans l’évaluation de production.
5. Exporter l’historique des cas et demander à un réviseur indépendant si un système successeur pourrait comprendre ce qui a échoué, dans quelles conditions et ce qui a changé ensuite.

L’autonomie doit s’étendre à mesure que la boucle de signalement devient plus fiable. Un système gagne une autorité plus large lorsque les preuves montrent que son institution peut voir un acte inattendu, en préserver les conditions, tester plusieurs explications et déplacer la frontière lorsque les preuves l’exigent. Le dossier est le lieu où un événement machine surprenant devient un savoir partagé. Sans lui, chaque génération du système recommence au point où la précédente a échoué.

Sources

• Flux RSS d’OpenAI : « Our framework for reporting model misalignment » (16 septembre 2026 ; article lié : https://openai.com/index/model-misalignment-reporting-framework ; description : OpenAI partage un cadre pour suivre, examiner et divulguer le désalignement des modèles, avec six signalements de comportements inattendus ou préoccupants). Il s’agit d’un signal publié par le fournisseur, et non d’une évaluation indépendante de fiabilité.
• Google Developers Blog : « Build reliable multi-agent applications with ADK Go 2.0 » (30 juin 2026 ; titre et description vérifiés depuis l’endpoint accessible : workflows en graphe, orchestration avec humain dans la boucle, routage dynamique, nouvelles tentatives et résilience intégrée).
• National Institute of Standards and Technology : « AI Risk Management Framework » (publié le 12 juillet 2021 ; la page accessible consigne aussi la note conceptuelle du NIST du 7 avril 2026 pour un profil consacré aux infrastructures critiques ; le cadre utilise Govern, Map, Measure et Manage).