Ny metrik — til virksomheder med AI-enterprise licenser

Tokens brugt fortæller dig ingenting.Kodeudbytte fortæller dig alt.

Når alle medarbejdere har adgang til AI, er det fristende at belønne dem der bruger mest. Men forbrug er ikke effektivitet. Kodeudbytte måler præcis hvad der kommer ud af AI-investeringen — kode der faktisk er committet.

PROBLEMET

Ranglisters der belønner spild.

Forbrug belønner loops, gentagelser og dårlige prompts. Det motiverer folk til at bruge AI meget — ikke til at bruge den godt.

Token-forbrug ≠ output

En agent der kører i loops bruger 10x tokens og producerer det samme som en agent der rammer rigtigt første gang. Forbrug måler fejl, ikke resultater.

Ranglister skaber forkert adfærd

Viser du en leaderboard baseret på tokens, lærer folk at generere mere output — ikke bedre output. Du måler det forkerte og belønner det forkerte.

Licensen er en investering

Enterprise AI-licenser koster per token. Det er kapital der skal give afkast — ligesom al anden investering. Og afkast måles i output, ikke i forbrug.

FORMLEN

Kodeudbytte — ét tal, klar besked.

Vi kobler jeres telemetri på AI-spend med jeres git-historik og beregner et enkelt effektivitetsmål per session, per person og per team.

Kode deltategn committet i git
÷
Token spendtokens brugt i sessionen
=
Kodeudbytteeffektivitetsscore
Ineffektiv agent
Session med loops og fejl0.20% kodeudbytte
5.000 tokens brugt·10 linjer committet

Agenten kørte i loops, prøvede samme tilgang flere gange og genererede output der ikke endte i et commit. 5.000 tokens brugt — 10 linjer kode tilbage.

Effektiv agent
Session med præcis prompt og klart scope2.00% kodeudbytte
500 tokens brugt·10 linjer committet

Præcis prompt, klart scope. Agenten ramte rigtigt første gang. Samme 10 linjer kode — men 10x færre tokens. Det er kodeudbytte i praksis.

OPDELT SCORECARD

feat: og fix: er fundamentalt forskelligt arbejde.

En 1-linje bugfix der kræver 3.000 tokens at finde er stadig effektivt ingeniørarbejde — men den bør ikke sammenlignes med feature-produktion. Vi splitter scoren.

feat: commits

Produktivitetsscore

Ny kode produceret per token brugt. Høj score betyder at AI hjælper med at bygge nyt — hurtigt og præcist. Sammenlignes på tværs af feature-sessioner.

Hvad det måler
  • Tegn tilføjet i feat:-commits / tokens brugt
  • Høj score = præcise prompts og klart scope
  • Lav score = loops, omskrivninger, uklart formål
fix: commits

Præcisionsscore

Antal løste fejl per token brugt. En svær bug kan legitimt kræve mange tokens at finde — det tæller som god debugging, ikke spild. Sammenlignes kun med andre fix:-sessioner.

Hvad det måler
  • Antal fix:-commits / tokens brugt
  • LOC er sekundær — antal løste bugs er primær
  • Sammenlignes kun inden for fix:-kategorien

Session-yield — den tredje metrik

Hvor mange AI-sessioner ender med mindst ét commit? En simpel men kraftfuld indikator: bruger folk AI til at producere kode, eller bare til at chatte? Sessioner med commit / total sessioner.

IMPLEMENTATION

To datakilder. Ét svar.

Kodeudbytte kobler eksisterende data I allerede har — AI-spend telemetri og git-historik. Ingen ny infrastruktur påkrævet.

Datakilde 1

AI-spend telemetri

Foundry og Anthropic Console eksponerer token-forbrug per bruger og per session med tidsstempel. Vi bruger session-sluttidspunktet som anker.

# Fra Anthropic Console API
session_end: 2024-03-21T14:32:00Z
tokens_used: 4.847
user: anders@firma.dk
Datakilde 2

Git-commits (8-timers vindue)

Commits fra samme bruger inden for 8 timer efter session-slut tilskrives sessionen. Commit-typen (feat:/fix:) bestemmer hvilken scorecard de tæller i.

# Git log
feat: tilføj betalingsflow
author: anders@firma.dk
+247 -12 linjer ← kode delta

Klar til at måle det der tæller?

Vi hjælper jer med at koble jeres AI-telemetri og git-historik — og give jer et dashboard der belønner effektivitet.

Kom i gang

Gratis assessment

Vi kigger på jeres nuværende AI-forbrug og git-data og beregner et estimat på jeres kodeudbytte — uden at I behøver bygge noget.

Book gratis assessment
Fuld implementation

Kodeudbytte dashboard

Løbende tracking af kodeudbytte per person, per team og per projekt. feat: og fix: split. Trends over tid. Alt integreret med jeres eksisterende setup.

Hør mere