Vi testade CVorias integritetsmodell. Så gick det.
Vi testade CVorias egen integritetsmodell mot Microsoft Presidio, GLiNER, LiquidAI och två AI-tjänster på 200 nya påhittade CV:n. Här är resultaten och underlaget.
Innan CVoria skickar ett CV till en AI-leverantör ersätter vår egen integritetsmodell de personuppgifter den hittar, till exempel ditt namn och dina kontaktuppgifter, med platshållare. Vi ville veta hur bra det fungerar, så vi testade den på 200 nya CV:n som den aldrig hade sett, mot tre öppna verktyg och två AI-tjänster.
Kort version
Vår modell lämnade 23 av 757 centrala personuppgifter läsbara, ungefär 3 %. Det bästa öppna verktyget lämnade 108 och Microsoft Presidio 299. Gemini 3.8 Flash och GPT-5.6 Luna lämnade 7 och 17 när de fick våra maskeringsregler, färre än vår modell, men de måste få hela ditt CV för att göra det.
Varför vi tar bort personuppgifter först
Ett CV är fullt av personuppgifter, och det mesta av analysen behöver dem inte. Feedback på din arbetslivserfarenhet beror inte på ditt namn, telefonnummer eller din adress.
Därför går ditt CV genom vår integritetsmodell före de AI-anrop som använder det. Varje uppgift den hittar blir en platshållare som [NAME_1], samma uppgift får alltid samma platshållare, och bara den kopian skickas till AI-leverantören. Uppgifter som modellen missar skickas som de är. När resultatet behöver dina riktiga uppgifter, till exempel underskriften i ett personligt brev, sätter CVoria tillbaka dem själv. Modellen körs i vårt eget konto hos Amazon Web Services i Stockholm, och om den inte går att nå skickas ingenting.
Så gick testet till
Vi behövde CV:n som modellen aldrig hade sett. Våra tidigare interna testset delade vissa uppgifter med träningsdatan, och vi hade använt dem för att finjustera modellen, så vi skrev ett nytt set för det här testet.
Två AI-modeller, Claude Opus 5.5 och GPT-6.1 Sol, skrev 100 påhittade CV:n var för hand: 150 utdrag och 50 hela CV:n, 72 på svenska, 108 på engelska och 20 på 15 andra språk. Telefonnumren kommer från serier som är reserverade för fiktion, och alla e-postdomäner slogs upp och fanns inte. Sedan markerade varje modell personuppgifterna i den andras CV:n utan att se det första facit. De båda faciten stämde överens för 90 % av uppgifterna, och resten avgjorde vi. Räknar man i stället mot någon av modellernas egna facit ändras resultaten med några få uppgifter, och ordningen är densamma.
Testsetet och poängsättningen låstes med kontrollsummor innan något system kördes. Efter låsningen ändrade vi två saker, som båda finns dokumenterade i datapaketet: vi bytte ut en profillänk som kunde ha lett till en verklig person, och vi rättade hur AI-tjänsternas svar bearbetades, vilket hade fått dem att se sämre ut än de är.
Måttet är enkelt. När varje systems resultat har maskats bort ur CV:t, hur många personuppgifter från facit går fortfarande att läsa? Som centrala uppgifter räknar vi namn, e-postadresser, telefonnummer, adresser, personliga länkar, födelsedatum och id-nummer.
Resultaten
| System | Läsbara (av 757) | Precision |
|---|---|---|
| CVorias modell | 23 (3,0 %) | 94,2 % |
| GLiNER multi PII | 108 (14,3 %) | 77,4 % |
| LiquidAI LFM2.5 PII | 199 (26,3 %) | 88,9 % |
| Microsoft Presidio | 299 (39,5 %) | 37,1 % |
| Gemini 3.8 Flash, med våra regler | 7 (0,9 %) | 100 % |
| GPT-5.6 Luna, med våra regler | 17 (2,2 %) | 99,1 % |
Läsbara räknar de centrala personuppgifter som fortfarande syns; lägre är bättre. Precision är andelen av det varje system tog bort som verkligen var personuppgifter. Vår modell lämnade inget telefonnummer och inget id-nummer läsbart.
AI-tjänsterna klarade sig bättre
Med våra skrivna maskeringsregler lämnade Gemini 3.8 Flash 7 centrala uppgifter läsbara och GPT-5.6 Luna 17, färre än vår modells 23, och båda var mer träffsäkra. Det redovisar vi som det är.
Skillnaden är var arbetet sker. För att ta bort dina uppgifter måste en AI-tjänst få hela ditt CV, uppgifterna inräknade. Vår modell körs i vårt eget konto i Stockholm, så de uppgifter den hittar ersätts innan texten når en AI-leverantör.
Där vår modell fortfarande brister
15 av dess 23 missar var namn, oftast i ovanliga former: barns förnamn, smeknamn och anropsnamn, och kandidatens eget namn skrivet som i en källhänvisning (”Kothapalli, V.”). Den är också klart sämre än AI-tjänsterna på uppgifter om hälsa, religion och uppehållsstatus.
Ibland tar den också bort sådant som inte är personuppgifter. Det viktigaste fallet är datum: 17 anställnings-, utfärdande-, utgångs- och underskriftsdatum togs bort, de flesta som om de vore födelsedatum, vilket tar bort en del av din tidslinje från AI:n. Att rätta det är nästa modelluppdatering, och vi testar den på ett nytt set innan vi redovisar siffror för den.
Vad vi kan och inte kan påstå
CV:na är påhittade och skrivna av AI-modeller, så riktiga CV:n kan skilja sig. Facit följer samma regler som vår modell tränades på, och vi avgjorde själva när de två annoterarna var oense. GPT-6.1 Sol skrev halva setet och GPT-5.6 Luna kommer från samma företag; i whitepapern redovisar vi resultaten per skribent, och Luna lämnade en större andel läsbar i Sols CV:n än i Claudes.
Testet mäter hur många personuppgifter som går att läsa innan texten når en AI-modell. Det gör inte ditt CV anonymt: din arbetslivserfarenhet, dina arbetsgivare och datum finns kvar i texten eftersom analysen behöver dem.
Det vi kan säga är snävare men ändå användbart: på 200 nya påhittade CV:n lämnade vår integritetsmodell betydligt färre personuppgifter läsbara än Microsoft Presidio, GLiNER och LiquidAI.
Varför vi publicerar data
Ett påstående om integritet ska gå att kontrollera. Datapaketet innehåller alla 200 CV:n med facit, varje systems resultat, båda annoterarnas facit och våra beslut mellan dem, skrivinstruktionerna och skripten som räknar fram resultaten. Ett kommando räknar om varje tabell i whitepapern och kontrollerar att testsetet är det vi låste.
Se det själv
Ladda upp ditt CV i CVorias CV-analys och se hur dina uppgifter ersätts medan analysen körs.