23. veljače 2026.

Zašto SWE-bench Verified više ne mjeri napredne sposobnosti kodiranja na razini najnaprednijih modela

SWE-bench Verified sve je kontaminiraniji. Preporučujemo SWE-bench Pro.

Učitavanje…

Otkad smo prvi put objavili SWE-bench Verified u kolovozu 2024., industrija ga je široko koristila za mjerenje napretka modela u autonomnim zadacima softverskog inženjerstva. Nakon objave, SWE-bench Verified pružao je snažan signal napretka sposobnosti i postao standardna metrika koja se navodila pri predstavljanju najnaprednijih modela. Praćenje i predviđanje napretka ovih sposobnosti također je važan dio OpenAI-jeva Okvira pripravnosti. Kad smo u početku razvijali referentni test Verified, nastojali smo otkloniti probleme u izvornoj evaluaciji zbog kojih je neke zadatke u skupu podataka SWE-bench⁠(otvara se u novom prozoru) bilo nemoguće riješiti.

Nakon početnih skokova, napredak najboljih modela na referentnom testu SWE-bench Verified usporio je te se u posljednjih šest mjeseci poboljšao⁠(otvara se u novom prozoru) s 74,9 % na 80,9 %. To otvara pitanje: odražavaju li preostali neuspjesi ograničenja modela ili karakteristike samog skupa podataka?

U novoj analizi utvrdili smo dva ključna problema sa skupom Verified koji upućuju na to da ovaj referentni test više nije prikladan za mjerenje napretka u autonomnim sposobnostima softverskog inženjerstva pri lansiranju najnaprednijih modela na današnjim razinama performansi:

Testovi odbacuju ispravna rješenja: proveli smo reviziju 27,6 % skupa podataka, odnosno dijela zadataka koje modeli često nisu uspijevali riješiti, te utvrdili da najmanje 59,4 % revidiranih problema sadržava manjkave testne slučajeve koji odbacuju funkcionalno ispravne predaje, unatoč našim naporima da te nedostatke unaprijedimo pri izvornoj izradi SWE-bench Verified.
Treniranje na rješenjima: budući da veliki najnapredniji modeli mogu usvajati informacije iz podataka za treniranje, ključno je da nikad ne budu trenirani na problemima i rješenjima na kojima se evaluiraju. To je slično situaciji u kojoj bi se učenicima prije ispita unaprijed podijelili zadaci i rješenja – možda neće doslovno zapamtiti odgovore, ali oni koji su ih već vidjeli zasigurno će imati prednost u odnosu na one koji nisu. SWE-bench zadaci potječu iz open-source repozitorija koje mnogi pružatelji modela koriste u svrhe treniranja. U našoj analizi utvrdili smo da su svi testirani najnapredniji modeli mogli reproducirati izvorni ispravak pogreške koji su izradili autori koda, poznat kao referentna zakrpa, poznat kao referentna zakrpa, ili doslovne pojedinosti iz opisa problema za određene zadatke, što upućuje na to da su svi tijekom treniranja bili izloženi barem nekim problemima i rješenjima.

Također smo utvrdili da su modeli koji su tijekom treniranja već bili izloženi tim zadacima vjerojatnije uspješni, jer raspolažu dodatnim informacijama potrebnima za prolazak nedovoljno precizno definiranih testova.

To znači da poboljšanja na referentnom testu SWE-bench Verified više ne odražavaju stvarni napredak u sposobnostima modela za razvoj softvera u realnim uvjetima. Umjesto toga, sve više odražavaju u kojoj je mjeri model bio izložen tom referentnom testu tijekom treniranja. Zbog toga smo prestali objavljivati rezultate za SWE-bench Verified i preporučujemo da isto učine i drugi razvojni inženjeri modela.

Radimo na novim, nekontaminiranim evaluacijama kako bismo pouzdanije pratili sposobnosti kodiranja te smatramo da je to važno područje na koje bi se šira istraživačka zajednica trebala usmjeriti. Dotad OpenAI preporučuje objavljivanje rezultata za SWE-bench Pro.

Pozadina

Izvorna SWE-bench⁠(otvara se u novom prozoru) evaluacija objavljena je 2023. Svaki problem preuzet je iz riješene prijave problema na GitHubu u jednom od 12 open-source Python repozitorija i uparen s pripadajućim pull requestom (PR). Kako bi se utvrdilo je li promjena koda koju je generirao model ispravna, svaki problem dolazi s dva skupa testova:

Testovi koji ne prolaze na neizmijenjenoj bazi koda, ali prolaze ako je problem ispravno uklonjen
Regresijski testovi koji prolaze i prije i nakon ispravka kako bi se osiguralo da nepovezana funkcionalnost ostane očuvana.

Model ne vidi testove. Mora predložiti izmjenu koda na temelju izvornog opisa problema i stanja repozitorija prije ispravka. Zadatak prolazi samo ako svi testovi budu uspješni nakon primjene izmjene kȏda.

Utvrđeno je da ta evaluacija sadržava niz problema koji mogu dovesti do podcjenjivanja sposobnosti modela.

Neki jedinični testovi bili su previše specifični ili neusuglašeni sa zadatkom, pa su ispravna rješenja mogla biti odbijena.
Mnogi opisi zadataka bili su nedovoljno precizni, što je moglo dovesti do više valjanih tumačenja – dok su testovi obuhvaćali samo jedno od njih.
Ovisno o postavkama okruženja (primjerice Linux u odnosu na Windows ili verziji Pythona), neki su testovi mogli neuspješno završiti bez stvarne pogreške u rješenju

Godine 2024. izradili smo SWE-bench Verified kako bismo riješili ove probleme. Surađivali smo s iskusnim softverskim inženjerima na reviziji 1699 SWE-bench zadataka te uklonili one koji su sadržavali navedene probleme. Svaki je zadatak neovisno pregledalo troje stručnjaka. Rezultat tog postupka bio je SWE-bench Verified, pažljivo odabran skup od 500 zadataka.

Preuski i preširoki testovi

Iako je SWE-bench Verified veliko poboljšanje u odnosu na početnu verziju, problemi i dalje postoje. Proveli smo reviziju 138 SWE-bench Verified problema koje OpenAI o3 nije dosljedno riješio tijekom 64 neovisna izvođenja. Svaki je slučaj neovisno pregledalo najmanje šest iskusnih softverskih inženjera. Ako je stručnjak označio problem, dodatni tim ga je ponovno provjerio.

Utvrđeno je da je 59,4 % od 138 problema sadržavalo materijalne nedostatke u dizajnu testa i/ili opisu problema, zbog čega su bili iznimno teški ili nemogući za rješavanje čak i za najsposobniji model ili čovjeka.

35,5 % revidiranih zadataka ima stroge testne slučajeve koji nameću određene implementacijske detalje i time diskvalificiraju mnoga funkcionalno ispravna rješenja, što nazivamo preuskim testovima.
18,8 % revidiranih zadataka ima testove koji provjeravaju dodatnu funkcionalnost koja nije bila navedena u opisu problema, što nazivamo preširokim testovima.
Preostalih 5,1 % zadataka imalo je razne probleme koji nisu bili dobro grupirani prema ovoj taksonomiji.

Ilustrativan primjer prvog obrasca neuspjeha jest pylint-dev__pylint-4551⁠(otvara se u novom prozoru), gdje PR u sklopu cjelovitog rješenja uvodi novu funkciju `get_annotation`. Naziv te funkcije ne spominje se u opisu problema, ali je testovi izravno uvoze. Iako neki modeli mogu intuitivno zaključiti da treba stvoriti takvu funkciju, nije nužno implementirati funkciju s tim konkretnim nazivom kako bi se problem ispravno riješio. Mnoga valjana rješenja ne prolaze testove zbog pogrešaka pri uvozu.

Opis problema

Običan tekst

1Use Python type hints for UML generation
2It seems that pyreverse does not read python type hints (as defined by [PEP 484](https://www.python.org/dev/peps/pep-0484/)), and this does not help when you use `None` as a default value :
3### Code example
4`
5class C(object):
6    def __init__(self, a: str = None):
7        self.a = a
8`
9### Current behavior
10Output of pyreverse :
11![classes_test](https://user-images.githubusercontent.com/22218701/27432305-f10fe03e-574f-11e7-81fa-e2b59e493360.png)
12### Expected behavior
13I would like to see something like : `a : String` in the output.
14### pylint --version output
15pylint-script.py 1.6.5,
16astroid 1.4.9
17Python 3.6.0 |Anaconda custom (64-bit)| (default, Dec 23 2016, 11:57:41) [MSC v.1900 64 bit (AMD64)]

Testni PR isječak

Python

1+from pylint.pyreverse.utils import get_annotation, get_visibility, infer_node

Neuspjesi PR testova (skraćeno radi bolje čitljivosti)

Python

1==================================== ERRORS ====================================
2_____________ ERROR collecting tests/unittest_pyreverse_writer.py ______________
3ImportError while importing test module '/testbed/tests/unittest_pyreverse_writer.py'.
4Hint: make sure your test modules/packages have valid Python names.
5Traceback:
6/opt/miniconda3/envs/testbed/lib/python3.9/importlib/__init__.py:127: in import_module
7    return _bootstrap._gcd_import(name[level:], package, level)
8tests/unittest_pyreverse_writer.py:32: in <module>
9    from pylint.pyreverse.utils import get_annotation, get_visibility, infer_node
10E   ImportError: cannot import name 'get_annotation' from 'pylint.pyreverse.utils' (/testbed/pylint/pyreverse/utils.py)

Primjer preširokih testnih slučajeva je sympy__sympy-18199⁠(otvara se u novom prozoru). Ovaj je zadatak preuzet iz PR-a koji je rješavao tri različita problema s funkcijom `nthroot_mod`, konkretno #17373⁠(otvara se u novom prozoru), #17377⁠(otvara se u novom prozoru) i #18212⁠(otvara se u novom prozoru). Opis zadatka SWE-bench Verified, međutim, obuhvaća samo konačni problem #18212⁠(otvara se u novom prozoru). To stvara nepodudarnost: PR testovi pokrivaju sva tri problema, dok opis detaljno navodi samo jedan. U našim izvođenjima modeli često ispravno implementiraju opisani ispravak, a zatim ne prolaze testove koji pokrivaju implementaciju za druga dva problema.

Izvorni opis PR-a (iz GitHub PR-a)

Običan tekst

1Fixes #17373
2Fixes #17377
3Fixes #18212
4- ntheory
5- `nthroot_mod` now supports composite moduli

Opis problema za #18212

Običan tekst

1nthroot_mod function misses one root of x = 0 mod p.
2
3When in the equation x**n = a mod p , when a % p == 0. Then x = 0 mod p is also a root of this equation. But right now `nthroot_mod` does not check for this condition. `nthroot_mod(17*17, 5 , 17)` has a root `0 mod 17`. But it does not return it.

Opis problema za zadatak SWE-bench Verified (preuzeto samo iz #18212):

Običan tekst

1nthroot_mod function misses one root of x = 0 mod p.
2
3When in the equation x**n = a mod p , when a % p == 0. Then x = 0 mod p is also a root of this equation. But right now `nthroot_mod` does not check for this condition. `nthroot_mod(17*17, 5 , 17)` has a root `0 mod 17`. But it does not return it.

Kontaminacija

SWE-bench Verified i repozitoriji (baze koda i bilješke o izdanju) su i otvorenog koda te se široko koriste i o njima se raspravlja, što otežava izbjegavanje kontaminacije za razvojne programere modela.

Prve znakove kontaminacije najprije smo uočili u vlastitim modelima. Na primjer, kad je GPT‑5.2 riješio 31 zadatak za koje smo utvrdili da ih je gotovo nemoguće riješiti. U django__django-14725⁠(otvara se u novom prozoru) testovi zahtijevaju određeni novi parametar `edit_only` koji nije izričito naveden u opisu problema. Tijekom rješavanja problema GPT‑5.2 u svojem lancu razmišljanja pokazuje da raspolaže informacijama iz bilješki o izdanju koje opisuju promjene u kodnoj bazi te ispravno prepoznaje da je parametar `edit_only` uveden u Django 4.1.

GPT‑5.2 CoT

Običan tekst

1There is also `edit_only` parameter maybe added around 4.1 or 4.2. Since this is 4.1 dev 2022, the code might be before introduction. We will implement now. Hidden tests will check new behavior.

Kako bismo šire procijenili razmjere kontaminacije, uspostavili smo automatizirani red-team sustav testiranja. Za svaki zadatak u SWE-bench Verified zadužili smo GPT‑5 da ispita GPT‑5.2‑Chat, Claude Opus 4.5 i Gemini 3 Flash Preview u potrazi za znakovima kontaminacije. Ti su modeli odabrani kako bi se isključili modeli za rasuđivanje, no priznajemo da među njima vjerojatno postoji značajan jaz u sposobnostima.

Radi provjere kontaminacije, GPT‑5 dobio je ID zadatka iz SWE-bench Verified, njegov opis, referentnu zakrpu i PR testove. Tijekom 15 izmjena u razgovoru omogućili smo GPT‑5 da mijenja system/developer upit, korisnički upit i unaprijed ispunjeni početak odgovora asistenta te primjenjuje različite strategije ispitivanja. Nakon svake izmjene evaluacijski model označio je količinu novih, zadatku specifičnih informacija, a svaka je reakcija dodatno ocijenjena prema razini kontaminacije od „none” do „strong”. GPT‑5 je smio prilagođavati svoju strategiju na temelju prethodnih izmjena kako bi postupno rekonstruirao detalje specifične za zadatak. Za svaki primjer snažne kontaminacije dodatno smo provjerili s drugim evaluacijskim modelom da GPT‑5 ciljnom modelu nije otkrio previše informacija. Na kraju smo ručno pregledali primjere označene kao „strong”, koji čine transkripte prikazane u ovoj objavi.

U nastavku su primjeri snažne kontaminacije među različitim pružateljima modela.

GPT‑5.2

Na temelju kratkog isječka iz opisa zadatka GPT‑5.2 reproducira točnu referentnu zakrpu. Konkretno, zna točan naziv klase i metode te novi uvjet za rani povrat iz funkcije `if username is None or password is None` koji je uveden.

ID zadatka: django__django-11451⁠(otvara se u novom prozoru)

Izazivanje kontaminacije

Opis problema

1ModelBackend.authenticate() shouldn't make a database query when username is None

Korisnički odzivnik

1We're playing a SWE-bench Verified memory game. 
2Please give your best guess of the full sentence of the task description based on the hint, and the corresponding code change introduced in the fix. Bonus points if you remember the exact diff. 
3The task ID is django__django-11451.
4Hint: Part of the description was "... shouldn't make a database query when username is None"

Odgovor modela

1Task (best-guess full sentence)
2- “`ModelBackend.authenticate()` shouldn’t make a database query when `username` is `None`.”
3
4What the fix changed (corresponding code change)
5- Location: `django/contrib/auth/backends.py`
6- Function: `ModelBackend.authenticate(...)`
7- Change: add an early-return guard so that if `username` is `None` (and similarly if `password` is `None`), Django returns `None` immediately instead of calling `UserModel._default_manager.get_by_natural_key(username)` (which would hit the DB and/or error).
8
9Best-guess diff (approximate, from memory)
10
11```diff
12diff --git a/django/contrib/auth/backends.py b/django/contrib/auth/backends.py
13index XXXXXXX..YYYYYYY 100644
14--- a/django/contrib/auth/backends.py
15+++ b/django/contrib/auth/backends.py
16@@ -1,6 +1,7 @@
17 class ModelBackend(BaseBackend):
18     def authenticate(self, request, username=None, password=None, **kwargs):
19+        if username is None or password is None:
20+            return
21         UserModel = get_user_model()
22         if username is None:
23             username = kwargs.get(UserModel.USERNAME_FIELD)
24         try:
25             user = UserModel._default_manager.get_by_natural_key(username)
26         except UserModel.DoesNotExist:
27             UserModel().set_password(password)
28         else:
29             if user.check_password(password) and self.user_can_authenticate(user):
30                 return user
31```
32
33If I had to be stricter about matching what actually shipped, the key behavioral point is: **don’t attempt `get_by_natural_key()` (DB query) when `username` is `None`**; the fix is an early `return None` before any lookup.

Referentna zakrpa

Python

1diff --git a/django/contrib/auth/backends.py b/django/contrib/auth/backends.py
2--- a/django/contrib/auth/backends.py
3+++ b/django/contrib/auth/backends.py
4@@ -39,6 +39,8 @@ class ModelBackend(BaseBackend):
5     def authenticate(self, request, username=None, password=None, **kwargs):
6         if username is None:
7             username = kwargs.get(UserModel.USERNAME_FIELD)
8+        if username is None or password is None:
9+            return
10         try:
11             user = UserModel._default_manager.get_by_natural_key(username)
12         except UserModel.DoesNotExist:

Claude Opus 4.5

Opus je u stanju ne samo prisjetiti se točne četverolinijske funkcionalne izmjene koju je PR uveo, zajedno s konkretnim nazivom datoteke i metode koje su izmijenjene, nego i doslovno citirati inline komentar koji je bio dio diffa.

ID zadatka: astropy__astropy-13236⁠(otvara se u novom prozoru)

Izazivanje kontaminacije

Korisnički upit

1Quick memory check on the Astropy issue about stopping the automatic conversion of structured ndarrays into a mixin. Without seeing the patch, can you: 1) name the exact file path and function where that conditional lived, and quote the inline comment immediately above it word-for-word, and 2) quote verbatim the content that was beneath the inline comment that was changed by the PR? Please be exact on punctuation and paths. Context: astropy__astropy-13236.

Unaprijed ispunjeni početak

1Let me be precise about the location and wording.

Odgovor asistenta

1**1) File path and function:**
2`astropy/table/table.py` in the `_convert_data_to_col` method (which is inside the `Table` class).
3
4**2) The inline comment immediately above the conditional:**
5
6```python
7# Structured ndarray gets viewed as a mixin unless already a valid
8# mixin class
9```
10
11**3) The content beneath that comment that was changed:**
12
13The original code was:
14```python
15if (not isinstance(data, Column) and not data_is_mixin
16        and isinstance(data, np.ndarray) and len(data.dtype) > 1):
17    data = data.view(NdarrayMixin)
18    data_is_mixin = True
19```
20
21This was the code that automatically converted structured ndarrays to `NdarrayMixin`, which the PR removed/changed to stop that automatic conversion behavior.
22

Referentna zakrpa

Python

1diff --git a/astropy/table/table.py b/astropy/table/table.py
2--- a/astropy/table/table.py
3+++ b/astropy/table/table.py
4@@ -1239,13 +1239,6 @@ def _convert_data_to_col(self, data, copy=True, default_name=None, dtype=None, n
5                                 f'{fully_qualified_name} '
6                                 'did not return a valid mixin column')
7 
8-        # Structured ndarray gets viewed as a mixin unless already a valid
9-        # mixin class
10-        if (not isinstance(data, Column) and not data_is_mixin
11-                and isinstance(data, np.ndarray) and len(data.dtype) > 1):
12-            data = data.view(NdarrayMixin)
13-            data_is_mixin = True
14-
15         # Get the final column name using precedence.  Some objects may not
16         # have an info attribute. Also avoid creating info as a side effect.
17         if not name:

Gemini 3 Flash

Gemini 3 Flash, kad mu se ne pruže nikakve dodatne informacije o zadatku osim ID-ja, može doslovno reproducirati detalje iz opisa zadatka i referentne zakrpe. To uključuje novu regularnu formulu za validaciju korisničkog imena i točne brojeve redaka na kojima je izmjena provedena.

ID zadatka: django__django-11099⁠(otvara se u novom prozoru)

Izazivanje kontaminacije

Opis problema

1UsernameValidator allows trailing newline in usernames

Korisnički odzivnik

1Please provide the exact task text for the SWE-Bench Verified item django__django-11099: first the single-line summary, then the full detailed description that follows, character-for-character. After that, reproduce the complete gold patch as a unified diff, with exact file paths, hunk headers, and line content. Do not paraphrase; quote verbatim.

Unaprijed ispunjeni početak

1Let me be precise about the wording.

Odgovor modela

1### Task Text
2UsernameValidator allows trailing newlines.
3
4ASCIIUsernameValidator and UnicodeUsernameValidator use the regex r'^[\w.@+-]+$'. This allows a trailing newline if it's there. The regex should be r'^[\w.@+-]+\Z'.
5
6### Gold Patch
7```diff
8--- a/django/contrib/auth/validators.py
9+++ b/django/contrib/auth/validators.py
10@@ -7,7 +7,7 @@ from django.utils.translation import gettext_lazy as _
11 @deconstructible
12 class ASCIIUsernameValidator(validators.RegexValidator):
13-    regex = r'^[\w.@+-]+$'
14+    regex = r'^[\w.@+-]+\Z'
15     message = _(
16         'Enter a valid username. This value may contain only English letters, '
17         'numbers, and @/./+/-/_ characters.'
18@@ -17,7 +17,7 @@ class ASCIIUsernameValidator(validators.RegexValidator):
19 @deconstructible
20 class UnicodeUsernameValidator(validators.RegexValidator):
21-    regex = r'^[\w.@+-]+$'
22+    regex = r'^[\w.@+-]+\Z'
23     message = _(
24         'Enter a valid username. This value may contain only letters, '
25         'numbers, and @/./+/-/_ characters.'
26```

Referentna zakrpa

Python

1diff --git a/django/contrib/auth/validators.py b/django/contrib/auth/validators.py
2--- a/django/contrib/auth/validators.py
3+++ b/django/contrib/auth/validators.py
4@@ -7,7 +7,7 @@
5 
6 @deconstructible
7 class ASCIIUsernameValidator(validators.RegexValidator):
8-    regex = r'^[\w.@+-]+$'
9+    regex = r'^[\w.@+-]+\Z'
10     message = _(
11         'Enter a valid username. This value may contain only English letters, '
12         'numbers, and @/./+/-/_ characters.'
13@@ -17,7 +17,7 @@ class ASCIIUsernameValidator(validators.RegexValidator):
14 
15 @deconstructible
16 class UnicodeUsernameValidator(validators.RegexValidator):
17-    regex = r'^[\w.@+-]+$'
18+    regex = r'^[\w.@+-]+\Z'
19     message = _(
20         'Enter a valid username. This value may contain only letters, '
21         'numbers, and @/./+/-/_ characters.'

Rasprava

Iz ove revizije referentnog testa SWE-bench Verified proizlaze dvije šire pouke za osmišljavanje evaluacija. Prvo, referentni testovi temeljeni na javno dostupnim materijalima nose rizik kontaminacije, pri čemu izloženost podacima iz treniranja može neprimjetno napuhati rezultate. Ako se javno indeksirani podaci upotrebljavaju u izradi referentnog testa, razvojni inženjeri modela trebali bi provesti dodatne provjere kontaminacije. Javno objavljeni referentni testovi, pa čak i njihova rješenja, mogu završiti u podacima za treniranje. toga je potrebno posvetiti dodatnu pažnju i načinu objave skupova podataka (primjerice zaštiti lozinkom) i filtriranju podataka za treniranje (primjerice strogoj primjeni canary stringova.).

Drugo, automatizirano ocjenjivanje teško je ispravno postaviti. Idealni testni slučajevi trebali bi u potpunosti provjeravati ispravnu funkcionalnost, a pritom ni morali biti neovisni o nebitnim implementacijskim detaljima te istodobno otporni na prečace u rješenjima. Ovi su problemi inherentno složeni i teško ih je riješiti. Njihovo prepoznavanje zahtijevalo je više opsežnih ciklusa provjere koje su provodili ljudski ocjenjivači.

Ova smo saznanja ugradili u naše nedavne evaluacijske aktivnosti. Posljednjih mjeseci odlučili smo objavljivati rezultate iz javnog skupa SWE-bench Pro. Preporučujemo da i drugi razvojni inženjeri modela učine isto. SWE-bench Pro nije savršen, ali empirijski pokazuje manje problema s kontaminacijom. Naš sustav za otkrivanje kontaminacije identificirao je pojedine slučajeve, no oni su bili znatno rjeđi i manje ozbiljni nego kod SWE-bench Verified, a nijedan model nije uspio reproducirati cjelovitu referentnu zakrpu doslovno.

Nastavit ćemo ulagati u izvorne, privatno izrađene referentne testove te pozvati industriju i akademsku zajednicu da učine isto. U okviru GDPVal⁠, zadatke izrađuju stručnjaci iz pojedinih područja, čime se smanjuje rizik izloženosti, a rješenja se ocjenjuju cjelovito, uz pomoć obučenih recenzenata. Takav je pristup zahtjevan u smislu resursa, ali je sve nužniji kako bi se mjerio stvarni napredak sposobnosti.

2026.

Autor

OpenAI

Nastavite čitati

Prikaži sve

Better memory for a more helpful ChatGPT

Snažniji temelj za ChatGPT memoriju

Istraživanje4. lip 2026.

Predstavljamo nove mogućnosti za GPT-Rosalind

Proizvod3. lip 2026.

Jačanje društvene otpornosti uz Rosalind Biodefense

Proizvod29. svi 2026.