25 de març del 2025

Presentem la generació d'imatges amb 4o

Desbloquejant una generació d'imatges útil i valuosa amb un model nativament multimodal capaç de produir resultats precisos, exactes i fotorrealistes.

Prova-ho a ChatGPT

S'està carregant…

A OpenAI, fa temps que creiem que la generació d'imatges hauria de ser una capacitat principal dels nostres models de llenguatge. Per això hem integrat a GPT‑4o el nostre generador d'imatges més avançat fins ara. El resultat: una generació d'imatges que no només és bonica, sinó també útil.

A wide image taken with a phone of a glass whiteboard, in a room overlooking the Bay Bridge. The field of view shows a woman writing, sporting a tshirt wiith a large OpenAI logo. The handwriting looks natural and a bit messy, and we see the photographer's reflection.

The text reads:

(left)
"Transfer between Modalities:

Suppose we directly model
p(text, pixels, sound) [equation]
with one big autoregressive transformer.

Pros:
* image generation augmented with vast world knowledge
* next-level text rendering
* native in-context learning
* unified post-training stack

Cons:
* varying bit-rate across modalities
* compute not adaptive"

(Right)
"Fixes:
* model compressed representations
* compose autoregressive prior with a powerful decoder"

On the bottom right of the board, she draws a diagram:
"tokens -> [transformer] -> [diffusion] -> pixels"

^{Best of 8}

selfie view of the photographer, as she turns around to high five him

^{Best of 8}

Generació d'imatges útil

Des de les primeres pintures rupestres fins a les infografies modernes, els humans han fet servir imatges visuals per comunicar, persuadir i analitzar, no només per decorar. Els models generatius actuals poden conjurar escenes surrealistes i impressionants, però tenen dificultats amb les imatges funcionals que la gent utilitza per compartir i crear informació. Des de logotips fins a diagrames, les imatges poden transmetre un significat precís quan s'amplien amb símbols que remeten a un llenguatge i una experiència compartits.

La generació d'imatges de GPT‑4o destaca per renderitzar text amb precisió, seguir indicacions amb exactitud i aprofitar la base de coneixement inherent de 4o i el context del xat, inclosa la transformació d'imatges pujades o el seu ús com a inspiració visual. Aquestes capacitats faciliten crear exactament la imatge que imagines, ajudant-te a comunicar-te de manera més eficaç mitjançant visuals i convertint la generació d'imatges en una eina pràctica amb precisió i potència.

Capacitats millorades

Hem entrenat els nostres models amb la distribució conjunta d'imatges i text en línia, aprenent no només com es relacionen les imatges amb el llenguatge, sinó també com es relacionen entre si. Combinat amb un postentrenament intensiu, el model resultant té una fluïdesa visual sorprenent, capaç de generar imatges útils, coherents i conscients del context.

Renderització de text

Una imatge val més que mil paraules, però de vegades generar unes quantes paraules al lloc adequat pot elevar el significat d'una imatge. La capacitat de 4o de combinar símbols precisos amb imatges converteix la generació d'imatges en una eina de comunicació visual.

Create a photorealistic image of two witches in their 20s (one ash balayage, one with long wavy auburn hair) reading a street sign.

Context:
a city street in a random street in Williamsburg, NY with a pole covered entirely by numerous detailed street signs (e.g., street sweeping hours, parking permits required, vehicle classifications, towing rules), including few ridiculous signs at the middle: (paraphrase it to make these legitimate street signs)"Broom Parking for Witches Not Permitted in Zone C" and "Magic Carpet Loading and Unloading Only (15-Minute Limit)" and "Reindeer Parking by Permit Only (Dec 24–25)
Violators will be placed on Naughty List." The signpost is on the right of a street. Do not repeat signs. Signs must be realistic.

Characters:
one witch is holding a broom and the other has a rolled-up magic carpet. They are in the foreground, back slightly turned towards the camera and head slightly tilted as they scrutinize the signs.

Composition from background to foreground:
streets + parked cars + buildings -> street sign -> witches. Characters must be closest to the camera taking the shot

^{Best of ~8}

Generació multitorn

Com que la generació d'imatges ara és nativa de GPT‑4o, pots perfeccionar imatges mitjançant una conversa natural. GPT‑4o pot basar-se en imatges i text dins del context del xat, garantint coherència en tot moment. Per exemple, si estàs dissenyant un personatge de videojoc, l'aspecte del personatge es manté coherent al llarg de múltiples iteracions mentre el perfecciones i experimentes.

Give this cat a detective hat and a monocle

^{Best of 1}

turn this into a triple A video games made with a 4k game engine and add some User interface as overlay from a mystery RPG where we can see a health bar and a minimap at the top as well as spells at the bottom with consistent and iconography

^{Best of 1}

update to a landscape image 16:9 ratio, add more spells in the UI, and unzoom the visual so that we see the cat in a third person view walking through a steampunk manhattan creating beautiful contrast and lighting like in the best triple A game, with cool-toned colors

^{Best of 2}

create the interface when the player opens the menu and we see the cat's character profile with his equipment and another page showing active quests (and it should make sense in relationship with the universe worldbuilding we are describing in the image)

^{Best of 8}

credit creator: Manuel Sainsily

Seguiment d'instruccions

La generació d'imatges de GPT‑4o segueix indicacions detallades amb atenció als detalls. Mentre que altres sistemes tenen dificultats amb uns 5-8 objectes, GPT‑4o pot gestionar fins a 10-20 objectes diferents. La vinculació més estreta dels objectes amb els seus trets i relacions permet un millor control.

A square image containing a 4 row by 4 column grid containing 16 objects on a white background. Go from left to right, top to bottom. Here's the list:
1. a blue star
2. red triangle
3. green square
4. pink circle
5. orange hourglass
6. purple infinity sign
7. black and white polka dot bowtie
8. tiedye "42"
9. an orange cat wearing a black baseball cap
10. a map with a treasure chest
11. a pair of googly eyes
12. a thumbs up emoji
13. a pair of scissors
14. a blue and white giraffe
15. the word "OpenAI" written in cursive
16. a rainbow-colored lightning bolt

^{Best of 5}

Aprenentatge en context

GPT‑4o pot analitzar i aprendre de les imatges que pugen els usuaris, integrant-ne els detalls de manera fluida en el seu context per orientar la generació d'imatges.

draw a design for a vehicle with triangular wheels, using these images as reference.
label the front wheel, the back wheel, and at the of the diagram say (in small caps)
TRIANGLE WHEELED VEHICLE. English Patent. 2025. OPENAI.

^{Best of ~16}

now put this in a photo taken in new york city.

^{Best of ~16}

Coneixement del món

La generació nativa d'imatges permet a 4o connectar el seu coneixement entre text i imatges, donant com a resultat un model que sembla més intel·ligent i eficient.

Code Example (Three.js)

HTML

1<!DOCTYPE html>
2<html lang="en">
3  <head>
4    <meta charset="UTF-8" />
5    <title>OpenAI Banner</title>
6    <style>
7      body { margin: 0; overflow: hidden; }
8      canvas { display: block; }
9    </style>
10  </head>
11  <body>
12    <script type="module">
13      import * as THREE from 'https://cdn.jsdelivr.net/npm/three@0.160.0/build/three.module.js';
14      import { OrbitControls } from 'https://cdn.jsdelivr.net/npm/three@0.160.0/examples/jsm/controls/OrbitControls.js';
15      import { FontLoader } from 'https://cdn.jsdelivr.net/npm/three@0.160.0/examples/jsm/loaders/FontLoader.js';
16      import { TextGeometry } from 'https://cdn.jsdelivr.net/npm/three@0.160.0/examples/jsm/geometries/TextGeometry.js';
17
18      const scene = new THREE.Scene();
19      const camera = new THREE.PerspectiveCamera(45, window.innerWidth / window.innerHeight, 0.1, 1000);
20      const renderer = new THREE.WebGLRenderer({ antialias: true });
21      renderer.setSize(window.innerWidth, window.innerHeight);
22      document.body.appendChild(renderer.domElement);
23
24      // Lighting
25      const light = new THREE.AmbientLight(0xffffff, 1);
26      scene.add(light);
27
28      const dirLight = new THREE.DirectionalLight(0xffffff, 1);
29      dirLight.position.set(0, 5, 10);
30      scene.add(dirLight);
31
32      // Camera position
33      camera.position.z = 20;
34
35      // Controls
36      const controls = new OrbitControls(camera, renderer.domElement);
37
38      // Banner background
39      const bannerGeometry = new THREE.PlaneGeometry(20, 10);
40      const bannerMaterial = new THREE.MeshStandardMaterial({ color: 0x1a1a1a });
41      const banner = new THREE.Mesh(bannerGeometry, bannerMaterial);
42      scene.add(banner);
43
44      // OpenAI Logo texture (placeholder)
45      const loader = new THREE.TextureLoader();
46      loader.load('https://upload.wikimedia.org/wikipedia/commons/4/4d/OpenAI_Logo.svg', texture => {
47        const logoGeometry = new THREE.PlaneGeometry(4, 4);
48        const logoMaterial = new THREE.MeshBasicMaterial({ map: texture, transparent: true });
49        const logo = new THREE.Mesh(logoGeometry, logoMaterial);
50        logo.position.set(-5, 0, 0.1); // Slightly in front of the banner
51        scene.add(logo);
52      });
53
54      // Load font and add text
55      const fontLoader = new FontLoader();
56      fontLoader.load('https://threejs.org/examples/fonts/helvetiker_regular.typeface.json', font => {
57        const textGeometry = new TextGeometry("I am 4-o", {
58          font: font,
59          size: 1,
60          height: 0.2,
61          curveSegments: 12,
62          bevelEnabled: true,
63          bevelThickness: 0.02,
64          bevelSize: 0.02,
65          bevelOffset: 0,
66          bevelSegments: 5
67        });
68
69        textGeometry.center();
70
71        const textMaterial = new THREE.MeshStandardMaterial({ color: 0x00ffcc });
72        const textMesh = new THREE.Mesh(textGeometry, textMaterial);
73        textMesh.position.set(5, -0.5, 0.1); // Opposite side of logo
74        scene.add(textMesh);
75      });
76
77      // Resize handler
78      window.addEventListener('resize', () => {
79        camera.aspect = window.innerWidth / window.innerHeight;
80        camera.updateProjectionMatrix();
81        renderer.setSize(window.innerWidth, window.innerHeight);
82      });
83
84      // Render loop
85      function animate() {
86        requestAnimationFrame(animate);
87        controls.update();
88        renderer.render(scene, camera);
89      }
90
91      animate();
92    </script>
93  </body>
94</html>

make an image of what this means to you

Fotorrealisme i estil

L'entrenament amb imatges que reflecteixen una gran varietat d'estils visuals permet al model crear o transformar imatges de manera convincent.

A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.
A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.
A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.

A cat looking into a puddle of water on a street, but its reflection is that of a tiger, and both reflections are realistically distorted by ripples in the water — A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.
A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.
A candid paparazzi-style photo of Karl Marx hurriedly walking through the parking lot of the Mall of America, glancing over his shoulder with a startled expression as he tries to avoid being photographed. He’s clutching multiple glossy shopping bags filled with luxury goods. His coat flutters behind him in the wind, and one of the bags is swinging as if he’s mid-stride. Blurred background with cars and a glowing mall entrance to emphasize motion. Flash glare from the camera partially overexposes the image, giving it a chaotic, tabloid feel.

Limitacions

El nostre model no és perfecte. En aquest moment som conscients de múltiples limitacions que treballarem per resoldre amb millores del model després del llançament inicial.

Hem observat que GPT‑4o de vegades pot retallar massa ajustadament imatges allargades, com ara pòsters, especialment a la part inferior.

Seguretat

D'acord amb la nostra especificació del model, aspirem a maximitzar la llibertat creativa donant suport a casos d'ús valuosos com el desenvolupament de videojocs, l'exploració històrica i l'educació, mantenint alhora estàndards de seguretat sòlids. Al mateix temps, continua sent tan important com sempre bloquejar les sol·licituds que vulneren aquests estàndards. A continuació es mostren avaluacions d'àrees de risc addicionals en què treballem per permetre contingut segur i d'alta utilitat i donar suport a una expressió creativa més àmplia per als usuaris.

Proveniència mitjançant C2PA i cerca reversible interna
Totes les imatges generades inclouen metadades C2PA⁠, que identificaran una imatge com a procedent de GPT‑4o, per oferir transparència. També hem creat una eina de cerca interna que utilitza atributs tècnics de les generacions per ajudar a verificar si el contingut prové del nostre model.

Bloquejar el contingut nociu
Continuem bloquejant les sol·licituds d'imatges generades que poden vulnerar les nostres polítiques de contingut, com ara material d'abús sexual infantil i deepfakes sexuals. Quan hi ha imatges de persones reals en el context, apliquem restriccions reforçades sobre quin tipus d'imatges es poden crear, amb salvaguardes especialment robustes al voltant de la nuesa i la violència gràfica. Com passa amb qualsevol llançament, la seguretat mai no s'acaba i és més aviat una àrea d'inversió contínua. A mesura que aprenguem més sobre l'ús d'aquest model en el món real, ajustarem les nostres polítiques en conseqüència.

Per obtenir més informació sobre el nostre enfocament, visita l'annex de la fitxa del model de GPT‑4o⁠ sobre la generació d'imatges.

Fer servir el raonament per impulsar la seguretat
De manera similar al nostre treball d'alineació deliberativa⁠, hem entrenat un LLM de raonament perquè treballi directament a partir d'especificacions de seguretat escrites per humans i interpretables. Hem fet servir aquest LLM de raonament durant el desenvolupament per ajudar-nos a identificar i resoldre ambigüitats en les nostres polítiques. Juntament amb els nostres avenços multimodals i les tècniques de seguretat existents desenvolupades per a ChatGPT i Sora, això ens permet moderar⁠ tant el text d'entrada com les imatges de sortida d'acord amb les nostres polítiques.

Accés i disponibilitat

La generació d'imatges amb 4o es desplega a partir d'avui per als usuaris de Plus, Pro, Team i Free com a generador d'imatges predeterminat a ChatGPT, i aviat arribarà també a Enterprise i Edu. També es pot fer servir a Sora. Per a qui té un lloc especial al cor per a DALL·E, encara s'hi pot accedir mitjançant un GPT de DALL·E dedicat.

Els desenvolupadors aviat podran generar imatges amb GPT‑4o a través de l'API, amb l'accés desplegant-se durant les properes setmanes.

Crear i personalitzar imatges és tan senzill com xatejar amb GPT‑4o: només cal descriure què necessites, incloent-hi detalls específics com la relació d'aspecte, colors exactes amb codis hexadecimals o un fons transparent. Com que aquest model crea imatges més detallades, triguen més a renderitzar-se, sovint fins a un minut.

credit creator: [Alex Duffy](https://every.to/@AlxAi)
credit creator: [Alex Duffy](https://every.to/@AlxAi)
credit creator: [Alex Duffy](https://every.to/@AlxAi)

credit creator: [August Kamp](https://www.instagram.com/august.kamp/?igsh=MTRpeG9xd3F2MzEyeg#) — credit creator: [Alex Duffy](https://every.to/@AlxAi)
credit creator: [Alex Duffy](https://every.to/@AlxAi)
credit creator: [Alex Duffy](https://every.to/@AlxAi)

Repetició del directe

Autor

OpenAI

Direcció

Gabriel Goh: Generació d'imatges

Jackie Shannon: Producte ChatGPT

Mengchao Zhong, Wayne Chang: Enginyeria de ChatGPT

Rohan Sahai: Producte i enginyeria de Sora

Brendan Quinn, Tomer Kaftan: Inferència

Prafulla Dhariwal: Organització multimodal

Recerca

Recerca fonamental

Allan Jabri, David Medina, Gabriel Goh, Kenji Hata, Lu Liu, Prafulla Dhariwal

Recerca bàsica

Aditya Ramesh, Alex Nichol, Casey Chu, Cheng Lu, Dian Ang Yap, Heewoo Jun, James Betker, Jianfeng Wang, Long Ouyang, Li Jing, Wesam Manassra

Col·laboradors de recerca

Aiden Low, Brandon McKinzie, Charlie Nash, Huiwen Chang, Ishaan Gulrajani, Jamie Kiros, Ji Lin, Kshitij Gupta, Yang Song

Comportament del model

Laurentia Romaniuk

Organització multimodal

Andrew Gibiansky, Yang Lu

Dades

Líders de dades

Gildas Chabot, James Park Lennon

Dades

Arshi Bhatnagar, Dragos Oprica, Rohan Kshirsagar, Spencer Papay, Szi-chieh Yu, Wesam Manassra, Yilei Qian

Moderadors

Hazel Byrne, Jennifer Luckenbill, Mariano López

Assessors de dades humanes

Long Ouyang

Escalat

Líders d'inferència

Brendan Quinn, Tomer Kaftan

Inferència

Alyssa Huang, Jacob Menick, Nick Stathas, Ruslan Vasilev, Stanley Hsieh

Aplicat

Líder de producte de ChatGPT

Jackie Shannon

Líders d'enginyeria de ChatGPT

Mengchao Zhong, Wayne Chang

Líder de disseny de producte

Matt Chan

Ciència de dades

Xiaolin Hao

ChatGPT

Andrew Sima, Annie Cheng, Benjamin Goh, Boyang Niu, Dian Ang Yap, Duc Tran, Edede Oiwoh, Eric Zhang, Ethan Chang, Jeffrey Dunham, Jay Chen, Kan Wu, Karen Li, Kelly Stirman, Mengyuan Xu, Michelle Qin, Ola Okelola, Pedro Aguilar, Rocky Smith, Rohit Ramchandani, Sara Culver, Sean Fitzgerald, Vlad Fomenko, Wanning Jiang, Wesam Manassra, Xiaolin Hao, Yilei Qian

Sora

Líders de producte de Sora

Rohan Sahai, Wesam Manassra

Producte i enginyeria de Sora

Boyang Niu, David Schnurr, Gilman Tolle, Joe Taylor, Joey Flynn, Mike Starr, Rajeev Nayak, Rohan Sahai, Wesam Manassra

Seguretat

Líder de seguretat

Somay Jain

Seguretat

Alex Beutel, Andrea Vallone, Botao Hao, Brendan Quinn, Cameron Raymond, Chong Zhang, David Robinson, Eric Wallace, Filippo Raso, Huiwen Chang, Ian Kivlichan, Irina Kofman, Keren Gu-Lemberg, Kristen Ying, Madelaine Boyd, Meghan Shah, Michael Lampe, Owen Campbell-Moore, Rohan Sahai, Rodrigo Riaza Perez, Sam Toizer, Sandhini Agarwal, Troy Peterson

Estratègia

Adam Cohen, Adam Wells, Ally Bennett, Ashley Pantuliano, Carolina Paz, Claudia Fischer, Declan Grabb, Gaby Sacramone-Lutz, Lauren Jonas, Ryan Beiermeister, Shiao Lee, Tom Stasi, Tyce Walters, Ziad Reslan, Zoe Stoll

Màrqueting i comunicació

Líders de comunicació i màrqueting

Minnia Feng, Natalie Summers, Taya Christianson

Comunicació

Alex Baker-Whitcomb, Ashley Tyra, Bailey Richardson, Gaby Raila, Marselus Cayton, Scott Ethersmith, Souki Mansoor

Disseny i creativitat

Líders

Kendra Rimbach, Veit Moeller

Disseny

Adam Brandon, Adam Koppel, Angela Baek, Cary Hudson, Dana Palmie, Freddie Sulit, Jeffrey Sabin Matsumoto, Leyan Lo, Matt Nichols, Thomas Degry, Vanessa Antonia Schefke, Yara Khakbaz

Agraïments especials

Aditya Ramesh, Aidan Clark, Alex Beutel, Ben Newhouse, Ben Rossen, Che Chang, Greg Brockman, Hannah Wong, Ishaan Singal, Jason Kwon, Jiacheng Feng, Jiahui Yu, Joanne Jang, Johannes Heidecke, Kevin Weil, Mark Chen, Mia Glaese, Nick Turley, Raul Puri, Reiichiro Nakano, Rui Shu, Sam Altman, Shuchao Bi, Vinnie Monaco