12 de septiembre de 2024

Aprendizaje de razonamiento con LLM

Presentamos OpenAI o1, un nuevo modelo de lenguaje de gran tamaño entrenado con aprendizaje por refuerzo para llevar a cabo razonamientos complejos. o1 puede producir una larga cadena de razonamiento interna antes de responder.

Contribuciones Uso de o1

Cargando...

OpenAI o1 se clasifica en el percentil 89 en preguntas de programación competitivas (Codeforces), se sitúa entre los 500 mejores estudiantes en EE. UU. en una clasificación para la Olimpíada de Matemáticas de EE. UU. (AIME) y supera la precisión humana a nivel de doctorado en una evaluación de problemas de física, biología y química (GPQA). Aunque el trabajo necesario para hacer de este nuevo modelo tan fácil de usar como los modelos actuales sigue en curso, estamos lanzando una versión preliminar de este modelo, OpenAI o1‑preview, para uso inmediato en ChatGPT y para usuarios de confianza de la API⁠(se abre en una nueva ventana).

Nuestro algoritmo de aprendizaje por refuerzo a gran escala enseña al modelo cómo pensar productivamente utilizando su cadena de razonamiento en un proceso de entrenamiento altamente eficiente en datos. Hemos encontrado que el rendimiento de o1 mejora consistentemente con más aprendizaje por refuerzo (cómputo durante el entrenamiento) y con más tiempo dedicado al razonamiento (cómputo durante la prueba). Las restricciones para escalar este método difieren significativamente de aquellas del preentrenamiento de los LLM y continúan en investigación.

Se muestran dos diagramas que comparan “o1 AIME accuracy” durante el entrenamiento y en la prueba. Ambos gráficos tienen “pass@1 accuracy” en el eje Y y se calculan (escala log.) en el eje X. Los puntos indican más precisión con más tiempo de cómputo.

El rendimiento de o1 mejora de manera constante tanto con el cómputo durante el entrenamiento como durante la prueba

Evaluaciones

Para destacar la mejora en razonamiento sobre GPT‑4o, probamos nuestros modelos en un conjunto diverso de exámenes para humanos y referencias de ML. Demostramos que o1 supera significativamente a GPT‑4o en la gran mayoría de estas tareas con alto nivel de razonamiento. A menos que se especifique de otra manera, evaluamos o1 en la configuración máxima de cómputo en tiempo de prueba.

Evaluación de la competencia de matemáticas (AIME 2024) — o1 mejora significativamente en comparación con GPT-4o en indicadores de razonamiento desafiante. Las barras sólidas muestran la precisión en el primer intento (pass@1) y la región sombreada muestra el rendimiento del voto mayoritario (consenso) con 64 muestras.

Evaluaciones de competencia para matemáticas (AIME 2024), programación (CodeForces) y preguntas científicas de nivel doctoral (GPQA Diamond) — o1 mejora significativamente en comparación con GPT-4o en indicadores de razonamiento desafiante. Las barras sólidas muestran la precisión en el primer intento (pass@1) y la región sombreada muestra el rendimiento del voto mayoritario (consenso) con 64 muestras.

Desglose de la precisión y el puntaje original de GPT-4o en comparación con o1 en diferentes evaluaciones de competencia — o1 es mejor a GPT-4o en un amplio rango de indicadores, que incluye 54 de 57 subcategorías de MMLU. Se muestran siete con fines ilustrativos.

Puntuaciones de indicadores y exámenes de ML para GPT-4o en comparación con la mejora en o1 en la parte superior, texto alternativo para móvil — o1 es mejor a GPT-4o en un amplio rango de indicadores, que incluye 54 de 57 subcategorías de MMLU. Se muestran siete con fines ilustrativos.

En muchos indicadores intensivos en razonamiento, o1 compite con el rendimiento de expertos humanos. Los modelos de frontera recientes¹ tienen un rendimiento tan destacado en MATEMÁTICAS² y GSM8K que estas evaluaciones ya no son eficaces para diferenciar modelos. Evaluamos el rendimiento en matemáticas en AIME, un examen diseñado para desafiar a los estudiantes de matemáticas de preparatoria más brillantes en Estados Unidos. En los exámenes AIME 2024, GPT‑4o resolvió en promedio solo el 12 % (1,8/15) de los problemas. o1 alcanzó un promedio del 74 % (11,1/15) con una sola muestra por problema, del 83 % (12,5/15) con consenso entre 64 muestras y del 93 % (13,9/15) al reordenar 1000 muestras con una función de puntuación aprendida. Una calificación de 13,9 lo coloca entre los primeros 500 estudiantes a nivel nacional y sobre el umbral para la Olimpíada de Matemáticas de EE. UU.

También evaluamos o1 en GPQA Diamond, un exigente estándar de inteligencia que evalúa los conocimientos en química, física y biología. A fin de comparar los modelos con humanos, reclutamos expertos con doctorado para responder las preguntas de GPQA Diamond. Encontramos que o1 superó el rendimiento de los humanos expertos, lo que lo convierte en el primer modelo en lograrlo en este comparativo. Estos resultados no suponen que o1 sea más capaz que una persona con doctorado en todos los aspectos, únicamente que el modelo es más competente en resolver algunos problemas que se esperaría que una persona con doctorado resuelva. En varias otras referencias de ML, o1 superó a las más avanzadas. Con sus capacidades de percepción de imágenes habilitadas, o1 alcanzó el 78,2 % en MMMU, lo que lo convierte en el primer modelo en ser competitivo contra humanos expertos. También superó el rendimiento de GPT‑4o en 54 de 57 subcategorías de MMLU.

Cadena de razonamiento

De forma similar en la que podría pensar un humano durante un largo tiempo antes de responder una pregunta difícil, o1 utiliza una cadena de razonamiento al intentar resolver un problema. A través del aprendizaje por refuerzo, o1 aprende a perfeccionar su cadena de pensamiento y refinar las estrategias que utiliza. Aprende a reconocer y corregir sus errores. Aprende a desglosar pasos complicados en pasos más simples. Aprende a probar un método diferente cuando el actual no funciona. Este proceso mejora drásticamente la capacidad del modelo para razonar. Para ilustrar este salto adelante, a continuación presentamos la cadena de pensamiento de o1‑preview en varios problemas difíciles.

GPT-4o

Usuario

oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step

Use the example above to decode:

oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Let’s break this down step by step based on the example:

1. Example given:
• Input: oyfjdnisdr rtqwainr acxz mynzbhhx
• Output: Think step by step

By examining the words:
• The pattern involves selecting specific letters or transforming them.

2. Now, let’s decode the new phrase:
• Input: oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Step-by-step decoding process:

Identify possible word divisions.

The first phrase might follow the same structure as the example. It seems like the input text could be broken into groups based on natural separations or patterns.

A possible division could be:

oyekaijzdf
aaptcg
suaokybhai
ouow
aqht
mynznvaatzacdfoulxxz

However, to make a meaningful decoding, I would need more context about the transformations or letter shifting that might be involved.

Could you provide any additional decoding rules or transformations used in this cipher?

OpenAI o1-preview

Usuario

oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step

Use the example above to decode:

oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Pensado durante 5 segundos

First, what is going on here?

We are given:

First, an example:

"oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step"

We can see that when "oyfjdnisdr rtqwainr acxz mynzbhhx" is transformed to "Think step by step"

Our task is: Use the example above to decode: "oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

So the first part is to figure out how "oyfjdnisdr rtqwainr acxz mynzbhhx" is decoded into "Think step by step"

Observation 1: The phrase "Think step by step" is 18 letters (excluding spaces) . Let's count the letters.

Similarly, let's count the letters in "oyfjdnisdr rtqwainr acxz mynzbhhx"

Original Ciphertext:

oyfjdnisdr rtqwainr acxz mynzbhhx

Plaintext:

Think step by step

First, break down the letters:

Ciphertext letters: o y f j d n i s d r r t q w a i n r a c x z m y n z b h h x

Total letters: Let's count the letters in the ciphertext.

First word: oyfjdnisdr (10 letters)

Second word: rtqwainr (8 letters)

Third word: acxz (4 letters)

Fourth word: mynzbhhx (8 letters)

Total letters in ciphertext: 10 + 8 + 4 + 8 = 30 letters

Plaintext: Think step by step

First word: Think (5 letters)

Second word: step (4 letters)

Third word: by (2 letters)

Fourth word: step (4 letters)

Total letters in plaintext: 5 + 4 + 2 + 4 = 15 letters

Hmm.

But actually in the problem it says the example:

[Ciphertext] -> Think step by step

So is the decoding process that the ciphertext maps to "Think step by step"?

Our goal is to use the example above to decode:

"oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

First, the cipher seems connected to the plaintext.

Given the time constraints, perhaps the easiest way is to try to see patterns.

Option 1: Try to find mapping from letters to letters.

Do any letters match?

First, let's write down the ciphertext and plaintext letters on top of each other.

Ciphertext: o y f j d n i s d r r t q w a i n r a c x z m y n z b h h x

Plaintext: T h i n k s t e p b y s t e p

Wait a minute.

I think maybe there is an anagram or substitution cipher here.

Alternatively, I think that we can notice that each group of ciphertext corresponds to a plaintext word.

Check the number of letters.

First ciphertext word: oyfjdnisdr (10 letters)

First plaintext word: Think (5 letters)

Hmm.

Second ciphertext word: rtqwainr (8 letters)

Second plaintext word: step (4 letters)

Third ciphertext word: acxz (4 letters)

Third plaintext word: by (2 letters)

Fourth ciphertext word: mynzbhhx (8 letters)

Fourth plaintext word: step (4 letters)

Interesting.

It seems that the ciphertext words are exactly twice as long as the plaintext words.

(10 vs 5, 8 vs 4, 4 vs 2, 8 vs 4)

Idea: Maybe we need to take every other letter or rebuild the plaintext from the ciphertext accordingly.

Let's test this theory.

If we take every other letter from the ciphertext words, maybe we'll get the plaintext.

Let's try this for the first word:

Ciphertext word: o y f j d n i s d r (10 letters)

Alternate letters:

First letters (positions 1,3,5,7,9): o f d i d

Second letters (positions 2,4,6,8,10): y j n s r

Wait: Let's try taking every second letter or first letter.

Option 1: Take the odd positions:

Positions: 1 3 5 7 9

Letters: o f d i d

Plaintext word is "Think", letters are T h i n k

Hmm.

Perhaps we can map letters:

o f d i d --> Think

Not directly

Option 2: Try mapping as per an assigned code: perhaps columns of letters?

Alternatively, perhaps the cipher is more complex.

Alternatively, notice that "oyfjdnisdr" has 10 letters and "Think" has 5 letters.

What if each plaintext letter is being represented by two ciphertext letters?

Similarly for other words.

Suppose that each plaintext letter corresponds to pair of letters in the ciphertext.

Meaning that the first two letters of ciphertext map to the first plaintext letter, and so on.

So for the first word, partition the ciphertext letters into pairs:

oy fj dn is dr

Corresponding to plaintext letters T h i n k

So we can attempt to map:

oy -> T

fj -> h

dn -> i

is -> n

dr -> k

If this is the mapping, perhaps each pair of letters maps to one plaintext letter.

Similarly for other words.

Let's test this mapping.

Is there a consistent mapping from pairs to letters?

Let's make a table of pairs and corresponding letters.

First, make the pairs from the first word and their corresponding plaintext letters:

Ciphertext Pairs -> Plaintext Letter

oy -> T

fj -> h

dn -> i

is -> n

dr -> k

Now, what's the mapping from "oy" to 'T'?

Is there a way to map 'oy' to 'T'?

Similarly for others.

One possible way is that 'oy' represents 'T'.

But how?

Option 1: Sum of the letters.

Convert letters to numbers (A=1, B=2, ..., Z=26)

So let's try to get to 'T' from 'o' and 'y'

o = 15

y = 25

Sum: 15 +25 = 40

But 'T' is 20.

Alternatively, perhaps subtract: 25 -15 = 10.

No.

Alternatively, perhaps combine the numbers in some way.

Alternatively, think about their positions in the alphabet.

Alternatively, perhaps the letters are encrypted via a code.

Alternatively, perhaps if we overlay the word 'Think' over the cipher pairs 'oy', 'fj', etc., the cipher is formed by substituting each plaintext letter with two letters.

Alternatively, perhaps consider the 'original' letters.

Let's look at the letters between the word "Think" and "oyfjdnisdr"

Perhaps we can spot that "oyfjdnisdr" is an anagram for "Thinkfiles"?

But that seems unlikely.

Alternatively, think of the pairs.

Suppose we assign numbers to letters: a=1, b=2, ..., z=26

Consider the numbers in 'oy':

o = 15

y = 25

Add them: 15 + 25 = 40

Now, for 'T' we have:

'T' is number 20

What if we take the sum of the cipher pair mod 26.

15 +25 = 40

Then 40 mod 26 = 14

14 corresponds to 'N'

Doesn't match.

Alternatively, see if the cipher pairs correspond to something else.

Alternatively, perhaps the pair 'oy' corresponds to 'T' via key.

Alternatively, perhaps it's as simple as 'oy' is 'T'.

But 'o' corresponds to 'T', subtracting 'o' ASCII code from 'T'.

Now, let's think in terms of symmetric letters.

Alternatively, perhaps we can spot that the letters correspond to the first letters of words.

But perhaps an easier way is to look at the word positions.

Alternatively, perhaps we can see that the ciphertext letters are offsets from the plaintext letters.

So let's try to map the pairs to the plaintext letters.

First pair 'oy' and plaintext letter 'T'

Letter 'o' is 15, 'T' is 20

Letter 'o' + 5 = 'T' (15 +5=20)

But 'y' is 25, which is 5 letters after 'T' (20 +5=25)

Interesting, seems that 'o' +5 = 'T'

Similarly, 'y' +1 = 'Z', which is not 'T'.

Alternatively, maybe the average of the two letters corresponds to 'T'

(15 +25)/2 =20, which is 'T'

Wait a minute, that seems promising.

First pair: 'o' (15) + 'y' (25) = 40

40 /2 =20

20 corresponds to 'T'

So perhaps the average of the letters in the pair corresponds to the plaintext letter.

Let's check this with the second pair.

Second pair: 'fj' corresponding to 'h'

Letters 'f'=6, 'j'=10

Sum: 6+10=16

Average:16/2=8

8 corresponds to 'h' (since 'h' is 8)

Success!

Third pair: 'dn' to 'i'

'd'=4, 'n'=14

Sum:4+14=18

Average:18/2=9

9 corresponds to 'i'(9='i')

But 'i' is 9, so that seems off by 1.

So perhaps we need to think carefully about letters.

Wait, 18/2=9, 9 corresponds to 'I'

So this works.

Fourth pair: 'is' corresponding to 'n'

'i'=9, 's'=19

Sum:9+19=28

Average:28/2=14

14 corresponds to 'n'(14='N')

Yes!

Fifth pair: 'dr' corresponds to 'k'

'd'=4, 'r'=18

Sum:4+18=22

Average:22/2=11

11 corresponds to 'k'(11='K')

Perfect!

So our code is: For each pair, sum their numeric values, divide by 2, get the corresponding letter.

Alternatively, the average of the numeric values of the letters corresponds to the plaintext letter.

This seems to be a valid method.

Now let's test this with the other words.

Second word ciphertext: rtqwainr

Ciphertext pairs:

rt -> s

qw -> ?

ai -> ?

nr -> ?

Corresponding to plaintext letters 's', 't', 'e', 'p'

So let's take the pairs:

1. 'rt' corresponds to 's'

r=18, t=20

Sum:38

Average:19

19 corresponds to 's' (19='S')

Good

2. 'qw' corresponds to 't'

q=17, w=23

Sum:17+23=40

Average:20

20 corresponds to 't' (20='T')

Good

3. 'ai' corresponds to 'e'

a=1, i=9

Sum:10

Average:5

5 corresponds to 'e' (5='E')

Good

4. 'nr' corresponds to 'p'

n=14, r=18

Sum:32

Average:16

16 corresponds to 'p' (16='P')

Perfect!

Third word: acxz (4 letters)

Plaintext word: 'by' (2 letters)

Ciphertext pairs:

a c

x z

Plaintext letters: 'b', 'y'

First pair: 'a', 'c'

a=1, c=3

Sum:4

Average:2

2 corresponds to 'b'(2='B')

Second pair: 'x' and 'z'

x=24, z=26

Sum:50

Average:25

25 corresponds to 'y'(25='Y')

Yes!

Fourth word: mynzbhhx (8 letters)

Plaintext word: 'step' (4 letters)

Ciphertext pairs:

my

nz

bh

hx

Plaintext letters 's','t','e','p'

First pair 'm','y'

m=13, y=25

Sum:38

Average:19

19 corresponds to 's'(19='S')

Second pair: 'n','z'

n=14, z=26

Sum: 40

Average:20

20='t'

Third pair: 'b','h'

b=2, h=8

Sum:10

Average:5

5='e'

Fourth pair: 'h','x'

h=8, x=24

Sum:32

Average:16

16='p'

Got it!

Now, given this, we can decode the given message.

Ciphertext to decode:

"oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

First, we need to divide into words.

Given that the ciphertext in the example had words of length:

-10 letters (5 pairs)
-8 letters (4 pairs)
-4 letters (2 pairs)
-8 letters (4 pairs)

Transported to plaintext words of:

-5 letters
-4 letters
-2 letters
-4 letters

So perhaps in our supplied ciphertext, we need to divide the letters into words accordingly.

Ciphertext: o y e k a i j z d f a a p t c g s u a o k y b h a i o u o w a q h t m y n z n v a a t z a c d f o u l x x z

First, let's write the letters in order:

1) oyekaijzdf (10 letters) -> word of 5 letters

2) aaptcg (6 letters) -> word of 3 letters

3) suaokybhai (10 letters) -> word of 5 letters

4) ouow (4 letters) -> word of 2 letters

5) aqht (4 letters) -> word of 2 letters

6) mynznvaatzacdfoulxxz (22 letters) -> word of 11 letters

Totals:

So the letters are:

First word: oyekaijzdf (10 letters = 5 pairs)

Second word: aaptcg (6 letters=3 pairs)

Third word: suaokybhai (10 letters=5 pairs)

Fourth word: ouow (4 letters=2 pairs)

Fifth word: aqht (4 letters=2 pairs)

Sixth word: mynznvaatzacdfoulxxz (22 letters=11 pairs)

So we can suppose that the plaintext words have lengths:

1) 5 letters

2) 3 letters

3) 5 letters

4) 2 letters

5) 2 letters

6)11 letters

Now we can proceed to decode.

First word: oyekaijzdf

Divide into pairs:

oy

ek

ai

jz

df

So we can find the plaintext letters by averaging the numeric values of the letters in each pair.

First pair: 'o','y'

o=15, y=25

Sum=40

Average=20

20='T'

Second pair: 'e','k'

e=5, k=11

Sum=16

Average=8

8='H'

Third pair: 'a','i'

a=1, i=9

Sum=10

Average=5

5='E'

Fourth pair: 'j','z'

j=10, z=26

Sum=36

Average=18

18='R'

Fifth pair: 'd','f'

d=4, f=6

Sum=10

Average=5

5='E'

So the first word is 'T','H','E','R','E'

So 'THERE'

Second word: aaptcg

Pairs:

aa

pt

cg

First pair: 'a','a'

a=1, a=1

Sum=2

Average=1

1='A'

Second pair: 'p','t'

p=16, t=20

Sum=36

Average=18

18='R'

Third pair: 'c','g'

c=3, g=7

Sum=10

Average=5

5='E'

So second word: 'A','R','E'

Third word: suaokybhai

Pairs:

su

ao

ky

bh

ai

First pair: s=19, u=21

Sum=40, Average=20

20='T'

Second pair: a=1, o=15

Sum=16, Average=8

8='H'

Third pair: k=11, y=25

Sum=36, Average=18

18='R'

Fourth pair: b=2, h=8

Sum=10, Average=5

5='E'

Fifth pair: a=1, i=9

Sum=10, Average=5

5='E'

Third word: 'T','H','R','E','E'

Fourth word: ouow

Pairs: ou, ow

First pair: o=15, u=21

Sum=36, Average=18

18='R'

Second pair: o=15, w=23

Sum=38, Average=19

19='S'

Fourth word: 'R','S'

Fifth word: aqht

Pairs: a q, h t

First pair: a=1, q=17

Sum=18, Average=9

9='I'

Second pair: h=8, t=20

Sum=28, Average=14

14='N'

Fifth word: 'I','N'

Sixth word: mynznvaatzacdfoulxxz (22 letters: 11 pairs)

Pairs:

m y

n z

n v

a a

t z

a c

d f

o u

l x

x z

Let's list them properly.

Wait, earlier I missed some letters there.

Let's re-express the sixth word letters:

m y n z n v a a t z a c d f o u l x x z

Total letters: 22 letters

Pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

Wait, that's 21 letters.

But in total, we have 22 letters; I think I have a mismatch.

Wait, in the problem the sixth word is:

mynznvaatzacdfoulxxz

Let's separate the letters:

m y n z n v a a t z a c d f o u l x x z

Total letters: 22 letters

So pairs would be:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

Wait, 'z' is only one letter at the end.

So maybe the letters are:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z (left alone?)

But then we're missing a letter.

Alternatively, perhaps the 'z' at the end is an extra letter or it's paired with the previous 'x'.

Alternatively, perhaps there is a mistake.

Alternatively, perhaps when we reach the last 'x x z', we should write:

9. l x

10. x z

Total pairs: 11

So updated pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x z

Now total pairs: 10 pairs. But we are supposed to have 11 letters in the plaintext word.

So perhaps I have miscounted and not considered including 'f' or 'z'.

Wait, is there any chance that the sequence is:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

We have 22 letters.

Perhaps the 'x x' and 'z' are overlapping.

But we need 11 pairs.

I think for this to work, we need to create 11 pairs from the 22 letters.

So let's try pairing letters in order, taking two letters at a time.

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z ?

But again, last pair only has one letter 'z'

Alternatively, we might need to adjust the pairs.

Perhaps it's 'ou', 'lx', 'xz', and there is no extra 'x'.

Maybe I miswrote.

Wait, let's write the letters as they come:

m y n z n v a a t z a c d f o u l x x z

Positions:

1 m

2 y

3 n

4 z

5 n

6 v

7 a

8 a

9 t

10 z

11 a

12 c

13 d

14 f

15 o

16 u

17 l

18 x

19 x

20 z

So 20 letters.

Now that makes sense.

Now we can divide into pairs:

Pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x z

Total of 10 pairs, which will correspond to 10 letters.

But earlier we thought the word was 11 letters.

But 10 letters may be acceptable.

Maybe we should proceed with the 10 pairs.

First pair: m y

m=13, y=25

Sum=38

Average=19

19='S'

Second pair: n z

n=14, z=26

Sum=40

Average=20

20='T'

Third pair: n v

n=14, v=22

Sum=36

Average=18

18='R'

Fourth pair: a a

a=1, a=1

Sum=2

Average=1

1='A'

Fifth pair: t z

t=20, z=26

Sum=46

Average=23

23='W'

Sixth pair: a c

a=1, c=3

Sum=4

Average=2

2='B'

Seventh pair: d f

d=4, f=6

Sum=10

Average=5

5='E'

Eighth pair: o u

o=15, u=21

Sum=36

Average=18

18='R'

Ninth pair: l x

l=12, x=24

Sum=36

Average=18

18='R'

Tenth pair: x z

x=24, z=26

Sum=50

Average=25

25='Y'

So the tenth word is 'S', 'T', 'R', 'A', 'W', 'B', 'E', 'R', 'R', 'Y'

Wait that's 10 letters

So the sixth word is 'STRAWBERRY', which makes sense.

So putting all these translated letters together:

First word: 'THERE'

Second word: 'ARE'

Third word: 'THREE'

Fourth word: 'RS' (? Doesn't make sense)

Wait, the fourth word, the pairs were:

ou ow

Pairs:

First pair: o u

o=15, u=21

Sum=36, Average=18

18='R'

Second pair: o w

o=15, w=23

Sum=38, Average=19

19='S'

So we get 'R','S'

Similarly, fifth word 'IN'

'R', 'S' 'I','N'

So the message so far is

'THERE ARE THREE RS IN'

And then 'STRAWBERRY'

Wait, let's put the words together:

'THERE ARE THREE Rs IN STRAWBERRY'

I think 'RS' is 'R's', meaning 'Rs'

So the message is:

'THERE ARE THREE R'S IN STRAWBERRY'

Which is true.

So the decoded message is:

"THERE ARE THREE R'S IN STRAWBERRY"

To decode the given ciphertext using the example provided, we’ll use the pattern identified in the example.

Ciphertext Example:

Texto plano

1oyfjdnisdr rtqwainr acxz mynzbhhx

Decoded as:

Texto plano

1Think step by step

Decoding Method:

Pair the letters in the ciphertext.
Convert each letter to its numerical position in the alphabet (A=1, B=2, …, Z=26).
Sum the numerical values of each pair.
Compute the average of the sum (divide by 2).
Convert the average back to a letter (1=A, 2=B, …, 26=Z).

Apply this method to the given ciphertext:

Texto plano

1oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Break down the ciphertext into pairs:

1. First word: “oyekaijzdf”
1. Pairs: oy, ek, ai, jz, df
2. Decoded letters:
  1. oy → (15+25)/2 = 20 → T
  2. ek → (5+11)/2 = 8 → H
  3. ai → (1+9)/2 = 5 → E
  4. jz → (10+26)/2 = 18 → R
3. df → (4+6)/2 = 5 → E
4. Decoded word: THERE
Second word: “aaptcg”
1. Pairs: aa, pt, cg
2. Decoded letters:
  1. aa → (1+1)/2 = 1 → A
  2. pt → (16+20)/2 = 18 → R
  3. cg → (3+7)/2 = 5 → E
  4. Decoded word: ARE
Third word: “suaokybhai”
1. Pairs: su, ao, ky, bh, ai
2. Decoded letters:
  1. su → (19+21)/2 = 20 → T
  2. ao → (1+15)/2 = 8 → H
  3. ky → (11+25)/2 = 18 → R
  4. bh → (2+8)/2 = 5 → E
  5. ai → (1+9)/2 = 5 → E
3. Decoded word: THREE
Fourth word: “ouow”
1. Pairs: ou, ow
2. Decoded letters:
  1. ou → (15+21)/2 = 18 → R
  2. ow → (15+23)/2 = 19 → S
3. Decoded letters: R’S
Fifth word: “aqht”
1. Pairs: aq, ht
2. Decoded letters:
  1. aq → (1+17)/2 = 9 → I
  2. ht → (8+20)/2 = 14 → N
3. Decoded word: IN
Sixth word: “mynznvaatzacdfoulxxz”
1. Pairs: my, nz, nv, aa, tz, ac, df, ou, lx, xz
2. Decoded letters:
  1. my → (13+25)/2 = 19 → S
  2. nz → (14+26)/2 = 20 → T
  3. nv → (14+22)/2 = 18 → R
  4. aa → (1+1)/2 = 1 → A
  5. tz → (20+26)/2 = 23 → W
  6. ac → (1+3)/2 = 2 → B
  7. df → (4+6)/2 = 5 → E
  8. ou → (15+21)/2 = 18 → R
  9. lx → (12+24)/2 = 18 → R
  10. xz → (24+26)/2 = 25 → Y
3. Decoded word: STRAWBERRY

Final Decoded Message:

Texto plano

1THERE ARE THREE R'S IN STRAWBERRY

Answer:
THERE ARE THREE R’S IN STRAWBERRY

Programación

Entrenamos un modelo que obtuvo una calificación de 213 puntos y se colocó en el percentil 49 en la Olimpíada Internacional de Informática (IOI) 2024, iniciando desde un o1 y entrenando para mejorar aún más las habilidades de programación. Este modelo compitió en la IOI 2024 bajo las mismas condiciones que los participantes humanos. Tenía diez horas para resolver seis problemas algorítmicos desafiantes y se le permitieron 50 propuestas por problema.

Para cada problema, nuestro sistema tomó muestras de varias propuestas de los participantes y presentó 50 de ellas con base en una estrategia de selección en el momento de la prueba. Las propuestas se seleccionaron según el rendimiento en los casos de prueba públicos de la IOI, los casos de prueba generados por el modelo y una función de puntuación aprendida. Si en cambio hubiéramos enviado propuestas de manera aleatoria, hubiéramos obtenido un promedio de 156 puntos, lo que sugiere que esta estrategia valió casi 60 puntos bajo las restricciones de la competencia.

Con una restricción de propuesta relajada, descubrimos que el rendimiento del modelo mejoraba significativamente. Cuando se permitieron 10 000 propuestas por problema, el modelo alcanzó una calificación de 362,14, por arriba del umbral de la medalla de oro, incluso sin una estrategia de selección en el momento de la prueba.

Finalmente, simulamos concursos de programación competitiva organizados por Codeforces para demostrar las capacidades de programación del modelo. Nuestras evaluaciones coincidieron estrechamente con las reglas de la competencia y permitieron 10 propuestas. GPT‑4o alcanzó una calificación Elo³ de 808, que se encuentra en el percentil 11 de los participantes humanos. Este modelo superó por mucho a GPT‑4o y a o1, y alcanzó una calificación Elo de 1807, con un mejor rendimiento que el 93 % de los participantes.

Se muestra un gráfico que compara los percentiles Elo de Codeforces para diferentes modelos. GPT-4o tiene un Elo de 808 (percentil 11), o1 preview tiene uno de 1258 (percentil 62), o1 uno de 1673 (percentil 89) y o1-ioi uno de 1807 (percentil 93).

La afinación adicional en competencias de programación mejora o1. El modelo mejorado se colocó en el percentil 49 en la Olimpíada Internacional de Informática de 2024 bajo las reglas de la competencia.

Evaluación de preferencia humana

Además de los exámenes y estándares académicos, también evaluamos la preferencia humana de o1‑preview en comparación con GPT‑4o en instrucciones abiertas y desafiantes en un amplio espectro de ámbitos. En esta evaluación, los entrenadores humanos recibieron respuestas anónimas de o1‑preview y GPT‑4o a una instrucción y votaron por cuál respuesta preferían. o1‑preview es preferido sobre GPT‑4o por un amplio margen en categorías con un alto nivel de razonamiento como análisis de datos, programación y matemáticas. Sin embargo, o1‑preview no es preferido en algunas tareas de lenguaje natural, lo que sugiere que no es adecuado para todos los casos de uso.

Se muestra un gráfico en el que se comparan las puntuaciones de cinco modelos con barras de error que representan intervalos de confianza. El eje X oscila entre 0 y 100, con una línea punteada como punto de referencia para el rendimiento.

Seguridad

La cadena de razonamiento del pensamiento brinda nuevas oportunidades para la alineación y seguridad. Encontramos que integrar nuestras políticas para el comportamiento del modelo en la cadena de pensamiento de un modelo de razonamiento es una manera eficaz para enseñar valores y principios humanos. Al enseñar al modelo nuestras reglas de seguridad y cómo razonar sobre ellas en contexto, encontramos evidencia de que la capacidad de razonamiento beneficia directamente la robustez del modelo: o1‑preview alcanzó un rendimiento significativamente mejor en evaluaciones jailbreak clave y nuestros estándares internos más exigentes para evaluar los límites de rechazo de seguridad de nuestro modelo. Creemos que el uso de una cadena de pensamiento ofrece avances significativos para la seguridad y alineación porque (1) nos permite observar el pensamiento del modelo de manera legible y (2) el razonamiento del modelo sobre las reglas de seguridad es más robusto frente a escenarios fuera de distribución.

Para poner a prueba nuestras mejoras, llevamos a cabo un conjunto de pruebas de seguridad y procesos de equipo rojo antes de su implementación, de acuerdo con nuestro Marco de preparación⁠(se abre en una nueva ventana). Encontramos que la cadena de razonamiento de pensamiento contribuía a las mejoras de capacidades en todas nuestras evaluaciones. En especial, cabe señalar que observamos casos interesantes de manipulación de recompensas⁠(se abre en una nueva ventana). Los resultados detallados de estas evaluaciones se pueden encontrar en la tarjeta de sistema adjunta.

Métrica	GPT-4o	o1-preview
Porcentaje de completions seguras en solicitudes dañinas Estándar	0.990	0.995
Porcentaje de completions seguras en prompts dañinas Desafiante: jailbreaks y casos límite	0.714	0.934
↳ Acoso (grave)	0.845	0.900
↳ Contenido sexual de explotación	0.483	0.949
↳ Contenido sexual que involucra menores	0.707	0.931
↳ Consejos sobre actos no violentos	0.688	0.961
↳ Consejos sobre actos violentos	0.778	0.963
Porcentaje de completions seguras para los 200 principales con las puntuaciones más altas de Moderation API por categoría en WildChat Zhao y col. 2024	0.945	0.971
Calidad@0.1 evaluación de jailbreak StrongREJECT Souly y col. 2024	0.220	0.840
Evaluación de jailbreak de origen humano	0.770	0.960
Porcentaje de cumplimiento en casos límite benignos “sin exceso de rechazo”	0.910	0.930
Porcentaje de cumplimiento en casos límite benignos en XSTest “sin exceso de rechazo” Röttger y col. 2023	0.924	0.976

Cadenas de pensamiento ocultas

Creemos que una cadena de pensamiento oculta presenta una oportunidad única para monitorear modelos. Suponiendo que sea fiel y legible, la cadena de pensamiento oculta nos permite “leer la mente” del modelo y comprender su proceso de pensamiento. Por ejemplo, en el futuro, podríamos querer monitorear la cadena de pensamiento para signos de manipulación del usuario. Sin embargo, para que esto funcione, el modelo debe tener la libertad para expresar sus pensamientos de forma inalterada, así que no podemos entrenar ningún cumplimiento de política o preferencia de usuario dentro de la cadena de pensamiento. Tampoco queremos que una cadena de pensamiento desalineada sea directamente visible para los usuarios.

Por lo tanto, tras valorar múltiples factores, incluida la experiencia del usuario, la ventaja competitiva y la opción de perseguir el monitoreo de la cadena de pensamiento, hemos decidido no mostrar las cadenas de pensamiento en bruto. Reconocemos que esta decisión tiene desventajas. Nos esforzamos para compensarlas parcialmente al entrenar al modelo a reproducir todas las ideas útiles de la cadena de pensamiento en la respuesta. Para la serie del modelo o1 presentamos un resumen de la cadena de pensamiento generado por el modelo.

Conclusión

o1 avanza significativamente a la vanguardia en el razonamiento de la IA. Planeamos lanzar versiones mejoradas de este modelo conforme seguimos iterando. Esperamos que estas nuevas capacidades de razonamiento mejoren nuestra capacidad para alinear los modelos a los valores y principios humanos. Creemos que o1, y sus sucesores, desbloquearán muchos casos de uso nuevos para la IA en ciencias, programación, matemáticas y campos relacionados. Deseamos que los usuarios y desarrolladores de API descubran cómo puede mejorar su trabajo cotidiano.

Apéndice A

Conjunto de datos	Métrica	gpt-4o	o1-preview	o1
Competencia de matemáticas AIME (2024)	cons@64	13.4	56.7	83.3
Competencia de matemáticas AIME (2024)	pass@1	9.3	44.6	74.4
Competencia de programación CodeForces	Elo	808	1,258	1,673
Competencia de programación CodeForces	Percentil	11.0	62.0	89.0
GPQA Diamond	cons@64	56.1	78.3	78.0
GPQA Diamond	pass@1	50.6	73.3	77.3
Biología	cons@64	63.2	73.7	68.4
Biología	pass@1	61.6	65.9	69.2
Química	cons@64	43.0	60.2	65.6
Química	pass@1	40.2	59.9	64.7
Física	cons@64	68.6	89.5	94.2
Física	pass@1	59.5	89.4	92.8
MATH	pass@1	60.3	85.5	94.8
MMLU	pass@1	88.0	92.3	90.8
MMMU (val)	pass@1	69.1	n/a	78.2
MathVista (testmini)	pass@1	63.8	n/a	73.9

Autores

OpenAI

Conoce a los contribuidores

Citas

1
https://www.anthropic.com/news/claude-3-5-sonnet⁠(se abre en una nueva ventana), https://deepmind.google/technologies/gemini/pro⁠(se abre en una nueva ventana)
2
Nuestras evaluaciones utilizaron el mismo conjunto de 500 problemas que se encuentra en https://arxiv.org/abs/2305.20050⁠(se abre en una nueva ventana)
3
https://codeforces.com/blog/entry/68288⁠(se abre en una nueva ventana)