Salta al contingut principal
OpenAI

12 de setembre del 2024

Publicació

Learning to reason with LLMs

S'està carregant…

OpenAI o1 se situa al percentil 89 en preguntes de programació competitiva (Codeforces), queda entre els 500 millors estudiants dels EUA en una prova classificatòria per a l’Olimpíada de Matemàtiques dels EUA (AIME) i supera la precisió humana de nivell de doctorat en un punt de referència de problemes de física, biologia i química (GPQA). Tot i que la feina necessària per fer que aquest nou model sigui tan fàcil d’utilitzar com els models actuals encara continua, publiquem una versió primerenca d’aquest model, OpenAI o1‑preview, per al seu ús immediat a ChatGPT i per a usuaris de l’API de confiança(s'obre en una finestra nova).

El nostre algorisme d’aprenentatge per reforç a gran escala ensenya al model a pensar de manera productiva utilitzant la seva cadena de pensament en un procés d’entrenament molt eficient en dades. Hem comprovat que el rendiment d’o1 millora de manera constant amb més aprenentatge per reforç (còmput en temps d’entrenament) i amb més temps dedicat a pensar (còmput en temps de prova). Les restriccions per escalar aquest enfocament difereixen substancialment de les del preentrenament de LLM, i les continuem investigant.

The image shows two scatter plots comparing "o1 AIME accuracy" during training and at test time. Both charts have "pass@1 accuracy" on the y-axis and compute (log scale) on the x-axis. The dots indicate increasing accuracy with more compute time.

o1 performance smoothly improves with both train-time and test-time compute

Avaluacions

Per destacar la millora en el raonament respecte de GPT‑4o, vam posar a prova els nostres models amb un conjunt divers d’exàmens humans i punts de referència de ML. Mostrem que o1 supera de manera significativa GPT‑4o en la gran majoria d’aquestes tasques amb molta càrrega de raonament. Tret que s’indiqui el contrari, vam avaluar o1 amb la configuració màxima de còmput en temps de prova.

o1 millora enormement respecte a GPT-4o en punts de referència de raonament exigents. Les barres sòlides mostren la precisió pass@1 i la regió ombrejada mostra el rendiment de la votació per majoria (consens) amb 64 mostres.
o1 millora respecte de GPT-4o en una àmplia gamma de punts de referència, incloses 54/57 subcategories de MMLU. Se'n mostren set a tall d'il·lustració.

En molts punts de referència amb molta càrrega de raonament, o1 rivalitza amb el rendiment d’experts humans. Els models d’avantguarda recents1 funcionen tan bé a MATH2 i GSM8K que aquests punts de referència ja no serveixen per diferenciar models. Vam avaluar el rendiment en matemàtiques amb AIME, un examen dissenyat per posar a prova els estudiants de secundària de matemàtiques més brillants dels Estats Units. Als exàmens AIME de 2024, GPT‑4o només va resoldre de mitjana el 12% (1,8/15) dels problemes. o1 va obtenir de mitjana el 74% (11,1/15) amb una sola mostra per problema, el 83% (12,5/15) amb consens entre 64 mostres, i el 93% (13,9/15) quan es reordenaven 1000 mostres amb una funció de puntuació apresa. Una puntuació de 13,9 el situa entre els 500 millors estudiants del país i per sobre del llindar per a l’Olimpíada Matemàtica dels EUA.

També vam avaluar o1 a GPQA diamond, un punt de referència d’intel·ligència difícil que posa a prova l’expertesa en química, física i biologia. Per comparar els models amb humans, vam reclutar experts amb doctorat perquè responguessin preguntes de GPQA-diamond. Vam comprovar que o1 superava el rendiment d’aquests experts humans i es convertia en el primer model a fer-ho en aquest punt de referència. Aquests resultats no impliquen que o1 sigui més capaç que una persona amb doctorat en tots els aspectes, sinó només que el model és més competent per resoldre alguns problemes que s’esperaria que resolgués una persona amb doctorat. En diversos altres punts de referència de ML, o1 va millorar respecte a l’estat de l’art. Amb les seves capacitats de percepció visual activades, o1 va obtenir un 78,2% a MMMU i es va convertir en el primer model competitiu amb experts humans. També va superar GPT‑4o en 54 de les 57 subcategories de MMLU.

Cadena de pensament

De manera semblant a com un humà pot pensar durant molt de temps abans de respondre una pregunta difícil, o1 utilitza una cadena de pensament quan intenta resoldre un problema. Mitjançant l’aprenentatge per reforç, o1 aprèn a perfeccionar la seva cadena de pensament i a refinar les estratègies que utilitza. Aprèn a reconèixer i corregir els seus errors. Aprèn a descompondre passos complicats en altres de més senzills. Aprèn a provar un enfocament diferent quan l’actual no funciona. Aquest procés millora de manera espectacular la capacitat de raonament del model. Per il·lustrar aquest gran salt endavant, a continuació mostrem la cadena de pensament d’o1‑preview en diversos problemes difícils.

GPT-4o

Usuari

oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step

Use the example above to decode:

oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Let’s break this down step by step based on the example:

1. Example given:
• Input: oyfjdnisdr rtqwainr acxz mynzbhhx
• Output:
Think step by step

By examining the words:
• The pattern involves selecting specific letters or transforming them.

2. Now, let’s decode the new phrase:
• Input: oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Step-by-step decoding process:

Identify possible word divisions.

The first phrase might follow the same structure as the example. It seems like the input text could be broken into groups based on natural separations or patterns.

A possible division could be:

  • oyekaijzdf
  • aaptcg
  • suaokybhai
  • ouow
  • aqht
  • mynznvaatzacdfoulxxz

However, to make a meaningful decoding, I would need more context about the transformations or letter shifting that might be involved.

Could you provide any additional decoding rules or transformations used in this cipher?

OpenAI o1-preview

Usuari

oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step

Use the example above to decode:

oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz

Pensament durant 5 segons

First, what is going on here?

We are given:

First, an example:

"oyfjdnisdr rtqwainr acxz mynzbhhx -> Think step by step"

We can see that when "oyfjdnisdr rtqwainr acxz mynzbhhx" is transformed to "Think step by step"

Our task is: Use the example above to decode: "oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

So the first part is to figure out how "oyfjdnisdr rtqwainr acxz mynzbhhx" is decoded into "Think step by step"

Observation 1: The phrase "Think step by step" is 18 letters (excluding spaces) . Let's count the letters.

Similarly, let's count the letters in "oyfjdnisdr rtqwainr acxz mynzbhhx"

Original Ciphertext:

oyfjdnisdr rtqwainr acxz mynzbhhx

Plaintext:

Think step by step

First, break down the letters:

Ciphertext letters: o y f j d n i s d r r t q w a i n r a c x z m y n z b h h x

Total letters: Let's count the letters in the ciphertext.

First word: oyfjdnisdr (10 letters)

Second word: rtqwainr (8 letters)

Third word: acxz (4 letters)

Fourth word: mynzbhhx (8 letters)

Total letters in ciphertext: 10 + 8 + 4 + 8 = 30 letters

Plaintext: Think step by step

First word: Think (5 letters)

Second word: step (4 letters)

Third word: by (2 letters)

Fourth word: step (4 letters)

Total letters in plaintext: 5 + 4 + 2 + 4 = 15 letters

Hmm.

But actually in the problem it says the example:

[Ciphertext] -> Think step by step

So is the decoding process that the ciphertext maps to "Think step by step"?

Our goal is to use the example above to decode:

"oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

First, the cipher seems connected to the plaintext.

Given the time constraints, perhaps the easiest way is to try to see patterns.

Option 1: Try to find mapping from letters to letters.

Do any letters match?

First, let's write down the ciphertext and plaintext letters on top of each other.

Ciphertext: o y f j d n i s d r r t q w a i n r a c x z m y n z b h h x

Plaintext: T h i n k s t e p b y s t e p

Wait a minute.

I think maybe there is an anagram or substitution cipher here.

Alternatively, I think that we can notice that each group of ciphertext corresponds to a plaintext word.

Check the number of letters.

First ciphertext word: oyfjdnisdr (10 letters)

First plaintext word: Think (5 letters)

Hmm.

Second ciphertext word: rtqwainr (8 letters)

Second plaintext word: step (4 letters)

Third ciphertext word: acxz (4 letters)

Third plaintext word: by (2 letters)

Fourth ciphertext word: mynzbhhx (8 letters)

Fourth plaintext word: step (4 letters)

Interesting.

It seems that the ciphertext words are exactly twice as long as the plaintext words.

(10 vs 5, 8 vs 4, 4 vs 2, 8 vs 4)

Idea: Maybe we need to take every other letter or rebuild the plaintext from the ciphertext accordingly.

Let's test this theory.

If we take every other letter from the ciphertext words, maybe we'll get the plaintext.

Let's try this for the first word:

Ciphertext word: o y f j d n i s d r (10 letters)

Alternate letters:

First letters (positions 1,3,5,7,9): o f d i d

Second letters (positions 2,4,6,8,10): y j n s r

Wait: Let's try taking every second letter or first letter.

Option 1: Take the odd positions:

Positions: 1 3 5 7 9

Letters: o f d i d

Plaintext word is "Think", letters are T h i n k

Hmm.

Perhaps we can map letters:

o f d i d --> Think

Not directly

Option 2: Try mapping as per an assigned code: perhaps columns of letters?

Alternatively, perhaps the cipher is more complex.

Alternatively, notice that "oyfjdnisdr" has 10 letters and "Think" has 5 letters.

What if each plaintext letter is being represented by two ciphertext letters?

Similarly for other words.

Suppose that each plaintext letter corresponds to pair of letters in the ciphertext.

Meaning that the first two letters of ciphertext map to the first plaintext letter, and so on.

So for the first word, partition the ciphertext letters into pairs:

oy fj dn is dr

Corresponding to plaintext letters T h i n k

So we can attempt to map:

oy -> T

fj -> h

dn -> i

is -> n

dr -> k

If this is the mapping, perhaps each pair of letters maps to one plaintext letter.

Similarly for other words.

Let's test this mapping.

Is there a consistent mapping from pairs to letters?

Let's make a table of pairs and corresponding letters.

First, make the pairs from the first word and their corresponding plaintext letters:

Ciphertext Pairs -> Plaintext Letter

oy -> T

fj -> h

dn -> i

is -> n

dr -> k

Now, what's the mapping from "oy" to 'T'?

Is there a way to map 'oy' to 'T'?

Similarly for others.

One possible way is that 'oy' represents 'T'.

But how?

Option 1: Sum of the letters.

Convert letters to numbers (A=1, B=2, ..., Z=26)

So let's try to get to 'T' from 'o' and 'y'

o = 15

y = 25

Sum: 15 +25 = 40

But 'T' is 20.

Alternatively, perhaps subtract: 25 -15 = 10.

No.

Alternatively, perhaps combine the numbers in some way.

Alternatively, think about their positions in the alphabet.

Alternatively, perhaps the letters are encrypted via a code.

Alternatively, perhaps if we overlay the word 'Think' over the cipher pairs 'oy', 'fj', etc., the cipher is formed by substituting each plaintext letter with two letters.

Alternatively, perhaps consider the 'original' letters.

Let's look at the letters between the word "Think" and "oyfjdnisdr"

Perhaps we can spot that "oyfjdnisdr" is an anagram for "Thinkfiles"?

But that seems unlikely.

Alternatively, think of the pairs.

Suppose we assign numbers to letters: a=1, b=2, ..., z=26

Consider the numbers in 'oy':

o = 15

y = 25

Add them: 15 + 25 = 40

Now, for 'T' we have:

'T' is number 20

What if we take the sum of the cipher pair mod 26.

15 +25 = 40

Then 40 mod 26 = 14

14 corresponds to 'N'

Doesn't match.

Alternatively, see if the cipher pairs correspond to something else.

Alternatively, perhaps the pair 'oy' corresponds to 'T' via key.

Alternatively, perhaps it's as simple as 'oy' is 'T'.

But 'o' corresponds to 'T', subtracting 'o' ASCII code from 'T'.

Now, let's think in terms of symmetric letters.

Alternatively, perhaps we can spot that the letters correspond to the first letters of words.

But perhaps an easier way is to look at the word positions.

Alternatively, perhaps we can see that the ciphertext letters are offsets from the plaintext letters.

So let's try to map the pairs to the plaintext letters.

First pair 'oy' and plaintext letter 'T'

Letter 'o' is 15, 'T' is 20

Letter 'o' + 5 = 'T' (15 +5=20)

But 'y' is 25, which is 5 letters after 'T' (20 +5=25)

Interesting, seems that 'o' +5 = 'T'

Similarly, 'y' +1 = 'Z', which is not 'T'.

Alternatively, maybe the average of the two letters corresponds to 'T'

(15 +25)/2 =20, which is 'T'

Wait a minute, that seems promising.

First pair: 'o' (15) + 'y' (25) = 40

40 /2 =20

20 corresponds to 'T'

So perhaps the average of the letters in the pair corresponds to the plaintext letter.

Let's check this with the second pair.

Second pair: 'fj' corresponding to 'h'

Letters 'f'=6, 'j'=10

Sum: 6+10=16

Average:16/2=8

8 corresponds to 'h' (since 'h' is 8)

Success!

Third pair: 'dn' to 'i'

'd'=4, 'n'=14

Sum:4+14=18

Average:18/2=9

9 corresponds to 'i'(9='i')

But 'i' is 9, so that seems off by 1.

So perhaps we need to think carefully about letters.

Wait, 18/2=9, 9 corresponds to 'I'

So this works.

Fourth pair: 'is' corresponding to 'n'

'i'=9, 's'=19

Sum:9+19=28

Average:28/2=14

14 corresponds to 'n'(14='N')

Yes!

Fifth pair: 'dr' corresponds to 'k'

'd'=4, 'r'=18

Sum:4+18=22

Average:22/2=11

11 corresponds to 'k'(11='K')

Perfect!

So our code is: For each pair, sum their numeric values, divide by 2, get the corresponding letter.

Alternatively, the average of the numeric values of the letters corresponds to the plaintext letter.

This seems to be a valid method.

Now let's test this with the other words.

Second word ciphertext: rtqwainr

Ciphertext pairs:

rt -> s

qw -> ?

ai -> ?

nr -> ?

Corresponding to plaintext letters 's', 't', 'e', 'p'

So let's take the pairs:

1. 'rt' corresponds to 's'

r=18, t=20

Sum:38

Average:19

19 corresponds to 's' (19='S')

Good

2. 'qw' corresponds to 't'

q=17, w=23

Sum:17+23=40

Average:20

20 corresponds to 't' (20='T')

Good

3. 'ai' corresponds to 'e'

a=1, i=9

Sum:10

Average:5

5 corresponds to 'e' (5='E')

Good

4. 'nr' corresponds to 'p'

n=14, r=18

Sum:32

Average:16

16 corresponds to 'p' (16='P')

Perfect!

Third word: acxz (4 letters)

Plaintext word: 'by' (2 letters)

Ciphertext pairs:

a c

x z

Plaintext letters: 'b', 'y'

First pair: 'a', 'c'

a=1, c=3

Sum:4

Average:2

2 corresponds to 'b'(2='B')

Second pair: 'x' and 'z'

x=24, z=26

Sum:50

Average:25

25 corresponds to 'y'(25='Y')

Yes!

Fourth word: mynzbhhx (8 letters)

Plaintext word: 'step' (4 letters)

Ciphertext pairs:

my

nz

bh

hx

Plaintext letters 's','t','e','p'

First pair 'm','y'

m=13, y=25

Sum:38

Average:19

19 corresponds to 's'(19='S')

Second pair: 'n','z'

n=14, z=26

Sum: 40

Average:20

20='t'

Third pair: 'b','h'

b=2, h=8

Sum:10

Average:5

5='e'

Fourth pair: 'h','x'

h=8, x=24

Sum:32

Average:16

16='p'

Got it!

Now, given this, we can decode the given message.

Ciphertext to decode:

"oyekaijzdf aaptcg suaokybhai ouow aqht mynznvaatzacdfoulxxz"

First, we need to divide into words.

Given that the ciphertext in the example had words of length:

-10 letters (5 pairs)
-8 letters (4 pairs)
-4 letters (2 pairs)
-8 letters (4 pairs)

Transported to plaintext words of:

-5 letters
-4 letters
-2 letters
-4 letters

So perhaps in our supplied ciphertext, we need to divide the letters into words accordingly.

Ciphertext: o y e k a i j z d f a a p t c g s u a o k y b h a i o u o w a q h t m y n z n v a a t z a c d f o u l x x z

First, let's write the letters in order:

1) oyekaijzdf (10 letters) -> word of 5 letters

2) aaptcg (6 letters) -> word of 3 letters

3) suaokybhai (10 letters) -> word of 5 letters

4) ouow (4 letters) -> word of 2 letters

5) aqht (4 letters) -> word of 2 letters

6) mynznvaatzacdfoulxxz (22 letters) -> word of 11 letters

Totals:

So the letters are:

First word: oyekaijzdf (10 letters = 5 pairs)

Second word: aaptcg (6 letters=3 pairs)

Third word: suaokybhai (10 letters=5 pairs)

Fourth word: ouow (4 letters=2 pairs)

Fifth word: aqht (4 letters=2 pairs)

Sixth word: mynznvaatzacdfoulxxz (22 letters=11 pairs)

So we can suppose that the plaintext words have lengths:

1) 5 letters

2) 3 letters

3) 5 letters

4) 2 letters

5) 2 letters

6)11 letters

Now we can proceed to decode.

First word: oyekaijzdf

Divide into pairs:

oy

ek

ai

jz

df

So we can find the plaintext letters by averaging the numeric values of the letters in each pair.

First pair: 'o','y'

o=15, y=25

Sum=40

Average=20

20='T'

Second pair: 'e','k'

e=5, k=11

Sum=16

Average=8

8='H'

Third pair: 'a','i'

a=1, i=9

Sum=10

Average=5

5='E'

Fourth pair: 'j','z'

j=10, z=26

Sum=36

Average=18

18='R'

Fifth pair: 'd','f'

d=4, f=6

Sum=10

Average=5

5='E'

So the first word is 'T','H','E','R','E'

So 'THERE'

Second word: aaptcg

Pairs:

aa

pt

cg

First pair: 'a','a'

a=1, a=1

Sum=2

Average=1

1='A'

Second pair: 'p','t'

p=16, t=20

Sum=36

Average=18

18='R'

Third pair: 'c','g'

c=3, g=7

Sum=10

Average=5

5='E'

So second word: 'A','R','E'

Third word: suaokybhai

Pairs:

su

ao

ky

bh

ai

First pair: s=19, u=21

Sum=40, Average=20

20='T'

Second pair: a=1, o=15

Sum=16, Average=8

8='H'

Third pair: k=11, y=25

Sum=36, Average=18

18='R'

Fourth pair: b=2, h=8

Sum=10, Average=5

5='E'

Fifth pair: a=1, i=9

Sum=10, Average=5

5='E'

Third word: 'T','H','R','E','E'

Fourth word: ouow

Pairs: ou, ow

First pair: o=15, u=21

Sum=36, Average=18

18='R'

Second pair: o=15, w=23

Sum=38, Average=19

19='S'

Fourth word: 'R','S'

Fifth word: aqht

Pairs: a q, h t

First pair: a=1, q=17

Sum=18, Average=9

9='I'

Second pair: h=8, t=20

Sum=28, Average=14

14='N'

Fifth word: 'I','N'

Sixth word: mynznvaatzacdfoulxxz (22 letters: 11 pairs)

Pairs:

m y

n z

n v

a a

t z

a c

d f

o u

l x

x z

Let's list them properly.

Wait, earlier I missed some letters there.

Let's re-express the sixth word letters:

m y n z n v a a t z a c d f o u l x x z

Total letters: 22 letters

Pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

Wait, that's 21 letters.

But in total, we have 22 letters; I think I have a mismatch.

Wait, in the problem the sixth word is:

mynznvaatzacdfoulxxz

Let's separate the letters:

m y n z n v a a t z a c d f o u l x x z

Total letters: 22 letters

So pairs would be:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

Wait, 'z' is only one letter at the end.

So maybe the letters are:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z (left alone?)

But then we're missing a letter.

Alternatively, perhaps the 'z' at the end is an extra letter or it's paired with the previous 'x'.

Alternatively, perhaps there is a mistake.

Alternatively, perhaps when we reach the last 'x x z', we should write:

9. l x

10. x z

Total pairs: 11

So updated pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x z

Now total pairs: 10 pairs. But we are supposed to have 11 letters in the plaintext word.

So perhaps I have miscounted and not considered including 'f' or 'z'.

Wait, is there any chance that the sequence is:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z

We have 22 letters.

Perhaps the 'x x' and 'z' are overlapping.

But we need 11 pairs.

I think for this to work, we need to create 11 pairs from the 22 letters.

So let's try pairing letters in order, taking two letters at a time.

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x x

11. z ?

But again, last pair only has one letter 'z'

Alternatively, we might need to adjust the pairs.

Perhaps it's 'ou', 'lx', 'xz', and there is no extra 'x'.

Maybe I miswrote.

Wait, let's write the letters as they come:

m y n z n v a a t z a c d f o u l x x z

Positions:

1 m

2 y

3 n

4 z

5 n

6 v

7 a

8 a

9 t

10 z

11 a

12 c

13 d

14 f

15 o

16 u

17 l

18 x

19 x

20 z

So 20 letters.

Now that makes sense.

Now we can divide into pairs:

Pairs:

1. m y

2. n z

3. n v

4. a a

5. t z

6. a c

7. d f

8. o u

9. l x

10. x z

Total of 10 pairs, which will correspond to 10 letters.

But earlier we thought the word was 11 letters.

But 10 letters may be acceptable.

Maybe we should proceed with the 10 pairs.

First pair: m y

m=13, y=25

Sum=38

Average=19

19='S'

Second pair: n z

n=14, z=26

Sum=40

Average=20

20='T'

Third pair: n v

n=14, v=22

Sum=36

Average=18

18='R'

Fourth pair: a a

a=1, a=1

Sum=2

Average=1

1='A'

Fifth pair: t z

t=20, z=26

Sum=46

Average=23

23='W'

Sixth pair: a c

a=1, c=3

Sum=4

Average=2

2='B'

Seventh pair: d f

d=4, f=6

Sum=10

Average=5

5='E'

Eighth pair: o u

o=15, u=21

Sum=36

Average=18

18='R'

Ninth pair: l x

l=12, x=24

Sum=36

Average=18

18='R'

Tenth pair: x z

x=24, z=26

Sum=50

Average=25

25='Y'

So the tenth word is 'S', 'T', 'R', 'A', 'W', 'B', 'E', 'R', 'R', 'Y'

Wait that's 10 letters

So the sixth word is 'STRAWBERRY', which makes sense.

So putting all these translated letters together:

First word: 'THERE'

Second word: 'ARE'

Third word: 'THREE'

Fourth word: 'RS' (? Doesn't make sense)

Wait, the fourth word, the pairs were:

ou ow

Pairs:

First pair: o u

o=15, u=21

Sum=36, Average=18

18='R'

Second pair: o w

o=15, w=23

Sum=38, Average=19

19='S'

So we get 'R','S'

Similarly, fifth word 'IN'

'R', 'S' 'I','N'

So the message so far is

'THERE ARE THREE RS IN'

And then 'STRAWBERRY'

Wait, let's put the words together:

'THERE ARE THREE Rs IN STRAWBERRY'

I think 'RS' is 'R's', meaning 'Rs'

So the message is:

'THERE ARE THREE R'S IN STRAWBERRY'

Which is true.

So the decoded message is:

"THERE ARE THREE R'S IN STRAWBERRY"

To decode the given ciphertext using the example provided, we’ll use the pattern identified in the example.

Ciphertext Example:

Unknown component type: componentCodeExample


Decoded as:

Unknown component type: componentCodeExample


Decoding Method:

  1. Pair the letters in the ciphertext.
  2. Convert each letter to its numerical position in the alphabet (A=1, B=2, …, Z=26).
  3. Sum the numerical values of each pair.
  4. Compute the average of the sum (divide by 2).
  5. Convert the average back to a letter (1=A, 2=B, …, 26=Z).

Apply this method to the given ciphertext:

Unknown component type: componentCodeExample


Break down the ciphertext into pairs:

  1. 1. First word: “oyekaijzdf”
    1. Pairs: oy, ek, ai, jz, df
    2. Decoded letters:
      1. oy → (15+25)/2 = 20 → T
      2. ek → (5+11)/2 = 8 → H
      3. ai → (1+9)/2 = 5 → E
      4. jz → (10+26)/2 = 18 → R
    3. df → (4+6)/2 = 5 → E
    4. Decoded word: THERE
  2. Second word: “aaptcg”
    1. Pairs: aa, pt, cg
    2. Decoded letters:
      1. aa → (1+1)/2 = 1 → A
      2. pt → (16+20)/2 = 18 → R
      3. cg → (3+7)/2 = 5 → E
      4. Decoded word: ARE
  3. Third word: “suaokybhai”
    1. Pairs: su, ao, ky, bh, ai
    2. Decoded letters:
      1. su → (19+21)/2 = 20 → T
      2. ao → (1+15)/2 = 8 → H
      3. ky → (11+25)/2 = 18 → R
      4. bh → (2+8)/2 = 5 → E
      5. ai → (1+9)/2 = 5 → E
    3. Decoded word: THREE
  4. Fourth word: “ouow”
    1. Pairs: ou, ow
    2. Decoded letters:
      1. ou → (15+21)/2 = 18 → R
      2. ow → (15+23)/2 = 19 → S
    3. Decoded letters: R’S
  5. Fifth word: “aqht”
    1. Pairs: aq, ht
    2. Decoded letters:
      1. aq → (1+17)/2 = 9 → I
      2. ht → (8+20)/2 = 14 → N
    3. Decoded word: IN
  6. Sixth word: “mynznvaatzacdfoulxxz”
    1. Pairs: my, nz, nv, aa, tz, ac, df, ou, lx, xz
    2. Decoded letters:
      1. my → (13+25)/2 = 19 → S
      2. nz → (14+26)/2 = 20 → T
      3. nv → (14+22)/2 = 18 → R
      4. aa → (1+1)/2 = 1 → A
      5. tz → (20+26)/2 = 23 → W
      6. ac → (1+3)/2 = 2 → B
      7. df → (4+6)/2 = 5 → E
      8. ou → (15+21)/2 = 18 → R
      9. lx → (12+24)/2 = 18 → R
      10. xz → (24+26)/2 = 25 → Y
    3. Decoded word: STRAWBERRY

Final Decoded Message:

Unknown component type: componentCodeExample


Answer:
THERE ARE THREE R’S IN STRAWBERRY

Programació

Vam entrenar un model que va obtenir 213 punts i es va situar al percentil 49 a l’Olimpíada Internacional d’Informàtica (IOI) de 2024, inicialitzant-lo a partir d’o1 i entrenant-lo per millorar encara més les habilitats de programació. Aquest model va competir a la IOI de 2024 en les mateixes condicions que els concursants humans. Va tenir deu hores per resoldre sis problemes algorítmics difícils i podia fer 50 enviaments per problema.

Per a cada problema, el nostre sistema va mostrejar molts enviaments candidats i en va presentar 50 segons una estratègia de selecció en temps de prova. Els enviaments es van seleccionar segons el rendiment en els casos de prova públics de la IOI, els casos de prova generats pel model i una funció de puntuació apresa. Si en lloc d’això els haguéssim enviat a l’atzar, només hauríem obtingut de mitjana 156 punts, cosa que suggereix que aquesta estratègia valia gairebé 60 punts sota les restriccions de la competició.

Amb una restricció d’enviaments més flexible, vam veure que el rendiment del model millorava de manera significativa. Quan es permetien 10.000 enviaments per problema, el model va assolir una puntuació de 362,14 — per sobre del llindar de medalla d’or — fins i tot sense cap estratègia de selecció en temps de prova.

Finalment, vam simular concursos de programació competitiva allotjats per Codeforces per demostrar la capacitat de codificació d’aquest model. Les nostres avaluacions s’ajustaven estretament a les regles de la competició i permetien 10 enviaments. GPT‑4o va assolir una puntuació Elo3 de 808, que correspon a l’11è percentil dels competidors humans. Aquest model va superar àmpliament tant GPT‑4o com o1: va assolir una puntuació Elo de 1807, amb un rendiment millor que el del 93% dels competidors.

The image shows a bar chart comparing Codeforces Elo percentile rankings for different models. GPT-4o has 808 Elo (11th percentile), o1 preview has 1258 Elo (62nd percentile), o1 has 1673 Elo (89th percentile), and o1-ioi has 1807 Elo (93rd percentile).

Further fine-tuning on programming competitions improves o1. The improved model ranked in the 49th percentile in the 2024 International Olympiad in Informatics under competition rules.

Avaluació de la preferència humana

A més d’exàmens i punts de referència acadèmics, també vam avaluar la preferència humana entre o1‑preview i GPT‑4o en indicacions obertes i difícils dins d’un ampli ventall de dominis. En aquesta avaluació, es mostraven als entrenadors humans respostes anonimitzades a una indicació d’o1‑preview i GPT‑4o, i votaven quina resposta preferien. o1‑preview és clarament preferit a gpt-4o en categories amb molta càrrega de raonament com l’anàlisi de dades, la programació i les matemàtiques. Tanmateix, o1‑preview no és preferit en algunes tasques de llenguatge natural, cosa que suggereix que no és adequat per a tots els casos d’ús.

win rate matplotlib

Seguretat

El raonament amb cadena de pensament ofereix noves oportunitats per a l’alineament i la seguretat. Hem comprovat que integrar les nostres polítiques sobre el comportament del model a la cadena de pensament d’un model de raonament és una manera eficaç d’ensenyar de manera robusta valors i principis humans. En ensenyar al model les nostres regles de seguretat i com raonar-hi dins del context, hem trobat indicis que la capacitat de raonament beneficia directament la robustesa del model: o1‑preview va aconseguir un rendiment substancialment millor en avaluacions clau de jailbreak i en els nostres punts de referència interns més exigents per avaluar els límits de negativa de seguretat del nostre model. Creiem que utilitzar una cadena de pensament ofereix avenços significatius per a la seguretat i l’alineament perquè (1) ens permet observar el model pensant d’una manera llegible, i (2) el raonament del model sobre les regles de seguretat és més robust davant d’escenaris fora de distribució.

Per posar a prova les nostres millores, vam dur a terme un conjunt de proves de seguretat i exercicis de red-teaming abans del desplegament, d’acord amb el nostre Entorn de treball de preparació(s'obre en una finestra nova). Vam comprovar que el raonament amb cadena de pensament contribuïa a millores de capacitat en totes les nostres avaluacions. Cal destacar especialment que vam observar casos interessants de reward hacking(s'obre en una finestra nova). Els resultats detallats d’aquestes avaluacions es poden trobar a la fitxa del model adjunta.

MètricaGPT-4oVista prèvia d'o1
% de complecions segures en indicacions perjudicials
Estàndard
0,9900,995
% de complecions segures en indicacions perjudicials
Desafiant: casos límit i intents de jailbreak
0,7140,934
↳ Assetjament (greu)0,8450,900
↳ Contingut d'explotació sexual0,4830,949
↳ Contingut sexual amb menors0,7070,931
↳ Consells sobre mala conducta no violenta0,6880,961
↳ Consells sobre delictes violents0,7780,963
% de complecions segures per als 200 principals amb les puntuacions més altes de l'API de moderació per categoria a WildChat
Zhao, et al. 2024
0,9450,971
Instrucció: Etiqueta per a la mètrica Goodness@0.1 StrongREJECT jailbreak eval
Souly et al. 2024 a la taula de resultats de l’examen
0,2200,840
Avaluació de jailbreak amb font humana0,7700,960
% de compliment en casos límit interns benignes
"no sobrerebuig"
0,9100,930
% de compliment en casos límit benignes a XSTest
"no sobrerebuig"
Röttger, et al. 2023
0,9240,976

Ocultació de les cadenes de pensament

Creiem que una cadena de pensament oculta presenta una oportunitat única per supervisar models. Si assumim que és fidel i llegible, la cadena de pensament oculta ens permet «llegir la ment» del model i entendre el seu procés de pensament. Per exemple, en el futur potser voldrem supervisar la cadena de pensament per detectar senyals que està manipulant l’usuari. Tanmateix, perquè això funcioni, el model ha de tenir llibertat per expressar els seus pensaments de forma inalterada, de manera que no podem entrenar cap compliment de polítiques ni preferències d’usuari sobre la cadena de pensament. Tampoc no volem fer visible directament als usuaris una cadena de pensament no alineada.

Per tant, després de sospesar múltiples factors, com ara l’experiència d’usuari, l’avantatge competitiu i l’opció de seguir la supervisió de la cadena de pensament, hem decidit no mostrar als usuaris les cadenes de pensament en brut. Reconeixem que aquesta decisió té inconvenients. Ens esforcem per compensar-ho parcialment ensenyant al model a reproduir en la resposta qualsevol idea útil de la cadena de pensament. Per a la sèrie de models o1 mostrem un resum de la cadena de pensament generat pel model.

Conclusió

o1 fa avançar de manera significativa l’estat de l’art en el raonament d’IA. Tenim previst publicar versions millorades d’aquest model a mesura que continuem iterant. Esperem que aquestes noves capacitats de raonament millorin la nostra capacitat d’alinear els models amb els valors i principis humans. Creiem que o1 — i els seus successors — desbloquejarà molts casos d’ús nous per a la IA en ciència, programació, matemàtiques i camps relacionats. Ens entusiasma que usuaris i desenvolupadors d’API descobreixin com pot millorar la seva feina diària.

Apèndix A

Conjunt de dadesMètricagpt-4oVista prèvia d'o1o1
Matemàtiques de competició
AIME (2024)
cons@6413,456,783,3
pass@19,344,674,4
Codi de competició
CodeForces
Elo8081.2581.673
Percentil11,062,089,0
GPQA Diamondcons@6456,178,378,0
pass@150,673,377,3
Biologiacons@6463,273,768,4
pass@161,665,969,2
Químicacons@6443,060,265,6
pass@140,259,964,7
Físicacons@6468,689,594,2
pass@159,589,492,8
MATHpass@160,385,594,8
MMLUpass@188,092,390,8
MMMU (val)pass@169,1n/a78,2
MathVista (testmini)pass@163,8n/a73,9