1 day ago
A simple vista la diferencia parece enorme, pero ¿cómo se percibe realmente en el uso cotidiano? Escribir novelas, o seguir cubriendo ciertas necesidades de nicho (enamorarse de una IA).
Puedes probar primero con tus dos o tres situaciones más habituales, unas cuantas rondas en cada una, y luego decidir si conviene cambiar de modelo.
Donde realmente se marca la diferencia en la capacidad de un texto no suele estar en lo impresionante que pueda resultar una sola entrega, sino en equivocarse menos y desviarse menos en tareas largas. A corto plazo puede parecer que todos son más o menos iguales, pero el costo en tiempo de corregir y rehacer se va acumulando, y cuanto más larga es la tarea y más depende del contexto, más evidente se vuelve esa diferencia.
Los corpus y los estilos varían bastante de un idioma a otro, así que el rendimiento en la creación en chino y en inglés no necesariamente va al mismo ritmo. ¿La sensación que has observado se concentra en algún tipo de género concreto, o es más o menos similar en todo tipo de tareas?
Visto desde otra perspectiva, ¿no será que las necesidades de nicho ponen a prueba aún mejor la capacidad de un texto?
Tengo ciertas reservas sobre la afirmación de que «la diferencia de percepción es grande». En conversaciones cortas del día a día y en reescrituras sencillas, el rendimiento de varios modelos puede ser muy similar; donde realmente se marca la diferencia es en la estructura de textos largos y en el control del estilo, y precisamente eso no es fácil de evaluar con unas pocas impresiones. Quizá convendría empezar por descomponer la «capacidad textual» en varias dimensiones observables y, a partir de ahí, discutir dónde radica la diferencia.
Eso que mencionas de escribir novelas y diálogos de personajes exige, en realidad, más coherencia contextual y consistencia de los personajes; fijarse solo en las puntuaciones de los benchmarks no necesariamente refleja eso. Si solo lo usas de vez en cuando, la diferencia quizá no sea tan evidente; pero si escribes novelas largas de forma constante, la estabilidad saldrá a la luz muy pronto.