[ES] Translate Chapter 12 Sections 1 to 3b (Build Reasoning Models & DeepSeek R1/GRPO)

chapters/es/_toctree.yml

@@ -113,6 +113,19 @@
   - local: chapter8/2
     title: ¿Qué hacer cuando se produce un error?
 
+- title: 12. Construir modelos de razonamiento
+  subtitle: Aprende a construir modelos de razonamiento como DeepSeek R1
+  new: true
+  sections:
+  - local: chapter12/1
+    title: Introducción
+  - local: chapter12/2
+    title: Aprendizaje por refuerzo en LLMs
+  - local: chapter12/3
+    title: El momento «¡Ajá!» en el artículo de DeepSeek R1
+  - local: chapter12/3b
+    title: Comprensión avanzada de GRPO en DeepSeekMath
+
 - title: Glosario
   sections:
   - local: glossary/1

chapters/es/chapter12/1.mdx

@@ -0,0 +1,90 @@
+# Open R1 para estudiantes[[open-r1-para-estudiantes]]
+
+¡Te damos la bienvenida a un emocionante viaje al mundo de la IA de código abierto con aprendizaje por refuerzo! Este capítulo está diseñado para ayudar a los estudiantes a comprender el aprendizaje por refuerzo y su papel en los LLMs.
+
+También exploraremos [Open R1](https://github.com/huggingface/open-r1), un innovador proyecto comunitario que está haciendo accesible la IA avanzada para todos. Específicamente, este curso tiene como objetivo ayudar a los estudiantes y aprendices a utilizar y contribuir a [Open R1](https://github.com/huggingface/open-r1).
+
+## Qué aprenderás
+
+En este capítulo, desglosaremos conceptos complejos en partes fáciles de entender y te mostraremos cómo puedes formar parte de este emocionante proyecto para hacer que los LLMs razonen sobre problemas complejos.
+
+Los LLMs han mostrado un excelente rendimiento en muchas tareas generativas. Sin embargo, hasta hace poco tenían dificultades con problemas complejos que requerían razonamiento. Por ejemplo, les cuesta resolver acertijos o problemas matemáticos que requieren múltiples pasos de razonamiento.
+
+Open R1 es un proyecto que tiene como objetivo hacer que los LLMs razonen sobre problemas complejos. Lo hace utilizando el aprendizaje por refuerzo para animar a los LLMs a «pensar» y razonar.
+
+En términos sencillos, el modelo se entrena para generar pensamientos así como respuestas, y para estructurar estos pensamientos y respuestas de modo que el usuario pueda manejarlos por separado.
+
+Veamos un ejemplo. Si nos propusiéramos resolver el siguiente problema, podríamos pensar de esta manera:
+
+```sh
+Problema: "Tengo 3 manzanas y 2 naranjas. ¿Cuántas piezas de fruta tengo en total?"
+
+Pensamiento: "Necesito sumar la cantidad de manzanas y naranjas para obtener la cantidad total de piezas de fruta."
+
+Respuesta: "5"
+```
+
+Luego podemos estructurar este pensamiento y respuesta para que el usuario pueda manejarlos por separado. Para tareas de razonamiento, los LLMs pueden entrenarse para generar pensamientos y respuestas en el siguiente formato:
+
+```sh
+<think>Necesito sumar la cantidad de manzanas y naranjas para obtener la cantidad total de piezas de fruta.</think>
+5
+```
+
+Como usuarios, podemos extraer el pensamiento y la respuesta de la salida del modelo y utilizarlos para resolver el problema.
+
+## Por qué esto es importante para los estudiantes
+
+Como estudiante, comprender Open R1 y el papel del aprendizaje por refuerzo en los LLMs es valioso porque:
+- Te muestra cómo se desarrolla la IA de vanguardia
+- Te brinda oportunidades prácticas para aprender y contribuir
+- Te ayuda a comprender hacia dónde se dirige la tecnología de IA
+- Abre puertas a futuras oportunidades profesionales en IA
+
+## Resumen del capítulo
+
+Este capítulo se divide en cuatro secciones, cada una centrada en un aspecto diferente de Open R1:
+
+### 1️⃣ Introducción al aprendizaje por refuerzo y su papel en los LLMs
+Exploraremos los conceptos básicos del Aprendizaje por Refuerzo (RL) y su función en el entrenamiento de LLMs:
+- ¿Qué es el RL?
+- ¿Cómo se utiliza el RL en los LLMs?
+- ¿Qué es DeepSeek R1?
+- ¿Cuáles son las innovaciones clave de DeepSeek R1?
+
+### 2️⃣ Comprender el artículo de DeepSeek R1
+Desglosaremos el artículo de investigación que inspiró [Open R1](https://huggingface.co/open-r1):
+- Innovaciones y avances clave
+- El proceso de entrenamiento y la arquitectura
+- Resultados y su significado
+
+### 3️⃣ Implementación de GRPO en TRL
+Pasaremos a la práctica con ejemplos de código:
+- Cómo utilizar la librería Transformer Reinforcement Learning (TRL)
+- Configuración del entrenamiento con GRPO
+
+### 4️⃣ Caso de uso práctico para alinear un modelo
+Veremos un caso de uso práctico para alinear un modelo usando Open R1:
+- Cómo entrenar un modelo usando GRPO en TRL
+- Comparte tu modelo en el [Hugging Face Hub](https://huggingface.co/models)
+
+## Requisitos previos
+
+Para aprovechar al máximo este capítulo, es útil contar con:
+- Conocimientos sólidos de programación en Python
+- Familiaridad con los conceptos de aprendizaje automático
+- Interés en la IA y los modelos de lenguaje
+
+No te preocupes si te falta alguno de estos: ¡iremos explicando los conceptos clave a medida que avancemos! 🚀
+
+> [!TIP]
+> Si no cuentas con todos los requisitos previos, consulta este [curso](/course/chapter1/1) desde las unidades 1 a 11.
+
+## Cómo utilizar este capítulo
+
+1. **Lee secuencialmente**: Las secciones se complementan entre sí, por lo que es mejor leerlas en orden
+2. **Comparte notas**: Anota los conceptos clave y las preguntas, y debátelos con la comunidad en [Discord](https://discord.gg/UrrTSsSyjb)
+3. **Prueba el código**: Cuando lleguemos a los ejemplos prácticos, pruébalos tú mismo
+4. **Únete a la comunidad**: Utiliza los recursos que proporcionamos para conectarte con otros estudiantes
+
+¡Comencemos nuestra exploración de Open R1 y descubramos cómo puedes formar parte del objetivo de hacer que la IA sea más accesible para todos! 🚀