Iteración de valores

La iteración de valores resuelve un proceso de decisión de Markov: encuentra V(s), la mejor recompensa total descontada que se puede obtener empezando en el estado s.

Aquí las transiciones son deterministas. En el estado s, la acción a da la recompensa rewards[s][a] y lleva al estado next_states[s][a], donde -1 significa que el episodio termina. Empieza con V(s) = 0 para cada estado y repite iterations veces, calculando cada valor nuevo a partir del barrido anterior:

V_new(s) = máximo sobre a de ( rewards[s][a] + gamma × V(next_states[s][a]) )

donde el término gamma × V es 0 cuando el siguiente estado es -1.

Implementa value_iteration(next_states, rewards, gamma, iterations).

Entrada

next_states: Para cada estado, el siguiente estado de cada una de sus acciones (-1 termina el episodio). Los estados pueden tener distinto número de acciones.

rewards: La recompensa de cada acción, con la misma forma que next_states.

gamma: El factor de descuento.

iterations: El número de barridos.

Salida

Devuelve V tras el último barrido, un valor por estado.

Restricciones

1 ≤ estados ≤ 200, 1 ≤ acciones por estado ≤ 10, 0 ≤ iterations ≤ 1.000

-100 ≤ cada recompensa ≤ 100, 0 ≤ gamma ≤ 1

Ejemplos

Ejemplo 1

Entrada:
next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

Salida esperada:
[8.1, 9.0, 10.0]

Explicación

Barrido 1: solo el estado 2 puede obtener una recompensa, V = [0, 0, 10]. Barrido 2: el estado 1 va a la derecha hasta él, 0.9 × 10 = 9, V = [0, 9, 10]. Barrido 3: el estado 0 obtiene 0.9 × 9 = 8.1. Resultado: [8.1, 9, 10].

Ejemplo 2

Entrada:
next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

Salida esperada:
[2.0, 3.0]

Explicación

Con gamma = 0 el futuro no cuenta, así que el valor de cada estado es simplemente su mejor recompensa inmediata: [2, 3].

Referencias

Ejecuta las pruebas de ejemplo para verificar tu código sin enviarlo.

Ejemplo 1 Sin ejecutar

Entrada:

next_states = [
    [0, 1],
    [0, 2],
    [-1]
]
rewards = [
    [0.0, 0.0],
    [0.0, 0.0],
    [10.0]
]
gamma = 0.9
iterations = 3

Salida esperada:

[8.1, 9.0, 10.0]

Tu salida

Ejemplo 2 Sin ejecutar

Entrada:

next_states = [
    [1, 0],
    [0, 1]
]
rewards = [
    [1.0, 2.0],
    [3.0, 0.0]
]
gamma = 0.0
iterations = 5

Salida esperada:

[2.0, 3.0]

Tu salida

4 pruebas ocultas también se ejecutan al enviar. Si tu código falla alguna, verás esa prueba. Resuelve el reto para verlas todas.

Online Java Compiler

Write, compile, run, and debug Java code online in a full-featured browser IDE. Work with multiple files, save your workspace, and share or collaborate in real time - no setup required.

Versión

Bibliotecas preinstaladas

🚀 260,408 ejecuciones totales (5,854 este mes)

Salida

Practica Java con desafíos de código

Resuelve problemas prácticos en este editor: ejecuta las pruebas de ejemplo, envía tu solución y recibe una revisión de código por IA.

Todos los desafíos de Java

Fácil

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

Aprenderás AritméticaValores de retorno

BeginnerLearning-pathVariables

Ver soluciones (12)

Fácil

Distance Between Points

Compute the straight-line distance between two points.

Aprenderás Teorema de PitágorasRaíces cuadradas

BeginnerFunctionsLearning-pathmath

Ver soluciones (7)

Fácil

Days in a Month

Return how many days a month has, including leap years.

Aprenderás Reglas del calendarioFunciones auxiliares

BeginnerConditionsFunctionsLearning-path

Ver soluciones (6)

Fácil

Average of Three

Average three whole numbers.

Aprenderás AritméticaDivisión

BeginnerLearning-pathVariables

Ver soluciones (6)

Fácil

Producto escalar de dos vectores

Multiplica dos vectores elemento a elemento y suma los resultados, la operación central de toda neurona.

Aprenderás VectoresProducto escalar

Redes neuronalesaiaprendizaje automático

Ver soluciones (4)

Fácil

El mayor de tres

Elige el mayor de tres números sin usar una función máxima incorporada.

Aprenderás ComparacionesCombinar condiciones

BeginnerConditionsLearning-path

Ver soluciones (4)

Fácil

Verificación de número primo

Determina si un número es primo.

Aprenderás DivisibilidadOptimizar bucles

BeginnerLoopsNumbersStudent-beginner

Ver soluciones (3)

Fácil

Number Triangle

Build a triangle of increasing numbers.

Aprenderás Filas crecientesContador entre filas

BeginnerLearning-pathNested-loopsPatterns

Ver soluciones (3)

Fácil

Número de Armstrong

Verifica si un número es igual a la suma de sus dígitos elevados a la cantidad de dígitos.

Aprenderás Extraer dígitosPotencias

BeginnerNumbersStudent-beginner

Ver soluciones (3)

Fácil

Row Sums

Add up every row of a grid.

Aprenderás Listas 2DBucles anidados

BeginnerGridsLearning-path

Ver soluciones (3)

Fácil

Min and Max Together

Find the smallest and largest value in one pass.

Aprenderás Una sola pasadaVarios valores de retorno

ArraysBeginnerFunctionsLearning-path

Ver soluciones (3)

Fácil

Contar pares con una suma

Cuenta los pares de posiciones cuyos valores suman un objetivo dado.

Aprenderás Pares de índicesEvitar contar dos veces

ArraysBeginnerLearning-pathNested-loops

Ver soluciones (3)

☕ Acerca de este ejecutor de Java en línea

El Ejecutor de Java de CodeUtility te permite escribir y ejecutar programas Java directamente en tu navegador - sin instalación, configuración de JDK ni IDE. Funciona con un sandbox seguro que admite versiones reales del runtime de Java 8, 11, 17, 21 y la más reciente.

Esta herramienta compila y ejecuta código Java en la nube usando un compilador javac real y un entorno de ejecución de Java, para que puedas probar clases, métodos y lógica exactamente como se comportarían de forma local.

Ya sea que estés practicando programación orientada a objetos, preparándote para entrevistas o probando fragmentos antes de la integración, el Ejecutor de Java de CodeUtility ofrece un entorno rápido y confiable para ejecutar código Java real al instante desde cualquier dispositivo.

Más que un ejecutor de código

Utiliza un editor de varios archivos, un terminal de ejecución aislado, bibliotecas específicas del entorno, espacios de trabajo persistentes, opciones para compartir y colaboración en tiempo real desde el mismo ejecutor.

¿Cómo se utiliza este ejecutor?

Elige un entorno de ejecución, abre o crea un archivo, escribe el código y selecciona Ejecutar. El resultado aparece en el terminal; los usuarios que han iniciado sesión pueden conservar archivos en un espacio de trabajo, instalar bibliotecas y colaborar mediante elementos compartidos.

Selecciona una versión y edita el archivo actual o abre otro archivo del espacio de trabajo.
Ejecuta el código, introduce datos en el terminal cuando se soliciten y revisa el historial de ejecuciones guardado.
Utiliza bibliotecas, herramientas del espacio de trabajo, opciones para compartir y el chat cuando la tarea requiera más de un fragmento.

Empezar a codificar

VersiónSeleccione un tiempo de ejecución antes de ejecutar.Las bibliotecas instaladas pertenecen a la versión del idioma seleccionado.
Archivos abiertos enumera archivos de texto no abiertos.Seleccione uno para abrirlo en una pestaña del editor disponible.
Ejecutar ejecuta el archivo activo con su espacio de trabajo disponible para el programa.
Stop finaliza la ejecución actual antes de su límite de tiempo.
El modo avanzado abre el diseño IDE con un explorador de archivos y un terminal móvil de tamaño variable.

Espacio de trabajo y bibliotecas

Nuevo archivo crea un archivo en el directorio principal seleccionado y lo abre en el editor.
La nueva carpeta crea un directorio, hasta la profundidad de anidamiento admitida.
Cargar archivos agrega uno o más archivos seguros a un directorio.
La descarga guarda un archivo o un directorio comprimido en su dispositivo.
Copiar duplica un archivo o directorio de espacio de trabajo.
Cambiar nombre cambia el nombre de un archivo y actualiza su pestaña abierta y su historial.
Mover reubica un elemento;También se pueden arrastrar archivos y directorios.
Eliminar elimina un elemento después de la confirmación y cierra la pestaña abierta del editor.
Las bibliotecas preinstaladas muestran los paquetes que ya están incluidos en este tiempo de ejecución.
Add Lib instala un paquete privado para su cuenta y el tiempo de ejecución seleccionado.

Terminal y asistencia

El historial de ejecución abre las salidas guardadas anteriores y siguientes.
Copiar salida copia el texto del terminal actual.
Borrar salida elimina todas las salidas de ejecución guardadas después de la confirmación.
Explicar resume el código activo.
Recientes abre explicaciones y resultados recientes.
La configuración cambia las fuentes, los temas y los botones visibles de la barra de herramientas.

Compartir y colaborar

Share publica el archivo actual, un directorio o todo el espacio de trabajo como una instantánea o un espacio de trabajo en vivo.Usted controla el acceso a los enlaces y quién puede guardar los cambios.
Registra las acciones guardadas de los colaboradores en un espacio de trabajo compartido.
Compartir chat permite a los participantes que han iniciado sesión enviar mensajes, mencionar personas, compartir bloques de código y ver miembros en línea o escribiendo.
La colaboración en vivo muestra los cursores de los colaboradores y las actualizaciones de archivos guardados.Los usuarios de solo lectura pueden cargar la última versión o mantener ediciones temporales.

Cuotas y límites

El tiempo de ejecución está limitado a 20 segundos por ejecución del servidor.Utilice Detener cuando desee finalizarlo antes.
El almacenamiento del espacio de trabajo permite 100 archivos, 100 directorios y 10 MiB en total para cada espacio de trabajo e idioma de usuario que haya iniciado sesión.
Los archivos y carpetas están limitados a 1 MiB por archivo y 5 niveles de directorio anidados.Los archivos generados por su código siguen la misma cuota.
Las bibliotecas privadas están limitadas a 10 paquetes instalados para cada cuenta y tiempo de ejecución.
Las instantáneas compartidas pueden contener hasta 100 archivos, 1 MiB por archivo y 2 MiB en total.
Las invitaciones para compartir admiten hasta 25 personas por acción, con permisos de acceso y guardado administrados por separado.
El chat compartido permite 2000 caracteres por mensaje y 10 000 mensajes por compartir.
La aplicación de cuotas también se aplica mientras se ejecuta el código.Una escritura que exceda los límites de recuento, tamaño, almacenamiento o anidamiento de archivos se rechaza de forma segura.

Es bueno saberlo Sólo ejecute código e instale paquetes en los que confíe.La ejecución es aislada y limitada, pero su programa aún puede modificar archivos dentro de un espacio de trabajo de escritura hasta su cuota impuesta.

💡 Conceptos básicos de Java y ejemplos que puedes probar arriba

1. Declaración de variables y constantes

Java requiere que declares el tipo de cada variable. Usa final para constantes.

int age = 30;
double pi = 3.14159;
char grade = 'A';
String name = "Alice";
boolean isActive = true;

// Constantes
final int MAX_USERS = 100;
final String COMPANY = "CodeUtility";

2. Condicionales (if / switch)

Usa if, else if y switch para el control de flujo.

int x = 2;
if (x == 1) {
    System.out.println("Uno");
} else if (x == 2) {
    System.out.println("Dos");
} else {
    System.out.println("Otro");
}

switch (x) {
    case 1:
        System.out.println("Uno");
        break;
    case 2:
        System.out.println("Dos");
        break;
    default:
        System.out.println("Otro");
}

3. Bucles

Usa for, while y do-while para iterar.

for (int i = 0; i < 3; i++) {
    System.out.println(i);
}

int n = 3;
while (n > 0) {
    System.out.println(n);
    n--;
}

4. Arreglos

Los arreglos almacenan secuencias de tamaño fijo del mismo tipo.

int[] numbers = {10, 20, 30};
System.out.println(numbers[1]);

5. Manipulación de ArrayList

Usa ArrayList para listas de tamaño dinámico.

import java.util.ArrayList;

ArrayList<Integer> nums = new ArrayList<>();
nums.add(1);
nums.add(2);
nums.add(3);
nums.remove(Integer.valueOf(2));

for (int num : nums) {
    System.out.print(num + " ");
}

6. Entrada/salida por consola

Usa Scanner para la entrada y System.out para la salida.

import java.util.Scanner;

Scanner scanner = new Scanner(System.in);
System.out.print("Escribe tu nombre: ");
String name = scanner.nextLine();
System.out.println("Hola, " + name);

7. Funciones

Define métodos con tipos de retorno y parámetros.

public static int add(int a, int b) {
    return a + b;
}

System.out.println(add(3, 4));

8. HashMap

Usa HashMap para almacenar pares clave-valor.

import java.util.HashMap;

HashMap<String, Integer> ages = new HashMap<>();
ages.put("Alice", 30);
System.out.println(ages.get("Alice"));

9. Manejo de excepciones

Usa try y catch para manejar excepciones en tiempo de ejecución.

try {
    throw new Exception("Algo salió mal");
} catch (Exception e) {
    System.out.println(e.getMessage());
}

10. Entrada/salida de archivos

Usa Files y Paths de java.nio.file para manejar archivos.

import java.nio.file.*;
import java.io.IOException;

Files.writeString(Paths.get("file.txt"), "Hola archivo");
String content = Files.readString(Paths.get("file.txt"));
System.out.println(content);

11. Manipulación de cadenas

Las cadenas en Java admiten muchos métodos como length(), substring() y contains().

String text = "Hola Mundo";
System.out.println(text.length());
System.out.println(text.substring(0, 5));
System.out.println(text.contains("Mundo"));

12. Clases y objetos

Java admite programación orientada a objetos usando clases e instancias.

class Person {
    String name;
    Person(String name) {
        this.name = name;
    }
    void greet() {
        System.out.println("Hola, soy " + name);
    }
}

Person p = new Person("Alice");
p.greet();