Récréations Markoviennes

Le jeu de 421

On désire écrire un programme qui apprend à jouer au jeu de dés connu sous le nom de 421.
On rappelle les règles du jeu : le 421 se joue à 2 avec 3 dés (standards : cubiques, avec un numéro compris entre 1 et 6 sur chacune des face). Le premier joueur lance les 3 dés. Puis, en fonction du résultat de ce lancer, en relance 0, 1, 2 ou 3, puis, une dernière fois, en relance 0, 1, 2, ou 3 (3 lancers au total au maximum) ; c'est le joueur qui décide s'il veut relancer les dés et lesquels il relance. Ensuite, le second joueur effectue la même procédure.
Pour chaque joueur, l'objectif est d'obtenir une combinaison qui soit plus forte que celle de son adversaire ; donc, le premier joueur joue et obtient une certaine combinaison ; le second joueur joue à son tour et obtient une certaine combinaison ; on compare les deux combinaisons et on détermine ainsi celui qui a gagné la manche ; on recommence.
Les combinaisons de dés sont comparées de manière tout à fait simple : celui qui a obtenu le dé le plus fort gagne ; par exemple : 6-3-1 et meilleur que 5-4-2 car 6 est supérieur à 5 ; un autre exemple : 5-4-2 est supérieur à 5-4-1 ; ... Si les deux joueurs ont obtenu la même combinaison, la manche est nulle.
Pour corser un peu le jeu, certaines combinaisons sont remarquables. Ce sont, par ordre décroissant de valeur :

Ainsi, celui qui réalise 4-2-1 gagne à tous les coups, sauf si son adversaire fait lui aussi 4-2-1, auquel cas la manche est nulle.

  1. formulez le jeu du 421 comme un problème de décision de Markov
  2. essayez de le résoudre.

Le blackjack

On considère une variante du jeu de Blackjack (= 21) joué à deux joueurs. On en donne les règles ci-dessous :

  1. formulez le jeu de Blackjack comme un problème de décision de Markov
  2. essayez de le résoudre.

Autres

Réflêchir de la même manière à ces problèmes :