ajoute le stock chaud, la correction automatique et les nouveaux essais de création de stack
Stock de stacks prêtes par lab dans Redis (prise atomique en Lua, ménage par comparaison avec Heat, disjoncteur), files gérées par Horizon, séances planifiables. Correcteur Go sur l'hyperviseur : socket Unix, commandes lues dans le lab.yaml uniquement, exécution par l'agent invité QEMU. Une création de stack ratée est supprimée et réessayée deux fois, puis la session passe en échec, visible du prof. Corrige aussi trois défauts des étapes précédentes : la console se coupait à la première frappe d'un navigateur (trames texte), l'élève ne pouvait pas rejoindre une séance, la déconnexion n'avait pas de jeton CSRF. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
parent
ca2f6f3b7a
commit
80b6c0722d
71 changed files with 2959 additions and 170 deletions
|
|
@ -4,7 +4,7 @@ namespace App\Jobs;
|
|||
|
||||
use App\Models\LabSession;
|
||||
use App\Services\Labs\DefinitionLab;
|
||||
use App\Services\OpenStack\GenerateurTemplateHeat;
|
||||
use App\Services\OpenStack\FabriqueStack;
|
||||
use App\Services\OpenStack\HeatClient;
|
||||
use Illuminate\Bus\Queueable;
|
||||
use Illuminate\Contracts\Queue\ShouldQueue;
|
||||
|
|
@ -12,70 +12,86 @@ use Illuminate\Foundation\Bus\Dispatchable;
|
|||
use Illuminate\Queue\InteractsWithQueue;
|
||||
use Illuminate\Queue\SerializesModels;
|
||||
use Illuminate\Support\Facades\Log;
|
||||
use Illuminate\Support\Str;
|
||||
use Throwable;
|
||||
|
||||
/**
|
||||
* Lance la stack Heat d'un lab pour un élève admis (étape 10). Dispatché par
|
||||
* SeanceController::admettre — « admettre » un élève, c'est lancer son lab.
|
||||
* Construit la stack d'un élève admis quand le stock chaud du lab est vide
|
||||
* (chemin lent : 20 à 40 s). Un essai raté supprime sa stack et lève une
|
||||
* exception : Laravel relance le job (2 nouveaux essais, après 15 puis 45 s).
|
||||
* Après le 3ᵉ échec, failed() passe la session en « echec », visible du prof.
|
||||
*/
|
||||
class CreerStackLab implements ShouldQueue
|
||||
{
|
||||
use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;
|
||||
|
||||
public int $tries = 1;
|
||||
public int $tries = 3;
|
||||
|
||||
public function __construct(private readonly LabSession $labSession) {}
|
||||
/** @var array<int, int> */
|
||||
public array $backoff = [15, 45];
|
||||
|
||||
public function handle(GenerateurTemplateHeat $generateur, HeatClient $heat): void
|
||||
// Doit rester sous le timeout du superviseur Horizon (300 s), lui-même
|
||||
// sous retry_after (330 s, voir .env) : sinon un job encore en cours
|
||||
// serait redonné à un autre processus.
|
||||
public int $timeout = 280;
|
||||
|
||||
public function __construct(private readonly LabSession $labSession)
|
||||
{
|
||||
$lab = DefinitionLab::depuis($this->labSession->lab->identifiant);
|
||||
$nomStack = "lab-session-{$this->labSession->id}";
|
||||
$this->onQueue('sessions');
|
||||
}
|
||||
|
||||
['template' => $template] = $generateur->genererDepuis($lab, $nomStack);
|
||||
public function handle(FabriqueStack $fabrique, HeatClient $heat): void
|
||||
{
|
||||
$session = $this->labSession->fresh();
|
||||
|
||||
$stack = $heat->creerStack($nomStack, $template);
|
||||
// Expirée ou relancée autrement entre-temps : plus rien à construire.
|
||||
if ($session === null || $session->etat !== LabSession::ADMIS) {
|
||||
return;
|
||||
}
|
||||
|
||||
$this->labSession->forceFill([
|
||||
'heat_stack_id' => $stack['id'],
|
||||
'heat_stack_name' => $nomStack,
|
||||
])->save();
|
||||
$base = "lab-session-{$session->id}";
|
||||
$fabrique->nettoyerEssais($base);
|
||||
|
||||
$etat = $this->attendreCompletion($heat, $nomStack, $stack['id']);
|
||||
$stack = $fabrique->fabriquer(
|
||||
DefinitionLab::depuis($session->lab->identifiant),
|
||||
"{$base}-e{$this->attempts()}",
|
||||
fn (string $nom, string $id) => $session->forceFill(['heat_stack_name' => $nom, 'heat_stack_id' => $id])->save(),
|
||||
);
|
||||
|
||||
if ($etat['statut'] !== 'CREATE_COMPLETE') {
|
||||
Log::error("CreerStackLab : la stack {$nomStack} n'a pas abouti", $etat);
|
||||
if ($session->fresh()->etat !== LabSession::ADMIS) {
|
||||
$heat->supprimerStack($stack['nom'], $stack['id']);
|
||||
|
||||
return;
|
||||
}
|
||||
|
||||
foreach ($lab->machines as $machine) {
|
||||
$cle = GenerateurTemplateHeat::cle($machine['nom']);
|
||||
$this->labSession->machines()->create([
|
||||
'nom' => $machine['nom'],
|
||||
'instance_id' => $etat['sorties']["{$cle}_id"],
|
||||
]);
|
||||
}
|
||||
|
||||
$this->labSession->forceFill(['etat' => LabSession::ACTIF])->save();
|
||||
$session->attribuerStack($stack);
|
||||
}
|
||||
|
||||
/**
|
||||
* Heat crée une stack de cette taille (réseaux + quelques VM) en
|
||||
* général en moins d'une minute : on attend jusqu'à 2 minutes.
|
||||
*
|
||||
* @return array{statut: string, raison: ?string, sorties: array<string, mixed>}
|
||||
*/
|
||||
private function attendreCompletion(HeatClient $heat, string $nom, string $id): array
|
||||
public function failed(?Throwable $exception): void
|
||||
{
|
||||
for ($tentative = 0; $tentative < 60; $tentative++) {
|
||||
$etat = $heat->etatStack($nom, $id);
|
||||
$session = $this->labSession->fresh();
|
||||
|
||||
if (! str_ends_with($etat['statut'], '_IN_PROGRESS')) {
|
||||
return $etat;
|
||||
}
|
||||
|
||||
sleep(2);
|
||||
if ($session === null) {
|
||||
return;
|
||||
}
|
||||
|
||||
return $etat;
|
||||
$session->forceFill([
|
||||
'etat' => LabSession::ECHEC,
|
||||
'raison_echec' => Str::limit($exception?->getMessage() ?? 'raison inconnue', 250),
|
||||
'heat_stack_name' => null,
|
||||
'heat_stack_id' => null,
|
||||
])->save();
|
||||
|
||||
Log::error("CreerStackLab : session {$session->id} en échec après {$this->tries} essais", [
|
||||
'raison' => $exception?->getMessage(),
|
||||
]);
|
||||
|
||||
// Le dernier essai a normalement supprimé sa stack ; pas si son
|
||||
// processus a été tué (timeout) : on repasse derrière.
|
||||
try {
|
||||
app(FabriqueStack::class)->nettoyerEssais("lab-session-{$session->id}");
|
||||
} catch (Throwable $e) {
|
||||
Log::error("CreerStackLab : nettoyage impossible pour la session {$session->id}", ['raison' => $e->getMessage()]);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue