Il riscaldamento, ventilazione, e i sistemi di condizionamento dell'aria, chiamati sistemi HVAC, possono essere un delicato equilibrio. Ci sono molti fattori da considerare, dal flusso d'aria tra le stanze all'effetto del calore del corpo umano. Nell'ultimo decennio, i ricercatori si sono rivolti all'apprendimento automatico per ottimizzare questi sistemi. Con controller più intelligenti, gli edifici possono risparmiare energia senza rinunciare al comfort.

Attualmente ci sono due approcci principali al problema. Nel primo approccio, il controllore utilizza un modello dettagliato dell'edificio per gestire i suoi sistemi. Però, il modello richiede un grande sforzo per creare. "Un ottimo modello di edificio è difficile da realizzare, difficile da mantenere, e non scala, "dice Mario Bergés, professore di ingegneria civile e ambientale. "Gli edifici non sono tutti uguali, quindi devi creare un modello per ogni edificio."

L'altro approccio prevede la generazione di grandi quantità di dati, che consente al controller di adattarsi a diversi sistemi di costruzione. In questo caso, l'ostacolo principale è quanto tempo ci vuole. "Avresti bisogno di circa 40 anni di dati di simulazione per un edificio relativamente complesso, " dice Bergés. "Nel mondo reale, non puoi passare 40 anni a cercare di capire come controllare un edificio".

Per affrontare queste sfide, Bergés ha lavorato con Ph.D. studente Bingqing Chen e un collaboratore Dell. Hanno sviluppato una nuova soluzione, Gnu-RL, che incorpora il meglio di entrambi gli approcci.

Primo, Gnu-RL completa il preaddestramento offline utilizzando i dati storici. I sistemi HVAC hanno già i controlli, così Gnu-RL impara a copiarli. In questo modo, evita le complicazioni di modelli precisi e grandi quantità di dati. "Ha bisogno solo di dati storici, di cui abbiamo già molto, " dice Chen.

Una volta completata la formazione preliminare, Gnu-RL può imitare in modo affidabile il controller precedente. Prossimo, viene insegnato ad adattarsi e diventare migliore. Bergés e Chen hanno applicato una politica di controllo predittivo del modello differenziabile (MPC) recentemente sviluppata. Questa politica premia l'agente per massimizzare la ricompensa e ridurre al minimo i costi, e l'agente si adegua di conseguenza fino a raggiungere i controlli ottimali per il sistema HVAC. Questo metodo è chiamato apprendimento per rinforzo, motivo per cui la soluzione ha RL alla fine del nome.

La prima parte del nome, d'altra parte, proviene da una fonte più non convenzionale. Uno gnu è un grande, antilope scura dall'Africa. Questi animali sono incredibilmente precoci, il che significa che sono nati in uno stato relativamente avanzato. "Possono scappare dai predatori lo stesso giorno in cui sono nati, " Dice Chen. "E Gnu-RL controlla abbastanza bene all'inizio." Questa somiglianza ha reso il nome una scelta naturale.

Bergés e Chen confermano questo confronto con due prove. Il primo test è stato eseguito con una simulazione del posto di lavoro intelligente al vertice di Margaret Morrison. "Abbiamo avuto un miglioramento da 40 anni a quattro settimane in termini di tempo di allenamento, " dice Bergés. "E abbiamo anche mostrato un miglioramento del 6% circa nel risparmio energetico senza sacrificare il comfort".

Bergés e Chen furono così incoraggiati dai risultati della simulazione che decisero di applicare Gnu-RL a un ambiente reale. Per tre settimane, hanno permesso a Gnu-RL di controllare il flusso d'aria di una sala conferenze nel Gates Center. I risultati di questo test sono stati ugualmente promettenti. "Ha imparato a imitare il controller esistente, " dice Bergés. "Allora, in aggiunta a ciò, ha imparato a preraffreddare lo spazio e fornire comfort prima che le persone arrivassero, che è qualcosa che il controller esistente non stava facendo."

Però, mentre il loro lavoro è entusiasmante, Bergés e Chen vogliono riconoscere il lavoro dei ricercatori che li hanno preceduti. "Il nostro contributo è un'applicazione, quindi stiamo costruendo sul lavoro degli altri, " Dice Chen. In particolare, Gnu-RL ha adottato la politica MPC differenziabile sviluppata da Brandon Amos e Zico Kolter. Questa politica ha permesso a Gnu-RL di essere sia efficiente che flessibile.

Bergés e Chen hanno presentato il loro paper su Gnu-RL al 6 ^ns ACM International Conference on Systems for Energy-Efficient Buildings, Città, e trasporti (BuildSys 2019). La conferenza si è svolta a New York City il 13 e 14 novembre.

Guardando al futuro, Bergés e Chen credono che ci sia ancora spazio per far crescere Gnu-RL. "Abbiamo esaminato scenari relativamente semplici, " dice Bergés. "Potrebbero esserci complicazioni mentre cerchiamo di controllare edifici molto più complessi, quindi è ancora una domanda aperta. Ma almeno lo stiamo puntando in una direzione nuova e che potrebbe stimolare molte ricerche su come affrontare questo problema".