Cosa accade, dove sono le mail, quali indennizzi.
Il down più lungo della storia di internet continua e le segnalazioni di totale malfunzionamento da parte degli utenti non si arrestano e sono incessanti ovunque. Libero e Virgilio Mail non funzionano ormai da troppi giorni, nonostante le belle parole di ItaliaOnLine che continua a ripetere che server e data center sono stati correttamente ripristinati. Ciò non è vero è continuiamo a dimostrarlo qui e qui.
L'ultimo comunicato della società che gestisce i due storici provider nostrani prova ad illustrare le cause (la colpa è sempre di un esterno, vedi DAZN) di quanto accaduto a livello tecnico, che fine faranno le mail non ricevute, quali indennizzi possono attendersi gli utenti. Dettagli, domande e risposte più frequenti (più o meno utili). Eccolo a seguire:
Perché Libero e Virgilio Mail non funzionano
Con questa nuova comunicazione, desideriamo ancora una volta aggiornare i nostri utenti sull’evoluzione della situazione, nell’ottica della trasparenza, come impegno costante verso tutte le persone che ci hanno fatto crescere e che si affidano con fiducia ai nostri servizi mail da oltre 25 anni.
Ad oggi tutte le caselle di posta Libero Mail e Virgilio Mail sono accessibili via webmail (ovvero sui portali libero.it e virgilio.it). Stiamo gestendo il progressivo reintegro dei messaggi inviati ai nostri utenti nei giorni scorsi, che saranno recapitati progressivamente a seconda del comportamento dei provider di posta che hanno gestito il traffico delle e-mail negli ultimi giorni.
Per quanto riguarda l’accesso tramite Libero Mail App e Virgilio Mail App, questo è adesso pienamente disponibile per gli utenti Android, mentre non è ancora completo per gli utenti iOS, i quali possono comunque alternativamente accedere al servizio di posta elettronica tramite webmail, ovvero sui siti libero.it o virgilio.it.
Con l’apertura di tutte le webmail ai nostri utenti, si è fatto un passo avanti importante nel restituire accesso ai messaggi e ai dati. Sta proseguendo parallelamente il ritorno al completo funzionamento di tutte le funzionalità, anche considerato il carico di traffico accumulato. La nostra priorità è dal primo giorno quella di tutelare l’integrità dei dati dei nostri utenti.
Le risposte alle domande più frequenti degli utenti
Ho ricevuto un SMS “Libero/Virgilio” che mi chiede di confermare/riattivare la casella di posta
È un SMS di Phishing. Libero/Virgilio non stanno inviando alcun SMS agli utenti.
Non cliccare l’SMS e cancellalo!
Libero e Virgilio PEC funzionano?
Libero e Virgilio PEC funzionano da sempre regolarmente.
I messaggi di questi giorni arrivano nella mail? E li troverò quando avrò di nuovo pieno accesso alla mail?
Abbiamo lavorato in queste ore per tutelare l’integrità dei dati dei nostri utenti. Per le e-mail ricevute su Libero mail e Virgilio Mail durante il disservizio, abbiamo ricevuto e memorizzato le e-mail che venivano inviate agli indirizzi dei nostri clienti sino alla massima scadenza possibile, e stiamo tuttora provvedendo a recapitare i messaggi ricevuti ancora in “coda” nelle rispettive caselle di posta, mentre dopo di questa i nostri server hanno inviato un messaggio di mancato recapito al mittente, in modo simile a quanto accade a “casella piena”. Abbiamo inoltre interrotto il servizio SMTP dalle ore 16 del giorno 23 gennaio u.ss.
Per quanto riguarda la sorte delle e-mail dopo che il messaggio di mancata consegna è stato recapitato, la stessa dipende dal comportamento dei provider di posta che hanno gestito il traffico delle e-mail in entrata su Libero mail e Virgilio Mail una volta ricevuto il nostro messaggio di mancato recapito e gli scenari possono essere diversi a seconda delle configurazioni tecniche di ciascun provider (sul punto, si leggano le maggiori specifiche tecniche nella FAQ successiva); di norma e secondo le consuetudini, i provider dovrebbero tentare il re-invio in automatico in caso di problematiche (come ad esempio la casella piena) e anche i moderni sistemi automatizzati sono di norma programmati per tentare ri-invii. Tuttavia, non tutti i servizi di spedizione di posta seguono le medesime linee guida e procedure, e taluni potrebbero non implementare le best-practice più diffuse.
Potreste dare una spiegazione più tecnica e precisa su quali messaggi riceverò e quali invece non sarà possibile ricevere?
I protocolli di posta elettronica sono articolati e necessitano di concertazione – soprattutto in caso di malfunzionamenti – tra i server riceventi (in questo caso quelli di Italiaonline) e quelli emittenti.
Diversi sono gli scenari possibili, principalmente divisi in due periodi temporali: dall’inizio dell’incidente alle h.16.00 circa di Lunedì 23 Gennaio, e da questa data in poi.
Per le mail inviate verso utenti di Italiaonline tra l’inizio dell’incidente e circa le 16 del Lunedì 23, la massima parte di queste sono state accettate dai nostri server ed accodate in attesa di poter essere in grado di consegnarle alle rispettive caselle. Il tempo di attesa in questa coda, però, è soggetto a precisi limiti temporali, chiamati “timeout di attesa“, che abbiamo provveduto ad estendere quanto più possibile per essere in grado di minimizzare il disagio ai nostri clienti. In queste ore stiamo provvedendo a recapitare queste mail nelle rispettive caselle degli utenti o a spedire al mittente una mail di notifica di mancata consegna, in modo che nessuna di queste rimanga senza risposta.
La situazione è invece differente per le mail inviate verso utenti di Italiaonline dopo le h.16.00 di Lunedì 23 Gennaio: durante il riavvio e ripristino del servizio, infatti, l’invio delle mail potrebbe aver ricevuto tre differenti errori: mancata connessione, errore 550 o errore 452.
Una volta raggiunta la soglia critica di carico oltre il quale i nostri sistemi non erano in grado di accodare ulteriori mail, i messaggi sono stati direttamente rifiutati dai nostri server bloccando le connessioni esterne: per queste mail la mail di notifica mancata consegna è normalmente generata dal server di provenienza.
Le mail ricevute durante le operazioni di riavvio tra la sera del 25 Gennaio e le h.13.00 del 26 Gennaio, al tentativo di consegna hanno ricevuto la risposta 550 (“destinatario non valido”, “utente sconosciuto” o “dominio inesistente”): in questo caso, al nostro rifiuto, il server mittente dovrebbe aver generato una mail di notifica mancata consegna.
Le mail che si è tentato di consegnare dopo le h13:00 del 26/1 potrebbero aver ricevuto al tentativo di consegna la risposta 452 (“troppi destinatari” oppure “mailbox piena”) e sono invece rimaste nella coda ai server mittenti secondo i tempi massimi previsti, impostati dai relativi gestori. Per queste ultime, le possibilità sono le due seguenti: se prima della data di scadenza impostata dai gestori del server mittente sono riuscite a raggiungere i nostri server di posta, risulteranno consegnate, mentre, se dovessero superare tali tempistiche, saranno da quest’ultimo scartate ed una mail di notifica di mancata consegna dovrebbe giungere al mittente.
In ogni caso, salvo comportamenti non standard di server remoti dei mittenti, tutte le mail sono state o accettate dai nostri server (e saranno gradualmente consegnate durante le operazioni di ripristino della coda di consegna nelle prossime ore), oppure hanno generato una notifica di errore al server mittente.
Non ho potuto accedere alla posta dove ho documenti importanti e/o bancari, bollette o opportunità di lavoro che sto coltivando
Abbiamo lavorato in queste ore per tutelare l’integrità dei dati dei nostri utenti. Per i messaggi inviati da altri provider ricevuti su Libero mail e Virgilio Mail, gli scenari possono essere diversi a seconda delle configurazioni dei servizi di invio posta di ciascuno; di norma, in caso di problematiche (come ad esempio la casella piena), queste configurazioni dovrebbero consentire il re-invio, anche per i servizi automatici, quali quelli di invio di pagamenti o bollette o altri servizi informativi/di notifiche (cd servizi ”no reply”). Tuttavia, non tutti i servizi di spedizione di posta seguono le medesime linee guida e procedure, e taluni potrebbero non implementare le best-practice più diffuse.
Sarà pubblicato un incident report?
Ulteriori dettagli tecnici saranno forniti una volta risolto completamente il problema e completata l’analisi dell’incidente con l’ausilio del fornitore del sistema operativo che ha causato il disservizio.
Si tratta di un attacco hacker?
No, si è trattato di un bug del sistema operativo dello storage, sviluppato da un fornitore terzo, che ne ha compromesso il corretto funzionamento e di conseguenza il servizio e-mail. I dati sono sempre rimasti nella disponibilità di Italiaonline e conservati, per le funzionalità del servizio, sempre integri e in sicurezza; non c’è stato alcun accesso fraudolento di terzi.
Abbiamo problemi a inserire gli indirizzi di posta @libero.it o virgilio.it nelle nostre comunicazioni o newsletter!
Alcuni sistemi di posta elettronica potrebbero aver avuto problemi a consegnare e di conseguenza inibito anche l’inserimento degli indirizzi Libero.it e Virgilio.it in distribution list relative a servizi di invio su larga scala, quali newsletter. Con la normalizzazione dei servizi anche queste problematiche dovrebbero rientrare.
Potrò ritrovare le mail archiviate o pregresse?
La lettura dei dati sullo storage affetto dal disservizio, per la durata della problematica, non è stata possibile in quanto inaccessibile. Tuttavia, usando la APP, gli utenti hanno potuto vedere le proprie email con una determinata profondità storica (30 giorni): questo perché le stesse erano memorizzate non si nostri sistemi, ma sul proprio dispositivo in quella porzione di memoria che tecnicamente viene chiamata “cache”. Questo meccanismo ha il beneficio di consentire l’accesso rapido ai propri dati recenti sul telefono limitando l’uso della connessione di rete. Se si necessita di dati con profondità storica superiore il dispositivo deve invece accedere ai dati centrali, cosa che in questo periodo non è stata possibile. La Webmail non utilizza questi meccanismi di cache e legge direttamente tutto il contenuto dai dati centrali.
I dati sono sempre comunque rimasti nella disponibilità di Italiaonline e conservati, per le funzionalità del servizio, sempre integri e in sicurezza; saranno nuovamente disponibili non appena il disservizio rientrerà, e nelle ore seguenti saranno consegnate le mail ricevute dai nostri server ancora in coda.
Non avete testato il sistema? E perché non si è passati al vecchio storage per riaprire le caselle più in fretta?
In considerazione delle dimensioni della base dati (circa 4 PB), la grande quantità dei file e dell’elevata transazionalità del workload applicativo (in altre parole: l’enorme quantità di piccoli accessi e modifiche che vengono effettuati contemporaneamente), il sistema che è stato investito dal bug era stato oggetto negli scorsi mesi di prove intensive sia funzionali che di carico hanno preceduto la migrazione delle caselle mail dal vecchio al nuovo storage. Tali simulazioni sono avvenute col presidio di monitoraggio congiunto di Italiaonline e del vendor e messe in produzione solamente dopo la validazione funzionale del fornitore dell’applicativo. La migrazione ha avuto inizio l’ultima settimana di Novembre 2022 e al momento dell’incidente circa il 75% delle caselle risultano migrate con successo su nuovo storage senza che nel loro spostamento si sia mai verificato alcun tipo di problema.
Fermo restando che un report definitivo sull’incidente deve essere ancora prodotto dal vendor, il disservizio è stato causato dal raggiungimento di una soglia di allarme da parte di un parametro nascosto del sistema operativo dello storage, inaccessibile a Italiaonline. L’innalzamento del valore non sembra essere direttamente correlato ai volumi, alle modalità di migrazione, al carico o alla tipologia di workload e per questo motivo viene classificato dal vendor come bug e non poteva essere oggetto di test specifici o di simulazioni atte a verificarne il comportamento. Oltretutto il parametro in oggetto è noto solo al produttore e non è documentato. IOL non poteva dunque conoscerne la presenza ed il significato nel contesto delle operazioni sia di simulazione e test che in produzione, che non hanno mostrato anche sotto intensi carichi il medesimo comportamento.
Riaprire anche solo temporaneamente il servizio sul vecchio storage per tutte le caselle non era una soluzione percorribile perché gli utenti delle mail già migrate sul nuovo storage non avrebbero avuto la disponibilità delle mail ricevute a valle della data di migrazione della loro casella. Un ripristino delle caselle da backup non avrebbe dato il risultato atteso: il malfunzionamento del parametro ha reso indisponibile lo storage primario mentre una restore sul vecchio storage avrebbe comportato RTO (recovery time objective) elevati e ad un RPO (recovery point objective) non pari a zero, con conseguente rischio di perdita operazioni (in altre parole avrebbe richiesto più tempo per meri volumi di quello che è stato necessario per risolvere la problematica e avrebbe potuto comportare problemi di dati solo parzialmente presenti).
Prevedete un indennizzo?
Una volta chiuso l’incidente, saranno analizzate casistiche e modalità di indennizzo per il disservizio e i disagi subiti.
Continueremo a tenervi aggiornati sulle pagine del nostro sito anche nelle prossime ore e nei prossimi giorni.
