L’istituto scolastico rimase attivo fino ai primi mesi del 1940 e trasferito poi nel centro del paese. Il 28 giugno di quello stesso anno, poco dopo l’entrata in guerra dell’Italia fascista, la Casa Rossa fu trasformata in un campo di internati per ebrei. Il campo rimase in funzione per oltre tre anni, fino al 6 settembre 1943. Durante questo periodo nella Casa Rossa di Alberobello furono internati circa duecento ebrei, per la grande parte professionisti o intellettuali, italiani, ma anche inglesi, tedeschi, polacchi, jugoslavi e apolidi.
Nel ‘46 la Casa Rossa diventò colonia di confino politico per ex fascisti, nel 47 divenne prima centro di accoglienza per donne senza dimora, poi, da settembre, centro di raccolta per profughi stranieri.