Οι συνέπειες των Βαλκανικών Πόλεμων (1912- 1913) και της μικρασιατική Καταστροφή επηρεάζουν και την πόλη του Ρεθύμνου. Πρόσφυγες, άπορες οικογένειες και δεκάδες ορφανά παιδιά. Η ανοικοδόμηση ορφανοτροφείου κρίνεται απαραίτητη. Χάρη στην πρωτοβουλία του τότε νομάρχη Ρεθύμνου Χ. Παπαδάκη ανεγείρεται ίδρυμα στη θέση του Τεκέ Μπεκτασίδων «Χασάν Μπαμπάς», ένα οθωμανικό μοναστήρι που είχε ιδρυθεί στα μέσα του 19ου αιώνα, το οποίο κατεδαφίζεται για το σκοπό αυτό. Σήμερα, στο κτίριο του ορφανοτροφείου αυτού στεγάζεται το Μουσικό Σχολείο Ρεθύμνου.