Η Βιβλιοθήκη χρονολογείται από το 1840, και αποτελεί απόρροια της δωρεάς του «Κων/νου-Αγαθόφρωνα Νικολόπουλου». Τότε τα βιβλία του Κ.-Α. Νικολόπουλου, τοποθετημένα σε 47 κιβώτια, εγκατέλειψαν τον 6ο όροφο της οδού Καστιλιόν 12 στο Παρίσι, και παραδόθηκαν στο Δήμαρχο Ανδρίτσαινας Κωνσταντίνο Ζαριφόπουλο και το μετέπειτα Υπουργό Παιδείας, Χαράλαμπο Χριστόπουλο, επίσης Ανδριτσάνο. Μεταφέρθηκαν με πλοίο στο Ναύπλιο και από εκεί με ζώα στην Ανδρίτσαινα, πρωτεύουσα της ορεινής Ολυμπίας. Για 39 χρόνια τα βιβλία έμειναν αποθηκευμένα στη μικρή εκκλησία της Αγίας Βαρβάρας.
Το 1875 άρχισε η ανέγερση του Διδακτηρίου της Ανδρίτσαινας στο προσφερθέν από το Νικόλη Μπαμπαδήμο οικόπεδο, με σχέδια του Μιλτιάδη Κανελλόπουλου – Μηχανικού και Καθηγητού της Σχολής Ευελπίδων – σε σχήμα Π και ανοιχτή την Β.Α. πλευρά του. Τα χρήματα προήλθαν από πανελλήνιο έρανο και από τη δωρεά του Άγγελου Γιαννικέση, Πρόξενου της Ελλάδας στην Τεργέστη. Τα εγκαίνια του κτηρίου έγιναν στο 1879 και η Βιβλιοθήκη στεγάστηκε στη Δυτική πλευρά του 1ου ορόφου.
Το 1932 χτίστηκε (προστέθηκε) η Β.Α. πτέρυγα και το κτήριο πήρε το σημερινό του σχήμα. Σε αυτήν την πτέρυγα στεγάστηκε η Βιβλιοθήκη, αποτελώντας σαν σύνολο Εκπαιδευτικό Κέντρο της μείζονος περιοχής για 150 χρόνια.
Από το 1998 η Βιβλιοθήκη στεγάζεται σε ένα νεοκλασικό κτήριο, δίπλα στο Ιστορικό Γυμνάσιο της Ανδρίτσαινας.
