Австрийската национална библиотека води своето начало от средновековната императорска библиотека. Херцог Албрехт III (1349 -1395) започнал да събира книги, освен това организирал и преводите на много произведения от латински на немски език. Всичко това той съхранявал в параклиса на на Хофбург. Император Фридрих III (1415—1493) допълнил колекцията с няколко ценни книги. След него голям принос за развитието на библиотеката имал император Максимилиан I (1459—1519), придобивайки наследените от първата му съпруга книги от Бургундия. Втората му съпруга Бянка Мария Сфорца като застра довела със себе си книги от Италия.
От 1624 г. по нареждане на Фердинанд II държавната хазна започнала редовно да отделя средства за разширявнето на библиотеката.
През 1722 г. Карл VI заповядал да се построи отделна сграда в двореца "Хофбург" за императорската библиотека. Колекцията продължавала да се разширява — принц Евгени Савойски организирал събиране на средства, благодарение на които били купени около 15 хил. тома във Франция и Италия. По това време била организирана и картотека.
След провъзгласяването на Австрийската Република през 1920 г. библиотеката била переименувана в Австрийска национална библиотека.
