Nach dem Studium der Klassischen und Deutschen Philosophie schlug Fritz Milkau die Laufbahn eines wissenschaftlichen Bibliothekars ein. Seine Ausbildung erhielt er an den Universitätsbibliotheken in Königsberg, Berlin und Bonn. Nach einer vorübergehenden Tätigkeit im Preußischen Kultusministerium leitete er von 1902 bis 1907 die Universitätsbibliothek in Greifswald und anschließend bis 1921 die Bibliothek in Breslau. Im Jahre 1921 wurde er als Nachfolger von Adolf von Harnack als Generaldirektor an die Preußische Staatsbibliothek in Berlin berufen, wo er bis 1925 wirkte. Nach seiner Pensionierung wurde er zum Honorarprofessor für Bibliothekswissenschaft an der Berliner Universität ernannt. Auf sein Betreiben hin erfolgte 1928 an dieser Universität die Gründung eines bibliothekswissenschaftlichen Instituts, das bis zu seinem Tod im Jahre 1934 bestand.
Mit dem Namen von Fritz Milkau sind neben seinen Leistungen für die von ihm geleiteten Bibliotheken solche verknüpft, die für das gesamte Bibliothekswesen Deutschlands von Bedeutung waren und z. T. noch heute sind. Hierzu gehören die Vorarbeiten für den Preußischen Gesamtkatalog, der etwa 2 Millionen Zettel über 1.600.000 Werke preußischer Bibliotheken umfaßte und später zum Deutschen Gesamtkatalog erweitert wurde. Von ihm erschienen in gedruckter Form nur die Buchstaben A und B (bis „Beethordnung“). Das Zettelmanuskript des Gesamtkataloges wurde im Zweiten Weltkrieg ausgelagert und ging verloren, so daß dieses großangelegte Vorhaben ein Torso geblieben ist. Um einheitliche Beschreibungen der Buchbestände und ein Ineinanderordnen der Katalogzettel zu ermöglichen, erarbeitete Milkau mit anderen Bibliothekaren Anweisungen, die als „Instruktionen für die alphabetischen Kataloge der preußischen Bibliotheken“ (1899, 2. Ausgabe 1909) in die Bibliotheksgeschichte eingegangen und erst in jüngster Zeit durch die RAK (Regeln für die Alphabetische Katalogisierung) abgelöst worden sind. Als Generaldirektor der Preußischen Staatsbibliothek setzte er sich dafür ein, daß der seit 1893 bestehende Leihverkehr zwischen den elf preußischen wissenschaftlichen Bibliotheken im Jahre 1924 auf die Gesamtheit der deutschen Bibliotheken ausgedehnt wurde. Ferner sind seine Bemühungen für die fachliche Ausbildung der wissenschaftlichen Bibliothekare zu nennen. Aus der Arbeit des Bibliothekswissenschaftlichen Instituts erwuchs der Plan zu einem Handbuch der Bibliothekswissenschaft, von dem zu Lebzeiten Milkaus noch zwei Bände erschienen. Nach den Worten von Wieland Schmidt ist das Handbuch „die Zusammenfassung bibliothekarischen Denkens während mehr als eines Jahrhunderts“. Nach 1945 hat es eine zweite Auflage erfahren und ist weiterhin ein Standardwerk der Bibliothekswissenschaft.
Werke (Auswahl): Verzeichnis der Bonner Universitäts-Schriften 1818-1885. 1897; Zentralkataloge und Titeldrucke. 1898; Die Königliche und Universitätsbibliothek Breslau. 1911.
Lit.: Fritz Milkau zum Gedächtnis. Ansprachen, Vorträge und Verzeichnis seiner Schriften. Hrsg.: Gustav Abb. Leipzig 1934; Staatsbibliothek Preußischer Kulturbesitz. Festgabe zur Eröffnung des Neubaus in Berlin. Hrsg.: Ekkehart Vesper. 1978.
