Er kam in Stuttgart zu Welt und studierte Architektur am hiesigen Polytechnikum (später Technische Hochschule) beim großen Christian Friedrich Leins (1814–1892), dem Meister des Königsbaus und der Johanneskirche. Paul Wallot (1841–1912), Erbauer des Berliner Reichstags (1894), holte ihn zu sich, auf dass er dort an den monumentalen figurativen Details mitarbeite. Von 1897 bis 1906 wirkte er dann an der Stuttgarter Technischen Hochschule. Zuvor allerdings hatte er sein erstes Opus magnum realisiert, fast noch ein Jugendwerk, bis heute aber wohl seine bekannteste Arbeit: den Wasserturm in Mannheim (1886/87).

Eine erstaunliche Stadtdominante für einen 24-Jährigen, aber auch ein Beweis dafür, dass die Mannheimer Stadtväter der ehemaligen kurfürstlichen Residenz ein Gesicht à la mode geben wollten. Mit einem Zwischenschritt von Stuttgart nach Köln, wo er von 1906 bis 1909 an der eben gegründeten Kunstgewerbeschule unterrichtete, wurde er hernach Lehrer an der Technischen Hochschule Hannover, seinem eigentlichen Schaffensort: Das dortige, gewaltige und verbaute Rathaus rettete Halmhuber mit leichter Hand, „feiner Raumabstimmung“ (Thieme-Becker) und innerer Ausschmückung etwa durch Arbeiten des Malers Karl Hofer. Unter Halmhubers Regie wurde es zum Wahrzeichen der Stadt – und ist es bis heute. Der Name Halmhuber ist in seiner Heimatstadt Stuttgart auch durch seinen Bruder Heinrich (1852–1908) erhalten, der ebenfalls Architekt war, aber eher im inneren, ausschmückenden Fach, und dazu Bildhauer. Er hat u.a. den Banksockel des Nachtwächterbrunnens gegenüber der Leonhardskirche entworfen. (Denkmalstimme_2_2018)