Карлис Миленбахс родился в семье лесника в Шкютес Кандавской волости. Сначала учился в Кандавской волостной школе, потом — в Тукумской окружной школе. В 1871 году он поступил в Елгавскую гимназию. С 1876 года в Дерптском университете изучал классическкую филологию, окончил в 1880 году со степенью кандидата классической филологии, из-за недостатка средств не мог остаться в университете, чтобы обратиться к научной деятельности. Миленбахс получил университетскую золотую медаль за студенческую конкурсную работу ?ber die historisch-ethymologische Entwicklung der lateinischen Verba (об историко-этимологическом развитии латинского глагола).
Милнебахс изучал вопросы синтаксиса, лексики и правописания латышского языка. Он был первым из латышских языковедов, кто обратился к общему языкознанию — к вопросу о происхождении речи и языка и теориям о первоначалах артикулированной речи в истории человечества.
К. Миленбахс известен как составитель четырёх томов полного толкового словаря латышского языка; эту работу после смерти Миленбаха закончил и издал Янис Энделинс в 1923 — 1932 гг. Также совместно с Эндзелинсом Миленбахс в 1907 году написал «Латышскую грамматику». В 1908 году Миленбахс руководил реформой латышского правописания — переходом от готического письма на латинское в настоящем виде.
Карлис Миленбахс также является автором более сотни академических статей по языку на латышском, русском и немецком языках и переводчиком «Одиссеи» (1890 — 1895).
