Происходил из баронского рода шведского происхождения, сын генерал-лейтенанта Василия Романовича Каульбарса, родился 3 июня 1842 г в Санкт-Петербурге, образование получил в Николаевском кавалерийском училище, из которого 16 июня 1861 г был выпущен прапорщиком в лейб-гвардии Гатчинский полк, с которым в 1863 г участвовал в усмирении польского мятежа и за дело 9 августа при с. Ольксенишки награждён (в 1865 г.) орденом св. Анны 4-й степени с надписью «За храбрость».
В 1867 г. Каульбарс окончил Николаевскую академию Генерального штаба и исполнял различные поручения по должности офицера Генерального штаба, в 1875 г произведён в полковники. За это время он был удостоен орденов св. Станислава 2-й степени (в 1871 г, императорская корона к этому ордену пожалована в 1873 г.) и св. Анны 2-й степени (в 1876 г.).
В 1877 г назначен начальником штаба 1-й гвардейской пехотной дивизии, с которой и участвовал в русско-турецкой войне 1877—1878 гг., в сражениях под Горным Дубняком (орден св. Владимира 4-й степени с мечами и бантом), Плевной, Этрополем (орден св. Владимира 3-й степени с мечами), Араб-Конаком, Татар-Базарджиком и Филиппополем. За переход через Балканы Каульбарс получил золотую саблю с надписью «За храбрость» (13 января 1879 г.).
В 1878 г. Каульбарс был российским делегатом для проведения демаркационной линии во время перемирия между турецкими и черногорскими войсками; в том же году был командирован сперва русским делегатом в международной комиссию для проведения черногорской границы, а затем русским военным агентом при австрийской оккупационной армии в Боснии; в 1879 г. Каульбарс был вторично командирован русским делегатом в международную комиссию для проведения черногорской границы и по окончании трудов в этой комиссии был 15 декабря 1879 года назначен флигель-адъютантом к Его Императорскому Величеству. В 1881 году Каульбарс получил новое назначение — военным агентом в Австрии, в 1883 г отправлен в Болгарию для переговоров с князем Александром I Болгарским и для заключения военной конвенции о службе русских офицеров в Болгарском княжестве.
4 апреля 1885 г произведён в генерал-майоры (со старшинством от 30 августа 1885 г.), в 1886 г назначен в распоряжение Главнокомандующего войсками гвардии и Санкт-Петербургского военного округа. В сентябре-ноябре 1886 года пребывал в Болгарии с особым дипломатическим поручением (см. Болгарский кризис). В 1888 г производил гипсометрические наблюдения между Онежским озером и Белым морем, а в 1889 г был представителем России на международном географическом конгрессе в Париже.
По возвращении из Парижа Каульбарс был назначен начальником штаба 6-го армейского корпуса, в 1891 г — начальником штаба Финляндского военного округа, в 1894 г произведён в генерал-лейтенанты, в 1898 г назначен членом Военно-учёного комитета Главного штаба, а по преобразовании его в Комитет Главного штаба — членом последнего. В 1905 г. Каульбарс был произведён в генералы от инфантерии и уволен по болезни в отставку.
