Начало военной карьеры
Родился 21 октября 1870 года. Из дворян Вологодской губернии. Образование получил в Пажеском корпусе. В службу вступил 31 августа 1888 года.
Выпущен подпоручиком в 1-ю конно-артиллерийскую батарею. В 1891 году с тем же чином переведён в гвардию. С 1895 года адъютант 1-го дивизиона гвардейской конно-артиллерийской бригады. В 1898 году произведен в штабс-капитаны. С 1895 года адъютант бригады. В 1901 году награждён орденом Святой Анны 3-й степени. В 1902 году произведён в капитаны. За отличие по службе в 1903 году произведён в полковники. С 6 апреля 1903 года по 26 марта 1904 года командир 1-й батареи гвардейской конно-артиллерийской бригады.
Русско-японская война
В должности командира дивизиона Терско-Кубанского конного полка в составе вновь сформированной Кавказской конной бригады, участвовал в русско-японской войне 1904—1905 гг. Был награжден орденами Святого Станислава 2-й степени с мечами (1904), Святой Анны 2-й степени с мечами (1904), Святого Владимира 4-й степени с мечами и бантом (1904), Святого Владимира 3-й степени с мечами (1905), мечами и бантом к имеющемуся ордену Святой Анны 3-й степени (1906). За Хайченский набег в феврале 1906 года Высочайшим приказом от 29 марта 1906 года удостоен ордена Святого Георгия Победоносца 4-й степени.
С 14 января 1906 года командир Кавказского запасного кавалерийского дивизиона. С 7 июля 1906 года командир 44-го Нижегородского драгунского полка. Высочайшим приказом от 7 октября 1906 года награжден Золотым оружием с надписью «за храбрость».
В 1912 году за отличие по службе произведен в генерал-майоры. С 21 мая 1912 года командир 1-й бригады Кавказской кавалерийской дивизии.
8 июня 1912 года назначен командиром лейб-гвардии Кирасирского Его Величества полка. С 1913 года свиты Его Императорского Величества генерал-майор. 25 марта 1914 года назначен командиром лейб-гвардии Конной артиллерии, во главе которой вступил в войну.
Первая мировая война
С 29 сентября 1914 года командующий 3-й Донской казачьей, а с 11 октября 1914 года , 2-й гвардейской кавалерийской дивизией. В декабре 1914 года во время боев в Петроковской губернии командовал крупной кавалерийской группой, в состав которой вошли 1-я, 2-я гвардейские кавалерийские, Уральская казачья дивизии и Забайкальская казачья бригада. 13 мая 1915 года Яков Фёдорович Гилленшмидт был назначен командиром 4-го кавалерийского корпуса. 7 мая 1916 года произведен в генерал-лейтенанты.
В конце 1917 года вывел корпус на Дон и перевел штаб в Ростов-на-Дону.
В январе 1918 года сдал командование А.П. Богаевскому и присоединился к Добровольческой армии. Участник 1-го Кубанского похода Добровольческой армии.
В апреле 1918 года при отступлении армии от Екатеринодара покинул ее с небольшим отрядом, в колонии Гначбау попал в окружение и при попытке прорыва погиб.
