Дипломатическую службу начал в 1895 году.
В 1907 году от имени Германии подписал с К.А. Губастовым секретный Петербургский протокол по балтийскому вопросу.
В 1907—1909 годах — посланник в Люксембурге, в 1909—1913 годах — посол в Италии, в январе 1913 — ноябре 1916 года — статс-секретарь иностранных дел (министр иностранных дел) Германии. Играл важную роль в переговорах, предшествовавших Первой мировой войне. Способствовал вступлению Германии в войну на стороне Австро-Венгрии, заключению военного союза с Турцией. После того как было принято решение о возобновлении «неограниченной подводной войны», против которой выступали Ягов и канцлер Теобальд фон Бетман-Гольвег, Ягова сменил на посту статс-секретаря Артур Циммерман.
