Родился в Тобольске в семье Карла Костровицкого, сосланного за участие в восстании 1863 года в Сибирь. В 1874 году семья вернулась на родину, в Минскую губернию. Учился в Минского городском училище, в Московском училище живописи, ваяния и зодчества. Начал заниматься литературной деятельностью в 1893 году. В 1902-1903 участвовал в создании БСГ. В 1905 и 1910 арестовывался. В 1910—1911 году сидел в Минской тюрьме вместе с Якубом Коласом. В тюрьме его здоровье значительно ухудшилось, и в последние годы Каганец отошёл от активной деятельности.
Каганец сотрудничал с главным печатным органом белорусского национально-культурного движения, газетой «Наша ніва». В 1906 году Каганец анонимно издал учебник «Беларускі лемантар або першая навука чытання». Написанный Каганцом водевиль «Модны шляхцюк» стал одним из первых произведений белорусской драматургии. «Модны шляхцюк» долгое время пользовался популярностью и неоднократно ставился на сцене.
