Jalovec leží v severovýchodnej časti Hornonitrianskej kotliny v doline potoka Handlovka. Nadmorská výška v strede obce je 351 m n. m., v chotári 352-869 m n. m. Chotár na pahorkatine a juhozápadných svahoch pohoria Žiar tvoria staršie treťohorné piesky, pieskovce, druhohorné vápence a kryštalické horniny. V okolí obce je prevažne odlesnený, inde sú jedľobučiny, miestami so smrekom.
Zdroj: Vlastivedný slovník obcí na Slovensku, 1. časť