Čavoj leží v Strážovskej hornatine na nive Nitrice. Nadmorská výška v strede obce je 550 m n. m., v chotári 392-1103 m n. m. Povrch chotára tvoria druhohorné a kryštalické horniny. Hydrotermálne žily obsahujú olovo a striebro. V okolí obce je odlesnený, inde sú bučiny a jedľobučiny.
Zdroj: Vlastivedný slovník obcí na Slovensku, 1. časť