Pavia ligt even ten zuiden van de Zeister dorpskern, aan de oostkant van de Arnhemse Bovenweg. De buitenplaats bestaat grotendeels uit landschappelijk aangelegd parkbos. Het in neoclassicistische stijl gebouwde landhuis staat op een verhoogd terrein en is met de voorgevel gericht naar de Laan van Beek en Royen. Vanuit het huis lopen diverse zichtlijnen over de gazons en tussen boongroepen door naar de weg en naar de slingervijver. Pavia is via een oprijlaan aan de voorzijde te bereiken. Rechts van het huis staat een witte houten duiventoren van rond 1880.