La pianta del castello al centro dei tre piani si configura a forma di T. Il corpo principale presenta una loggia profonda, aperta sul fronte con cinque ampie arcate lievemente ogivali, fiancheggiata da due torri; al primo piano corrisponde una pentafora gotica, unico esempio in una villa veneta quattrocentesca in terraferma.
Mancano i documenti per l'attribuzione ad un autore: gli evidenti riferimenti formali all'architettura veneziana (camini, capitelli, finestre trilobate e decorazioni in pietra) fanno pensare a Domenico da Venezia ("ingegnere" della Repubblica di Venezia di cui si hanno notizie dal 1448 al 1453 per il Duomo di Vicenza e il palazzo della Ragione).
Viene chiamato oggi Castello –forse per le merlature ghibelline o perché edificato sul sito del castrum medievale– ma nei primi documenti viene indicato come "palazzo"; certo il termine "villa" è appropriato in quanto è l’elemento preminente di un’azienda agricola e anche preludio al concetto di villa come lo intenderà Palladio. In posizione dominante rispetto alla grande "corte" –cinta da mura lungo la pubblica via con ampi portoni sagomati a torre merlata– viene eretto con gli edifici di servizio fra cui la fattoria (residenza del "gastaldo"), la "colombara", le serre e le cosiddette "barchesse", dotate di porticato verso la corte.
Non c’è più traccia d’azione difensiva, ma è ben evidente l’intenzione di spazio esclusivo, dove la corte svolge la tradizionale funzione agricola –un'aia con animali domestici, un tempo in parte pavimentata per battere il grano, insaccare i prodotti, sgranare i legumi ecc.– ma anche quella di rappresentanza (la "corte nobile" di fronte alla facciata), da dove si diramano i vari passaggi per i giardini, sia per quello posteriore sia per quelli "segreti" a fianco delle torri laterali. Agli appezzamenti di terreno contigui sempre di proprietà ma separati da pubbliche strade, si accede tramite dei sottopassaggi.