De betekenis van de naam Tillegem wordt ontleend aan 'het heem bij de tille' (tille betekent hier brug). Dus Tillegem is de versterkte plaats bij de brug over de beek (met name de Kerkebeek).

Omwille van de strategische ligging werd de heerlijkheid Tillegem van wellicht door Boudewijn I met de Ijzeren Arm (Graaf van Vlaanderen) van het ambacht Snellegem afgescheiden.

De oorspronkelijke versterkte plaats bevond zich echter niet op dezelfde plek als het huidige kasteel. Ongeveer 200 meter ten Zuidoosten van het kasteel bevindt zich een mote: een opgehoogde plaats met 2 cirkelvormige grachten rond, veel dichter bij de Kerkebeek. Hier stond wellicht de houten omwalling, die de brug bewaakte. Helaas werd voor de aanleg van de A17 een deel van de mote afgegraven. Op een tekening uit 1573 is ze echter heel duidelijk zichtbaar.

Wanneer men precies naar een stenen waterburcht overschakelde is niet geweten. De oudste afbeelding werd teruggevonden op een miniatuur in een 16e eeuws getijdenboek. Daar ziet men een vierhoekig gebouw, geflankeerd door hoektorens en aan zware toren die de toegangspoort beheerst.

Een eeuw later (Flandria Illustrata uit 1641) is er nog niet veel veranderd.

Hoewel het zeker erg oud is, is er erg weinig geweten over de exacte geschiedenis van dit kasteel. Het oudste gedeelte is de onderkant, in natuursteen. De recentere bovenbouw is opgetrokken in baksteen. De originele burcht was niet veel hoger dan de bovenkant van de natuursteen (wellicht was er in het centrum wel een hogere donjon).

Wel weten we dat een brand deze eeuw het kasteel zwaar beschadigde. De provincie kreeg echter slechts de toestemming om de helft van het kasteel terug op te bouwen. Vandaar dat het gebouw nu slechts de helft van het gedeelte binnen de slotgracht beslaat.

Het kasteel is gelegen in een park van 83 ha.