De oprichting
De eerste bouwfase (1463-1481)
De geschiedenis van de bouw van de Onze Lieve Vrouwe toren, zoals de Peperbus eigenlijk heet, is interessant omdat er uniek archiefmateriaal uit de tijd van voor de Reformatie bewaard is gebleven. Dit archief geeft een compleet beeld over de torenbouw uit die tijd. Het is derhalve uniek voor de geschiedenis van de torenbouw in Nederland.
Na de voltooiing van de Onze Lieve Vrouwekerk in 1454 is er in 1457 reeds sprake van het maken van een klokkenstoel voor twee klokken. Of hier van de huidige onderste geleding van de romp of van een andere toren sprake is, is niet bekend. Ander bronmateriaal vertelt dat de bouw van de huidige toren is begonnen in 1463. De toren werd gebouwd door stadsbouwmeester Berend van Covelens. In 1477 werd de afdichting aanbesteed. De toren had toen twee geledingen met kapitelen en drakenspuwers op de hoeken. Een jaar later besloot men de toren echter hoger op te metselen. In 1481 werd hout geleverd voor de afdichting. Een klokkenstoel werd gemaakt in de derde geleding.