En la pequeña aldea de La Torre de Canals dice la tradición que nació, el 31 de diciembre del año 1378, Alfonso de Borja, el Papa Calixto III. La última restauración del Oratorio de los Borja ha sacado a la luz unas pinturas murales de época barroca que muestran las figuras de San Vicente Ferrer y de Calixto III niño -dibujo de la famosa profecía- y de San Francisco de Borja, lo cual no hace más que abundar en esa tradición. El oratorio, algunos restos del antiguo palacio y la torre que da nombre al lugar, conforman el espacio borjano del municipio de Canals.
La Torre de Canals se emplaza al sudoeste del núcleo principal de la Vila. Su parte mas antigua la forman tres calles estrechas: Calixte Ill, Forn y Victòria, que se unen en una pequeña plaza donde están el oratorio y la torre que formaba parte del desaparecido Palacio de Borja. Desconectados antiguamente, tanto el barrio como el pueblo se han ido ampliando hasta prácticamente integrarse uno en el otro.
La historia de La Torre y de sus edificios más emblemáticos arranca, al menos, en época medieval islámica, como así lo demuestran los restos cerámicos aparecidos durante el último proceso restaurador y que se remontan a los siglos XI y XII. El núcleo habitacional en esta época se limitaría a una pequeña alquería rural. A comienzos del siglo XIII se construiría la torre y las murallas, con un carácter defensivo y de control del territorio, ante la inseguridad militar derivada de la inminente conquista cristiana.
A la época medieval cristiana corresponden los restos cerámicos exhumados de cerámica fina y de uso común de los siglos XIII al XV, con piezas de Paterna y de Manises, y el bastimento, en el último tercio del siglo XIV, de un pequeño palacio gótico de tipo rural adosado a la torre y a la cerca musulmana. Así mismo, se construyó un oratorio exento que acabó en manos de la familia Borja.
En este lugar, por más que falta información documental, dice la tradición que nació el Papa Calixto III y esa tradición se ha mantenido viva en la memoria histórica del pueblo y ha quedado fijada en algunas manifestaciones del arte y de la cultura popular: durante las fiestas del barrio de San Vicente, por ejemplo, todavía hoy, trasladan el santo al oratorio de La Torre recordando la profecía vicentina -"...tienes que ser pontífice de la Iglesia, te denominarás Calixto y me tienes que canonizar."
En el primer tercio del siglo XVII se había restaurado la arquitectura del oratorio y entre finales y comienzos del XVIII se abordó la decoración pictórica de los laterales. La última restauración del Oratorio ha sacado a la luz un conjunto de pinturas murales de gran valor. Los murales representan las figuras de Sant Josep y el Jesuset, San Vicente Ferrer con Calixto III Niño y San Francisco de Borja, con inscripciones alusivas en castellano y valenciano de la época. La cronología del retablo es barroca, con yuxtaposiciones de época neoclásica realizadas el 1721. En 1758 los jurados de Xàtiva emprendieron una restauración del palacio que afectó hasta a las estructuras, en ocasiones respetando la traza original y otros insertando elementos de nueva planta.
Aun así, a mediados del siglo XIX, el Ayuntamiento de Xàtiva, propietario del palacio, nuevamente en estado ruinoso, vendió el edificio a un particular. Fue derrocado y se hicieron casas adosadas en la torre que, al menos, contribuyeron a conservarla.
Durante los años 90 el Ayuntamiento de Canals abordó la recuperación del entorno borjiano. En 1995 se inauguró la restauración de la torre, se abrió la plaza y, en 2001, se restauró también el oratorio de forma que hoy la Torre de Canals ha recuperado un espacio de una enorme relevancia urbanística e histórica.