Aunque su procedencia es la isla de Terranova, situada en el océano Atlántico, no se sabe con certeza si es una raza que ya estaba cuando llegaron los colonos durante el siglo XVI. Se especula con la posibilidad de que fueran los pescadores vascos quienes llevaran perros de tipo pirenaico que se cruzaron con perros de aguas. Otra teoría, defendida por Fred Stubbart, insiste en que su origen está en los Dogos Tibetanos.

En lo que coinciden prácticamente la totalidad de las teorías es que en esa isla ya había un tipo de perro llevado por los indios beothuk, quienes iban a pescar allí durante el verano. Debido a las condiciones climáticas extremas en las que debía subsistir, este tipo de perro fue formándose con los ejemplares más fuertes y los mejor dotados para la pesca. A su vez, como también eran utilizados para tirar de cargas, los ejemplares eran grandes.

Los estudios llevados a cabo sobre restos fósiles determinan que tienen un entronque con el antiguo Dogo del Tíbet, que llegaría a la isla, supuestamente, de la mano de los vikingos. En la formación de la raza tal como se la conoce hoy, según la teoría más extendida, intervinieron los colonos británicos, quienes cruzaron Mastiff, Spaniel y Molosos descendientes de Mastines Tibetanos. No se descarta la idea de que también se añadieran a esa lista de cruces los realizados con los perros oriundos de Terranova, de los que había dos variedades, una de mayor tamaño, que vivía semisalvaje en el interior de la isla, y otra más ligera, más dócil y con muchos ejemplares de color negro.

En 1780 la Sociedad Zoológica de Aclimatación de la isla dicta un documento mediante el que se limita la posesión de estos perros a un solo ejemplar por familia, sobre todo porque en época de pesca se dejaban en libertad. Llegaron a ser tan numerosos que en 1815 se decidió sacrificar a todos los Terranova que anduvieran libremente sin bozal.

Justo en esa época comenzó la importación de este tipo de perro por parte del Reino Unido, especialmente hacia la ciudad de Pool, la que por entonces mantenía una relación comercial más intensa con Terranova. Durante todo aquel tiempo fueron utilizados en trabajos relacionados con el agua además de como animales de tiro. Fueron muy solicitados como perros de a bordo, como salvadores de náufragos y como guardianes.

La exposición de Birmingham de 1860 fue la primera que gozó de la presencia de perros de Terranova, pero no es hasta 1878 cuando se inscribe en el Libro de Orígenes al primer ejemplar. Para la formación del club de la raza hubo que esperar hasta 1886, sin embargo, en 1892 fueron presentados en Preston ciento veintiocho perros de esta raza, lo que da una idea de la popularidad que adquirieron en poco tiempo.

Su prestigio atravesó todas las fronteras; así, en Estados Unidos se fundó el club de raza en 1885 y en 1893 lo hizo el Club Terranova del Continente (DNK).