A partir del año 1516, año en que los hermanos Barbarroja hicieron de Argel su particular feudo pirata, las costas de Castellón y del resto del litoral mediterráneo se convirtieron en el principal coto de caza de los berberiscos. Las presas eran, por supuesto, cautivos cristianos con destino a África y los mercados musulmanes de esclavos. Oropesa del Mar fue uno de los lugares más azotados por esta lacra. Barbarroja atacó este municipio junto a Burriana en 1519, volviendo en la madrugada del 8 de junio de 1536 para efectuar un asalto aún más sanguinario. Experto conocedor de estas costas, en 1545 ponía rumbo al norte para asolar la vecina Vinaròs.

A pesar de sus 3 torres de vigilancia (del Rey, Colomera y Cordà), y del refugio que supuso para los locales el cercano castillo de origen musulmán, las razzias en Oropesa fueron prácticamente imprevisibles a causa de la rapidez del ataque y la pronta retirada por mar. Las principales ciudades esclavistas durante aquella época fueron Trípoli, Túnez, Argel y Salé, esta última en la costa marroquí. El mercado humano estaba asociado a la secular guerra del Imperio Turco con la Cristiandad, y fue tan sumamente próspero que, al menos durante los siglos XVI y XVII, superó en número de personas al que se realizaba a través del Atlántico hacia las colonias europeas de América del Norte, del Centro y del Sur. A veces la captura resultaba excesiva hasta para los propios corsarios, quienes después de alguna expedición particularmente afortunada exclamaban: «llueven cristianos en Argel». Tras una razzia llevada a cabo en Nápoles en 1544, y que terminó con 7000 esclavos a bordo de las galeras, los precios en el mercado cayeron tanto que se podía conseguir un esclavo europeo al irrisorio coste de un kilo de cebollas.

Todos estos ataques se concentran principalmente en dos temporadas anuales: la de verano, entre los meses de junio y julio, y la de invierno, que se lleva a cabo en octubre. Y en contra de lo que pudiera pensarse, era esta última la que producía mayores ganancias en cautivos y mercancías, ya que los berberiscos no se veían entonces entorpecidos por la actividad de los corsarios españoles, que solo faenaban durante el verano…

Uno de los ataques más cruentos sufridos por la villa de Oropesa fue el que realizó un tal Caramaní los días 5 y 7 de junio de 1536. Los corsarios se enfrentaron a la Torre del Rey, mal guarnecida en aquella época, y pudieron llevarse sin demasiadas dificultades hasta 19 o 20 prisioneros, por los que se pidió un rescate total de cuatro mil sueldos (Toda una fortuna. Hay que tener en cuenta que el salario medio de un trabajador por aquella época era de 1,5 sueldos aproximadamente). Dicho ataque puede considerarse como el bautismo de fuego de esta fortificación, aunque a consecuencia de los daños sufridos hubo de remodelarse para atender la creciente agresividad de los africanos.

Poco contento debió de quedar Joan de Cervelló, señor de Oropesa, ya que en aquella ocasión la defensa fue tan desastrosa que gran parte de los de la guarnición acabaron presos de los turcos. Fue precisamente a causa de este revés cuando se propuso el proyecto de formar un ejército regular.

Por aquella época, y debido a las constantes correrías piratas, Oropesa era un lugar de la costa completamente despoblado. La villa estaba al borde del mar, junto al cabo que lleva su nombre, y constituía una referencia fácil para hacer escala por parte de los norteafricanos, que no temían ningún ataque desde tierra al ser una zona desierta y poco vigilada. La primitiva Torre del Rey data de 1413, cuando fue edificada por orden de Fernando de Antequera. Pero en todo ese tiempo no tuvo demasiado éxito a tenor de los repetidos ataques producidos en toda el área. Las incursiones partían sobre todo de las islas Columbretes, situadas a unas 28 millas de la costa, de forma que las goletas piratas podían atracar de madrugada al abrigo de una ensenada situada al NE, y desde allí efectuar asaltos al despuntar el día con total impunidad.

El 7 de junio de 1534 tuvo lugar un destructivo ataque por parte de Barbarroja, quien desembarcó en el cabo de Oropesa y llegó a apoderarse de la Torre del Rey, de la villa y hasta del castillo, talando a continuación los campos cercanos para sembrar el terror entre sus habitantes. Una vez más las reformas efectuadas por Cervelló no tuvieron ningún efecto, y ésta fue la razón de que la Torre del Rey, por encima de cualquier otra en Castellón, llegara a ser una de las más fortificadas y vigiladas a lo largo de las siguientes décadas. Pero por desgracia, también resultó ser de las más codiciadas: en 1619 se producía nuevamente una razzia por parte de dos galeras turcas fuertemente pertrechadas, con el resultado de numerosos muertos y cautivos, amén de una villa saqueada e incendiada al completo… No eran buenos tiempos para la vida en primera línea de playa.