Se cree que posee influencias del pony Celta y del negro Frisón, que influyó sobretodo en los inicios de la raza. Los Frisones llegaron de la mano de los holandeses, quienes ayudaron a los romanos a construir la fortaleza de Hadrian y dejaron ahí gran parte de sus sementales Frisones, que se cruzaron con caballos nativos y dieron lugar al Fell y a su allegado Dales. Pero el pony Galloway es el que quizá mayor influencia marcó en el Fell, sobretodo en los inicios de la raza, cuando el Galloway se utilizaba como montura de guerreros. El Fell es famoso por su fuerza. Se utilizaba para el transporte en la minería; se dice que transportaba alrededor de 100 kg durante largas distancias.