À l'époque romaine, des mâtins, ancêtres de nos rottweilers d'aujourd'hui, gardent le bétail destiné à nourrir les légionnaires pendant les grandes campagnes militaires. Ces mâtins ne sont alors pas destinés au combat, et ils sont de ce fait bien socialisés aux humains. Une fois les Alpes passées, les Romains progressent jusqu'en Germanie, où ils installent des garnisons, notamment à Rottweil, dans la région du Wurtemberg. Au Moyen Âge, Rottweil devient une ville très prospère, avec une forte activité commerciale. C'est à ce moment que l'on retrouve l'ancêtre du rottweiler sous le nom de metzgerhund (littéralement « chien de boucher »), parce qu'à l'époque il accompagne justement les bouchers, faisant office de bouvier (garde et conduite des b½ufs) et de chiens de garde pour les maîtres.
Avec le temps, la race devient plus homogène et c'est à la fin du XIXe siècle qu'apparaît le nom de rottweiler ou bouvier allemand, alors qu'il est présenté à une exposition en 1892. L'interdiction du transport de bétails étant décrétée au début du XXe siècle, le rottweiler perd son emploi et manque de disparaître. Mais il obtient sa « reconversion » pendant la première guerre mondiale dans le domaine militaire, ainsi qu'à la ferme. Sur le plan international, le rottweiler a d'abord conquis les États-Unis entre les deux guerres, où il a été reconnu en 1935, alors qu'il a fallu attendre 1966 pour le voir en Angleterre et les années 70 en France. Actuellement on peut dire qu'il a rattrapé son retard puis qu'il est quatrième au « hit-parade » des naissances en France.
