Das 1350 erstmals urkundlich erwähnte Straßenangerdorf auf Waldhufenflur Hermsdorf war 1548 zum Amt Pirna gehörig, 1550 zum Amt Dresden und 1696 wieder zum Amt Pirna.
 
Die Grundherrschaft lag 1551 beim Rittergut Lungkwitz. Von 1856 bis 1875 gehörte Hermsdorf dem Gerichtsamt Dippoldiswalde an, danach der Amtshauptmannschaft Dippoldiswalde.
 
1900 betrug die Fläche der Gemarkung 283 Hektar. Die Bevölkerung teilte sich 1925 in 168 Evangelisch-Lutherische und zwei Katholiken auf. Der Ort war nach Kreischa gepfarrt.
 
Im Jahr 1952 wurde Hermsdorf als eigenständige Gemeinde Teil des Kreises Dippoldiswalde, 1968 wurde das Dorf zum benachbarten Hirschbach eingemeindet. Der Kreis Dippoldiswalde ging 1994 in den Weißeritzkreis über. Ein Jahr später wurde Hermsdorf nach Reinhardtsgrimma eingemeindet.
 
Reinhardtsgrimma fusionierte zum 2. Januar 2008 mit Glashütte, seitdem ist Hermsdorf ein Ortsteil der Stadt und wurde im August 2008 Teil des aus Landkreis Sächsische Schweiz und Weißeritzkreis gebildeten Landkreises Sächsische Schweiz-Osterzgebirge.