Die Geschichte des Orchesters beginnt bereits in den Zwanzigerjahren des letzten Jahrhunderts. Die genauen Anfänge der seinerzeit als „Gendarmeriemusik des Landesgendarmeriekommandos für Niederösterreich“ bezeichneten Musikformation lassen sich aber nicht mehr genau zurückverfolgen.
Die erste bekannte Aufzeichnung stammt aus dem Jahre 1934. Damals stand die Gendarmeriemusik Niederösterreich unter der Leitung des Kapellmeisters Heinrich JANELE und bestand aus rund 20 Musikern.
Durch die Überstellung vom seinerzeitigen Bundesheer wurden noch im gleichen Jahr 20 Musiker aus den Reihen der Militärmusikkapellen übernommen. Diese wurden in der Gendarmerieschule Schloss Schallaburg zu Gendarmen ausgebildet und in das niederösterreichische Gendarmerieorchester integriert. Somit erreichte das Orchester erstmals einen Personalstand von 40 Musikern.
Ab diesem Zeitpunkt wurde die Gendarmeriemusik Niederösterreich vermehrt für musikalische Aufgaben innerhalb des Gendarmerie-Korps herangezogen.

Im Jahre 1938 folgte schließlich die Auflösung des Orchesters. Die damaligen Musiker wurden größtenteils in die Militärkapellen der deutschen Wehrmacht eingegliedert.

Nach Ende des 2. Weltkrieges erkannte Gendarmeriezentralkommandant General Dr. Josef KIMMEL bereits im Jahre 1946 die Wichtigkeit einer Gendarmeriemusik und gab daher den Befehl, eine derartige Einrichtung innerhalb des Kommandos wieder ins Leben zu rufen.

Der erste Kapellmeister in den Nachkriegsjahren war Gendarmeriemajor Friedrich STANKE. Dieser versuchte, mit den ihm zur Verfügung stehenden Musikern, ein Orchester zu gründen; keine leichte Aufgabe in dieser Zeit. Trotzdem konnte Major STANKE den Stand der Gendarmeriemusik ständig erweitern. Im Jahre 1949 gab er die Leitung der Musikkapelle an Kapellmeister Ignaz NEUSSER ab.

Ignaz NEUSSER erreichte es durch weitere Neuaufnahmen den Personalstand der Musiker zu erhöhen und es gelang ihm im Jahre 1950 beim Wettbewerb für Blasorchester den 1. Preis zu erzielen.
Kplm. NEUSSER formte diesen repräsentativen Klangkörper weiter und brachte ihn über den Rundfunk näher zum Publikum. In dieser Zeit wurde die „Gendarmeriemusik Niederösterreich“ als Blas- und Streichorchester eingesetzt und war bei zahlreichen Filmaufnahmen sehr engagiert, wie beispielsweise: „Sissy“ Filme, „Sarajevo“, „Die Deutschmeister“ u.v.a.
Im Jahre 1956 gab Ignaz NEUSSER aus gesundheitlichen Gründen den Taktstock an Hans KOLM weiter.

Kplm. KOLM leitete das Orchester bis zum Jahre 1966 und übergab danach die Leitung an den langjährigen Soloflötisten Otto KADLETZ.
Unter Kapellmeister Otto KADLETZ erfolgten viele erfolgreiche Aufführungen und Konzerte in den Bundesländern Kärnten und Salzburg.

Am 01. Oktober 1967 wurde Friedrich WIMMER der neue Kapellmeister der Gendarmeriemusik Niederösterreich. In dieser Zeit bestritt das Orchester viele öffentliche Aufführungen, vor allem aber unzählige Rundfunk und Fernsehauftritte sowie zahlreiche Film- und Schallplattenaufnahmen. Diese reichhaltige musikalische Tätigkeit ist sowohl in der Öffentlichkeit als auch korpsintern noch allzu gut bekannt.
Unter Kplm. WIMMER wuchs die Bekanntheit der Gendarmeriemusik Niederösterreich als herausragendes Blasorchester in der Öffentlichkeit.
Ebenso wurde das Orchester Mitglied des Niederösterreichischen Blasmusikverbandes.
Im Jahre 1993 trat Kplm. Friedrich WIMMER in den Ruhestand und der damalige erste Flügelhornist, RevInsp Kurt PREISSL, wurde zum neuen Kapellmeister ernannt.

Im Jahre 1999 feierte die österreichische Bundesgendarmerie das 150-Jahr-Bestandsjubiläum. In diesem Jubiläumsjahr galt es zahlreiche Einsätze bei dienstlichen Feierlichkeiten zu gestalten. Als Höhepunkt fand am 19. September 1999 auf dem Wiener Heldenplatz eine große Parade mit zahlreichen Abordnungen aus dem Ausland statt.
Im Anschluss daran umrahmte die Big Band der Gendarmeriemusik Niederösterreich den großen Galaabend in der Wiener Hofburg.
Im Jahr 2001 folgten weitere große Auftritte und als Höhepunkt des musikalischen Jahres wurde ein in Eigenregie veranstaltetes Benefizkonzert in der Reitschule des Schlosses Grafenegg dargeboten.
Außerdem gab es einen Fernsehauftritt eines Quintetts der Gendarmeriemusik bei einer Livesendung im ORF am 24.12.2001.

In der Zeit von 2002 bis 2006 wurde schließlich der noch heute aktive Musiker, ChefInsp Alfred SCHEIDL, mit der Leitung des Orchesters betraut.
Mit der Zusammenlegung der Wachkörper Gendarmerie und Polizei am 01. Juli 2005 wurde aus der Gendarmeriemusik Niederösterreich schließlich die Polizeimusik Niederösterreich, welche der Landespolizeidirektion für Niederösterreich unterstellt ist.

Von 2006 bis August 2023 hatte GrInsp Franz HERZOG die musikalischen Leitung der Polizeimusik Niederösterreich über.

Seit September 2023 ist RevInsp Silvia Jäger mit der musikalischen Leitung der Polizeimusik Niederösterreich betraut.

Auch zahlreiche Gastdirigenten standen der Gendarmeriemusik bereits vor, wie Rudolf KUMMERER, Robert STOLZ, Karl PAUSPERTL, Franz ZELWECKER, Max SCHÖNHERR und Lorin MAAZEL.