Państwowe Gimanzjum Klasyczne czyli tzw. "Klasyka", przekształcone po reformie Jędrzejewiczów w roku szkolnym 1832/1933 w Pierwsze Gimnazjum i Liceum im. Marszałka Józefa Piłsudskiego. Naukę śpiewu i muzyki prowadził tutaj bardzo dobry muzyk Mikołaj Karaśkiewicz. Gimnazjum posiadało dobry chór i orkiestrę prowadzone m..in. przez Mikołaja Karaśkiewicza. Państwowe Gimnazjum Klasyczne w Bydgoszczy, mieszczące się przy Placu Wolności 9 posiadało też orkiestrę symfoniczną.

Dnia 27 maja 1921 roku ukonstytuowało się "Gimnazjalne Kółko Muzyczne". Do roku 1927 należało tu około 30 członków i odbyło się 270 prób półtoragodzinnych, 23 zebrania i 20 zebrań zarządu.

Z początkiem roku szkolnego 1927/28 przemianowano "Kółko Muzyczne" na orkiestrę szkolną. Orkiestra występowała samodzielnie lub z chórem szkolnym. Całością dyrygował Mikołaj Karaśkiewicz. Występowano bardzo często w auli szkolnej, gdzie odbywało się dużo imprez i uroczystości szkolnych. Cyklicznie grano i śpiewano na porankach urządzanych przez Koło Filomatów oraz na imprezach harcerskich i urządzanych przez Koło Abstynentów. Każdego roku, 18 czerwca, odbywały się spotkania muzyczne na cześć kompozytora Stanisława Moniuszki. Dnia 19 marca koncertowano z okazji imienin Marszałka Józefa Piłsudskiego, a po jego śmierci, począwszy od roku 1936, organizowano akademię żałobną, którą rozpoczynano Marszem Żałobnym Fryderyka Chopina. Orkiestra symfoniczna często występowała również na nabożeństwach szkolnych w kościele Klarysek, na ogólnoszkolnych imprezach w Strzelnicy przy ul. Toruńskiej 30 oraz w aulach innych szkół bydgoskich. Orkiestra ta miała w swoim składzie 25-35 muzyków. Najczęściej skład zespołu stanowiły: skrzypce: 6-8, altówki: 2, wiolonczela: 2, kontrabas: 1, flet: 2-3, flet piccolo: 1, obój: 1, klarnet: 2, trąbka: 2, waltornie: 2, puzon: 2, perkusja. Często wykonywano utwory Stanisława Moniuszki, Fryderyka Chopina, symfonie Józefa Haydna, utwory Wolfganga Amadeusza Mozarta, Gioacchino Rossiniego, Beli Bartoka, Antoniego Dworaka, Charlesa Gounoda i wielu innych kompozytorów.