高洋為太原公時，郭遵為太原國常侍。高洋家僕有個蓋豐洛，主管家務，號稱蓋將。郭遵因為受他處分，曾表示抗拒，被高德正所看重。北齊受禪，郭遵被擢為主書，專管訪察。中書舍人朱謂擔任鉅鹿太守，郭遵為他弟子求官，朱謂告訴齊文宣帝，郭遵被鞭責二百，交付京畿。很久以後，擔任并州尚書省都令史、建州別駕。韓長鸞父韓永興為建州刺史，二人互相依附。後來擢升為黃門侍郎。郭遵易于自滿。宮門遇到權貴，就稱呼姓字，言語行動，極為輕率。曾經在宮門前牽著韓長鸞的手說：「主上縱放如此，不規諫怎麼算大臣？」韓長鸞嫌他輕率，便抽手而去，于是不加援助。武平四年十月辛丑（573年11月18日），郭遵與崔季舒、裴澤、張雕、劉逖、封孝琰等諫止齊後主前往晉陽，韓長鸞誣陷他們，諸人被以謀反罪處斬。