后来黄霸当了长史，汉宣帝下诏书，要求群臣为汉武帝制定“庙乐”，大臣夏候胜说：“汉武帝虽然有开疆之功，可是好杀多费，使天下虚耗，百姓流离，国家元气至今不能恢复，为什么要给他制定‘庙乐’？” 群臣都斥责夏候胜诽谤先帝，只有黄霸没有，所以最后两人一起被下狱，等待处死。

在狱中，黄霸请求夏侯胜讲授《尚书》，夏侯胜说：“我们都要死了，还学什么呀！”黄霸说：“我听古人说‘朝闻道，夕可死’，我愿意学习。”于是夏侯胜教黄霸《尚书》。到了第二年冬天，关东大地震，死了许多人，汉宣帝大赦天下，二人获释。

过了一年，黄霸被任命为丞相，那女子也就成了丞相夫人。

（《汉书》）