卻說衛子夫懷孕在身,被陳皇後察覺,嗔怒嫉恨異常,立即前往面見漢武帝劉徹,與他爭論。漢武帝卻不肯再讓,反責怪陳後無子,不能不另幸衛氏,求育麟兒。陳皇後無詞可駁,憤憤退去。一面出金求醫,屢服宜男的藥品,一面多方設計,欲加害新進的歌姬。老天不肯做人美,任她如何謀劃,始終無效。漢武帝且恨陳皇後心奇善妒,既不願入寢中宮,復格外保護衛氏,因此衛子夫日處危地,幾番遇險,終得復安。
陳皇後不得逞志,又經常與母親竇太主密商,總想除去情敵。竇太主就是館陶長公主,因後加號,從母稱姓,所以尊為竇太主。太主非不愛女,但一時也想不出良謀,忽然听聞建章宮中,有一小吏,叫做衛青,乃是衛子夫同母弟弟,新近當差,太主推不倒衛子夫,于是要想從她母弟身上出氣,囑咐人去捕拿衛青。
衛青與衛子夫,同母不同父,母親本是平陽侯家的婢女,嫁與衛氏,生有一男三女,長女名君孺,次女名少兒,三女就是子夫。後來丈夫死,仍至平陽侯家為佣,適有家僮鄭季,暗中勾搭,竟與私通,居然得產下一男,取名為青。鄭季已有妻室,不能再娶衛媼,衛媼養育衛青數年,已害得辛苦艱難,不可名狀。誰叫你偷圖快樂。
因為生活艱苦,衛青被送到親生父親鄭季的家里。但鄭季是有妻子的,妻子怎麼忍受得了養丈夫和別人的孩子,但是又不好明面上拒絕,卻讓衛青放羊,鄭家的兒子也沒把衛青看成兄弟,而是將其當成了奴僕來驅使。衛青稍大一點後,不願再受鄭家的奴役。
有一天,衛青有機會跟別人進入甘泉宮,路過一個徒犯的居所,遇到一名“鉗徒”受過鉗刑的奴隸),他對衛青說道︰“你現在是窮困了,以後是貴人呢,可以官至萬戶侯。”
衛青听了,笑道︰“我為人奴,想來有什麼富貴?”