七月癸未，趙光義終於下令暫離幽州城下，迎擊遼軍。
圍城諸軍匆忙收攏。有人剛從壕溝里撤出，有人還帶著攻城時的傷，四面營寨的兵馬要在短時間內重新編成野戰隊列。幽州城仍在身後，遼軍則從北面和東北面逼來；宋軍既沒有攻下城，也沒有真正擺脫城。
御前將領問：「是否先退到易州，再擇地列陣？」
趙光義道：「現在退，城中守軍必然出擊，與援軍前後相應。就在高粱河迎戰。」
「諸軍連日攻城，陣伍未整。」
「敵軍遠來，也不會比我們更整齊。」
這又是一個雙方都有疲憊的判斷。區別在於，遼軍的任務只是解圍，宋軍卻要在攻城失敗以後立刻贏得一場野戰。前者只要讓幽州不失便算成功，後者若不能擊潰援軍，此前所有急行和圍攻都會變成徒勞。
最先抵達的是耶律沙等部。遼軍在白馬嶺敗過一次，此時正面與宋軍交鋒，仍未占到便宜。宋軍弓弩齊發，步騎向前推進，耶律沙所部開始後退。
前軍有人高喊：「遼兵敗了！」
喊聲沿陣列傳開。已經疲憊多日的士卒像忽然找回力氣，追著退軍向前壓去。趙光義也看見遼軍旗幟移動，命諸軍繼續進擊。
一名將領提醒：「兩翼還沒有消息。」
「先破眼前之敵。」
眼前的勝利太像白馬嶺的重演：遼軍正面接戰不利，宋軍乘勢追擊。可白馬嶺有山澗替郭進限制敵軍，高粱河畔卻是一片足以讓騎兵展開的地面。宋軍向前時，原本就不夠整齊的陣線越拉越長。
耶律休哥率領的五院軍從一翼趕到，耶律斜軫則從另一側逼近。兩支騎兵沒有一同撞向宋軍正面，而是像兩扇門，從左右向中間合攏。
遼軍將領問耶律休哥：「耶律沙正在後退，先救中軍？」
「中軍退得越真，宋人追得越深。」
「若退亂了呢？」
「那就要我們更快。」
騎兵開始加速。地面的震動先於旗幟傳到宋軍側翼，正在追擊的士卒回頭時，只看見塵土裡不斷出現的馬頭。弓弩手來不及重新定向，步軍長槍陣也沒有完整轉過來。
「左翼有敵！」
「右翼也有！」
命令在喊聲中彼此衝撞。有人奉命繼續向前，有人轉身結陣，有人以為後路已斷，開始向南退。最先逃跑的可能只有幾十人，可陣中的士卒看不見全局，只能看見身邊的人突然轉身。幾十人帶動幾百人，幾百人又撞散後面的隊列。
趙光義命近衛豎起御旗：「不許退！中軍在此！」
將領急道：「陛下，敵騎已經切入，御旗會把他們引來。」
「旗一倒，全軍更亂。」
「旗不倒，遼軍便知道陛下在哪裡。」
皇帝還沒有作出選擇，箭矢已經落到近前。護衛舉盾遮擋，御馬受驚，車駕與隨從被敗兵衝散。宋軍原本由皇帝集中掌握的號令，在這一刻反而失去了中心：各部找不到御帳，不知道該繼續戰鬥、護駕還是撤退。
耶律休哥在衝擊中多處負傷，仍率騎兵追殺。耶律斜軫從另一翼壓迫宋軍退路。高粱河邊的戰鬥不再是一條整齊戰線，而是被切碎的隊伍、丟棄的器械和互相尋找番號的士卒。
一名軍吏抓住逃來的士兵：「官家在哪裡？」
「不知道。」
「御旗呢？」
「看不見了。」
「誰在傳令？」
士兵喘著氣，仍是那一句：「不知道。」
這三個不知道比戰敗本身更危險。軍隊可以承認某一路敗退，卻不能不知道皇帝是否還活著。趙光義帶著少數近衛離開戰場，主力卻在很長一段時間內失去他的消息。
關於這一夜，宋、遼兩邊留下的文字並不相同。宋朝本紀只簡短寫下高粱河「敗績」與次日班師，像用兩個字把御駕的狼狽遮住；《遼史》則說宋主負傷，僅以身免，到了涿州乘驢車逃走。後世又把傷勢說成腿中兩箭，甚至與他多年後的死亡相連。
可以確定的是，趙光義沒有乘著出征時的完整車駕從容離去，也沒有在當夜重新控制全部軍隊。他是在敗軍與追騎之間倉促撤退，是否當場中箭、換乘何種車輛，各書記載並不足以拼成一幅毫無疑問的現場圖。
天亮後，耶律休哥因傷不能騎馬，仍乘輕車追到涿州附近。宋軍沿途丟下旗鼓、甲仗與輜重，十日前主動打開城門的道路，如今變成敗兵爭相南歸的通道。
高粱河沒有寬闊到能夠吞下一支大軍。真正吞沒宋軍的，是疲憊、拉長的糧道、圍城後的倉促變陣，以及皇帝不肯讓太原之勝停在太原的欲望。
趙光義想用幽州證明自己能夠比兄長走得更遠。
他確實走得更遠。
只是回來的時候，身邊已經沒有出發時那支完整的軍隊。
而在後方那些找不到皇帝的將領中，一個更危險的問題正在出現：如果官家真的回不來了，大宋該由誰接著統兵？