張作霖對此未加理睬，並且在濟南事件爆發時，還透過新聞記者宣告，願意南北合一，共防外侮。因為撤回關外就意味著完全淪為日本關東軍的傀儡，在民族運動高潮面前張作霖是不甘心做賣國賊和傀儡的。

幾經交涉，日本最後恐嚇張作霖說：&ldo;如果不聽勸告，同國民黨軍隊繼續衝突，失敗後想退回滿洲時，日本軍隊可能在山海關予以攔擊。&rdo;在這種危機情況下，張作霖才決定撤出北京重返東北。

而此時，炸車陰謀已正式被日軍提上日程。日本政府當時謀殺張作霖的計劃基本上是&ldo;九?一八&rdo;事變的前奏，日本妄想製造滿洲獨立，然後進行吞併。1927年7月田中義一就代替民政黨掌握了政權，在他執政的前後，他制定了有名的田中奏摺，在這個奏摺裡闡明瞭以日本天皇為中心八紘一宇的精神，要征服全世界，必須先征服中國，要征服中國，必須先征服滿蒙。皇姑屯炸車陰謀，就是田中義一執政後實行其征服世界的第一步。然而當時日本內閣的政策遭到元老重臣的反對，加之外受美國的壓力，所以5月25日夜，田中義一斷然決定停止一切行動，進駐奉天的關東軍也不得不迅速恢復平時狀態。但是軍部特別是關東軍並未完全符合內閣決定的精神，竟在6月4日將張作霖炸死。

經過種種研究，關東軍認定惟有巨流河鐵橋是最好的地點，特派工兵中隊長詳細偵察附近情況。由於奉軍的警戒十分嚴密，關東軍參謀河本大佐等人認為至少需要準備一個星期左右時間。最後，關東軍選擇了一個比較自由的地點，即南滿線與京奉線交叉的皇姑屯附近的三洞橋。因為日本佔領的南滿鐵路在橋上面，張作霖管轄的京奉鐵路在橋下面，這便於日軍自由行動，又有利警戒。他們準備了200磅強力黃色炸藥，採取的手段有兩種：一是襲擊列車，但將留下明顯證據;二是炸車，萬一這一爆破計劃歸於失敗，馬上制訂第二步驟，使列車顛覆，不失時機地乘著混亂，讓大刀隊闖入殺掉張作霖。河本大佐指使守備中隊長東宮鐵男大尉指揮，由福田、神田兩個大尉負責勘定炸車地點，日軍用卡車載來了兩千多磅的強力黃色炸藥，裝置在三洞橋北側的兩個花崗岩石的橋墩上。埋伏好後，夜間日本哨兵嚴格把守，不允許任何人接近三洞橋。到了拂曉，日本哨兵陸續躲進兵營。

1928年6月3日晚6時，張作霖乘坐由奉天迫擊炮廠廠長沙頓駕駛的在英國定做的黃色大型厚鋼板防彈汽車，開往火車站。隨行的人員有吳俊開、潘復、周大文、劉哲、莫德惠、於國翰、張作霖的六姨太和三兒子張學增、日籍顧問町野和儀我等人。張作霖專車共22節，張作霖乘坐的80號包車在中間，包車廂後是餐車，前邊是兩節藍鋼車，潘復、劉哲、莫德惠、於國翰等在兩節藍鋼車中。專車前面還有一列壓道車。

晚8時，專車從北京車站開出。4日清晨，日本駐奉天總領事林久治郎很早就起床，站在自己住的房屋頂上，用望遠鏡觀察三洞橋。5點23分，當張作霖乘坐的專車鑽進京奉鐵路和南滿鐵路交叉處的三洞橋時，日本關東軍東宮鐵男大尉按下電鈕，一聲巨響，三洞橋中間的一座花崗岩石的橋墩被炸開，橋上的鋼軌、橋樑被炸得彎彎曲曲，拋上天空、張作霖的專車被炸得只剩一個底盤。吳俊升被炸得血肉模糊，頭頂穿入一個大鐵釘，腦漿外溢，當即死亡;張作霖被炸出三丈多遠，咽喉破裂;日籍顧問儀我滿面是血，抱頭大叫;校尉處長溫守善被埋在碎木下面;周大文炸破了手;六姨太炸掉了腳趾頭;莫德惠受了傷。

奉天省長劉尚清聞訊趕到現場。張作霖被救至瀋陽&ldo;大帥府&rdo;時已奄奄一息。死前張對盧夫人說：&ldo;告訴小六子(張學良的乳名)，以國家為重，好好地幹吧!我這個臭皮囊不算什麼，叫小六子快回瀋陽。