落草為寇迅速升遷
張作霖祖藉河北河間，其父張有財是一賭徒，因迷戀賭博，被仇家殺死。張有財死後，張作霖母親改嫁於村中獸醫，張作霖也開始了獸醫生涯。但張並不安於行醫為生，不久便落草為寇了。
張作霖，字雨亭，生於1875年，奉天海城人。祖籍直隸(河北)省河間府大城。原本姓李，因李家姑奶奶嫁後未育，過李家子為嗣，改姓張。
張作霖的曾祖父張永貴，攜家帶口步行兩千餘里，歷時半載，初秋時節，來到山海關外的廣寧東界(今屬黑山高山子一帶)安家落戶。
張永貴憑著兩隻手，或拓荒，或扛活，光陰荏苒，二十年過去了，到了張發(張作霖的祖父這一代)，已成為一殷實的莊戶人家。不僅有房有產，而且人丁興旺，四子皆長大成人，務農為本。惟獨三子張有財(張作霖的父親)不屑此道。迨張發給四子娶妻之後，便過世了，四子乃分家，各立門戶。
張有財娶妻邵氏，生有一女孩。邵氏因病早逝。其後，張有財又娶本村王姓寡婦為妻，王氏曾與前夫生有一子，名作泰，亦即張作霖的同母異父兄長。改嫁到張家後，她又生了兩個兒子、一個女兒。一個兒子名作孚，即張作霖的二哥，另一個兒子就是張作霖。
張作霖出生不久，張有財遷到掌寺(今大窪東風農場)。這裡離遼河很近，是廣寧到田莊臺、高坎、營口的交通要道，市面頗為繁華，張有財湊錢開了一間雜貨鋪子，維持生活。
張有財熱衷於賭博，十賭九輸，雜貨鋪子填不了這無底洞，終於破產。張有財於是南走大高坎，在杜家店當了夥計，但他仍不務正業，有時和住店老客耍錢，有時設賭抽頭撈外快。
張作霖對其父所作所為，初感到好奇，覺得好玩，時間久了，也開始實踐，因而小小年紀便開始迷戀於賭博了。後其父因賭被仇家殺死。
張有財死後，張作霖的母親王氏隻身支撐家業，貧病交加，度日如年。沒辦法只得變賣了房子還了債，舉家遷往廣寧南二道溝孃家棲身，當時，張作霖年僅15歲，在外祖父家時，兩個舅舅對張作霖很好。
但因父親的影響，張作霖也是遊手好閒，不務正業。母親送他去私塾，他三天打魚，兩天晒網，不肯受先生管束，不到一年即輟學。王氏又怕他學壞，東挪西借幾吊錢讓他做小買賣，先讓他賣包子，他邊吃邊賣，賣的恐怕沒有吃的多，自然賠本。
而後張作霖又當貨郎，好容易賺了幾個辛苦錢，他又送進了賭局，最後把貨郎擔一併“交”給了賭友。王氏傷心不已，讓他學木匠，他嫌辛苦，甩手不幹。就這樣一個人，幹啥啥不成，可卻有些小聰明。王氏為生活所迫，改嫁村中的獸醫，耳濡目染，張作霖學會了相馬醫馬的本領，而後自己也當了獸醫。
張作霖的“聰明”還有一件事可以為證。有一次，因為欠鄰居的錢，王氏愁眉不展，張作霖腦子一轉計上心來，他故意把鄰居的肥豬趕入水池中，豬受驚大叫，張作霖也大叫：“豬落水了。”村人聞聲趕來。張作霖奮勇跳下水，託著豬上了岸。鄰人感激不盡，對張作霖大加誇獎，並對王氏說，你所欠的錢就不用還了，算是對你們的謝意。
獸醫沒幹多長時間，張作霖嫌呆在家裡太悶，又跑到附近的大車店當夥計，給客人捧茶倒水，套車卸車。大車店南來北往的各種人物給張作霖講了很多外面世界的情況，遼西巨匪馮麟閣也曾住過這個店，和他談了許多有關土匪的生活，並引誘他入夥。
在大車店幹了二、三年，張作霖流浪到營口與一班流氓賭棍廝混。甲午戰爭爆發時，在營口街頭遊蕩的19歲的張作霖，在熟識的清軍小官援引下，投到了宋慶標下馬玉昆部的趙得勝營。由於他精於騎射，曾被提為哨長。然而清軍移防關內時，他便開小差回小黑山了。
回家以後便自吹自擂，趙家廟地主趙佔元看中了他，把二女兒許配給他。趙家女張作霖當貨郎時就認識，張作霖賣針線，趙家女買針線，兩人暗生情愫。結婚後，張作霖搬進了岳父家，他不改舊習，一有錢便去賭局鬼混。趙佔元夫婦苦口婆心地勸他謀個職業，張作霖於是重操舊業，在營口附近大高坎鎮設了獸醫樁子，又當上了獸醫。這時，附近一帶一些村鎮已經成立了“保險隊”，這些“保險隊”大多是馬隊，常到他那裡醫馬，因而張作霖結交了一些“保險隊”小頭目和土匪。
一次，張作霖賭輸了，沒錢還賭債，一群無賴逼著他還錢，沒錢則扒衣服。張作霖冒著刺骨的寒風落荒而逃，幸而遇見了豆腐鍾三，鍾三脫下自己的羊皮背心給他禦寒。賭徒們便逼鍾三追回背心，鍾三沒辦法，騎著驢趕上張作霖。看見張作霖的狼狽樣，鍾三惻隱之心大起，不僅沒要背心，而且把賣豆腐的錢以及那頭驢一起送給了他，張作霖遂得以逃脫。鍾三的情誼，張作霖感激涕零，一直銘記在心，以期厚報，張作霖當上督軍和大元帥時，把鍾三請到奉天和北京，於是中南海“大元帥”府裡便出現了一位常來赴宴的鐘三爺。
久賭無好事。由於在賭場和別人吵架，張作霖以及其二哥張作孚被人以“通匪為匪”的罪名告到廣寧縣，而後被捕，送到省裡受審，幸而岳父託人作保，以“查無實據”被釋。出獄後的張作霖一方面賭場不得意，一方面在村裡又抬不起頭，終日悶悶不樂。無聊之極，他毅然離家找到了巨匪馮麟閣，經馮介紹，加入了廣寧董大虎匪幫。當了“鬍子”以後，張作霖主要充當“藍把子”，負責“看票”，即看守人質，他感到沒有什麼意思，不久便又脫離了土匪隊伍。
當時遼河沿岸許多村鎮的豪紳地主，為保衛身家財產，勾結土匪，建立了“保險隊”之類的地主土匪武裝。張作霖受此啟發，請求岳父出面聯絡附近村屯的大戶，網羅散兵遊勇30餘人，在趙家廟成立了“保險隊”，而後“保險隊”擴大，張作霖移到了北鎮中安堡鎮。“保險隊”名義上維持地方治安，其實是為地方有錢有勢的人“保險”，但是所有攤派一律按地畝分派。在坐地抽餉之餘，“保險隊”還經常去“保險區”外勒捐，倘若不成，便綁人為質，甚至公開搶擄，實是“合法”的土匪。
既然搶擄，就難免和其他“保險隊”發生衝突。有沙俄匪軍支持的金壽山匪股勢力較張作霖大，本想招收張作霖，被張作霖頂了句“我的事你管不著”。於是策劃他的乾兒子打入張作霖部，在1901年2月(舊曆臘月三十日)的一天，襲擊張作霖。張作霖狼狽逃竄至檯安縣八角臺鎮，受到張景惠的歡迎。
張作霖能說會道，又比旁人多個心眼，張景惠便願意讓出第一把交椅，讓他當“大當家”，自己為“二當家”。張作霖為了避“鳩佔鵲巢”之嫌，推辭一番。張景惠誠懇地說：“你的才幹勝我十倍，第一把交椅非你不可。”張作霖於是當上了八角臺的團練長。從此，張景惠成了張作霖的重要夥伴，一直相依為命。
張作霖在八角檯安了身，卻未安下心，因為周圍還有許多匪幫騷擾，他於是聯絡鎮安縣紅螺硯的湯二虎、湯玉麟，殺了土匪頭子項昭子，擒殺海沙子，擊敗“五大哨”(五幫匪徒)，聲勢大振。而後又吞併其他小股土匪。瓦匠出身，遠在錦州的張作相也前來投靠。
張作霖深知自己要生存下去，必須取悅當地土豪劣紳。於是他交結了不少地方“名士”，如舉人李雨濃，附生陶允恭、方克猷，貢生張程九，秀才杜泮林等。
出身“綠林”的張作霖決不是什麼殺富濟貧、扶危救困的那種“綠林好漢”，相反，他是依附土豪劣紳的土匪。
為了升官發財，張作霖帶領手下人用計，得到奉天將軍增祺夫人信任，主動受撫招安，歸順朝廷，並在日俄戰爭、剿滅其他土匪的過程中不斷壯大自己的勢力。
遼西匪患嚴重，清政府也無可奈何。1901年2月，署新民廳撫民同知廖彭向盛京將軍增祺建議收編“保險隊”，以補官兵不足，加強地方統治。
張作霖和一般土匪不同，一般土匪不過是要錢要財，而張作霖卻另有野心。他和張景惠等商量說，我們長期在綠林吃黑飯，是沒有什麼出路的。我看不如借現有的一點本錢，向官家討價，張景惠等表示聽“當家的”。張作霖接著說，如果大家同意，我自有辦法。不過在未實現之前，必須嚴守祕密，否則事情未成，遭人笑話。
奉天將軍增祺
眾人問有什麼辦法，張作霖壓低聲音說，奉天將軍增祺在沙俄入侵之時帶家眷逃到錦州、義州一帶，後來同到奉天。前些日子聽說已派人接他的家眷回奉天，要從我們這兒通過，這就是我們的大好機會，到時候大家都得聽我的命令行事，違者絕不客氣。
不久，增祺夫人和隨從乘著十幾輛馬車行至新立屯附近的一條荒僻路徑，被張作霖連人帶物全部截住，一併押解到新立屯街上。增祺夫人心中恐慌不已，錢財被搶自是意料之事，只恐自己受辱。誰知這股土匪雖不是彬彬有禮，倒也有幾分恭敬，增祺夫人和侍女被安置在最好的房舍，所攜財物秋毫無損。
張作霖則親自招待隨行中的重要人員，陪他們躺在榻上抽鴉片，等癮君子們陶陶然之際，張作霖愁眉不展，哀嘆道：“我們當土匪的也是被逼上梁山哪!”隨行人員本來以為不死即傷，備受凌辱，誰知受到禮遇，“劫匪”招待頗周，連自己的嗜好也得到滿足，有些受寵若驚，於是問這個“當家的”貴姓。張作霖答道：“我就是張作霖。”然後坦率地說出了自己的身世，並表示願意為國家效力，隨行人員便將此事報告給增祺夫人。增祺夫人大為驚奇，決定和張作霖面談。
張作霖心知機會難得，於是整整衣冠，入室行大禮參拜，恭恭敬敬地說道：“張作霖冒犯夫人，願聽吩咐。”增祺夫人在說了一番勸降的話之後，許諾道：“只要你能保證我們一行平安到達奉天，我一定向增將軍建議收編你們這一部分力量為奉天地方效勞。”張作霖大喜，說道：“假如我張作霖能帶眾兄弟投到增將軍麾下，為國家效命，有生之年，決不忘掉增太太的大恩大德。”
增祺夫人回到奉天，立即把事情告訴了增祺，增祺大感詫異，遂命新民府知府曾韞辦理此事。1901年9月，張作霖經當地士紳陶允恭、張程九等18屯紳商各界代表作保，由新民府知府手下紅人趙經丞引線，晉見曾韞，表示願接受清政府收編，效忠清廷。為抬高自己身價，張作霖除率原來所部約200餘人接受收編外，還臨時網羅其他匪股約100餘人，總計300餘人，被編為遊擊馬隊一營，步隊一哨。
這樣，張作霖由地主武裝“保險隊”頭目經主動受撫，當上了清朝地方官軍的營官。當張作霖到奉天“謝委”時，督軍署總參議問他為什麼願意受撫，張作霖坦率地回答：“我想升官發財。”
1903年8月，清政府對地方軍隊進行整編，張作霖與新民街巡捕隊合併為遊擊馬隊營，人數減至185人，張作霖任遊擊馬隊營管帶。1904年，遊擊馬隊營由民間籌餉改為政府發餉，張作霖再也不擔心被看成“鬍子”、“土匪”或“馬賊”，而是由國家發餉的堂堂營官。
1904年2月，爆發了日俄戰爭，日俄雙方都千方百計籠絡遼河沿岸“鬍子”、“馬賊”、“保險隊”為其效勞。遼西悍匪金壽山、馮德麟、杜立三甘心附逆，投靠日本主子，張作霖則採取了雙管齊下的方針，一會兒附俄，一會兒又投日，左右逢源。戰爭初期，俄軍強大，他就接受俄軍的金錢和槍械，暗地裡幫助俄軍蒐羅糧草，提供情報；隨後日本軍隊逐漸佔了上風，他又不惜在日軍面前立誓畫押，為日軍效勞。可以說，在日俄戰爭中，日本人雖然沒有重視這位小小的營官，但日張勾結的萌芽自茲而始。
盛京將軍趙爾巽
日俄戰爭中的投機使張作霖的武力大大增強，1905年，遊擊馬隊營擴為3個營，1906年擴為5個營，張作霖任五營管帶。而後盛京將軍趙爾巽設立巡防營務處，任命張錫鑾為總辦，把全省地方軍隊編成八路巡防營，張作霖所部五營為右路，馮德麟部為左路。可見，後起的張作霖與老前輩馮德麟已經並駕齊驅了。
張作霖的“青雲直上”與他善於討好上司大有關係，得知總辦張錫鑾愛馬，張作霖即贈以良馬，新民知府貪利，則饋以金錢；為巴結張錫鑾，他還拜其為“義父”。“義父”回奉天，他親率250名騎兵護送，奉天當局財政困窘，他又將白銀萬兩呈給“義父”。這樣一個體貼上司的下屬，怎能不得到上司的青睞和重用呢?
張作霖在受撫前，和杜立三有過沖突，杜揚言要決一死戰。後來經鎮安縣大地主“湯二爺”調解，杜、張結為“金蘭之交”。1907年5月，東三省首任總督徐世昌密令發審處委員殷鴻壽會同張作霖設法剿滅杜立三。張作霖頗為躊躇，他倒不是顧著與杜立三的“金蘭之交”，而是杜立三手下人馬眾多，加之又老謀深算，狡詐多疑，強攻不但沒有把握，甚至會賠了老本，考慮良久，張作霖決定設計誘殺。
杜立三
張作霖先派人以結義兄弟名義向杜立三賀喜，說省裡專門派了委員前來招撫，給他的官銜比自己還高，請他速來新民面見委員。杜立三怎會輕易上當，他母親和弟弟也認為凶多吉少，拒絕前往新民拜會殷委員。
一計不成，又生一計，張作霖請來了黑山秀才杜泮林，杜泮林是杜立三的同宗叔父，由他勸駕，杜立三不能不掂量掂量。杜泮林輕信了張作霖的花言巧語，又親見了省裡派來的委員，證明確實是招撫，絕非欺騙，於是慨然寫信勸杜立三接受招安。杜立三見了堂叔的親筆信，覺得堂叔講得很有道理，替他想得很周到，於是做了嚴密佈置後，於1907年6月6日，親率隨從10餘人到新民府會見殷鴻壽和張作霖。
隨從人員留在招待處，張作霖陪同杜立三晉見殷委員，殷鴻壽本來打算同杜立三一同吸鴉片，乘機捉拿。誰知杜立三機警過人，一直坐在背靠牆、面向大家的地方。張作霖見第一招不成，於是和殷鴻壽起身。殷高聲叫道：“送客!”杜立三起身走在前面，走到門口，便轉身請殷委員“留步”。正在這時，有人從背後撲上來將其緊緊抱住，幾個彪形大漢把他按倒在地，摘下手槍，捆綁起來。當晚，杜立三就被槍斃了。
杜泮林得知後，才明白自己上了張作霖的當，責備張作霖“賣友求榮”，張作霖厚顏辯解他是為“地方除害”。杜泮林毫無辦法，對張作霖說：“你向總督請功去吧!”杜立三死後，其部下有的逃散，有的被張作霖收編，有的則成為辛亥革命黨人組織武裝的對象，杜立三的夫人鄭梅生則懷著復仇之心參加了辛亥革命。
擒殺杜立三，使張作霖不但吞併了杜立三的部分武裝，勢力大增，而且接收了杜立三的財產，人財兩得，並且受到了清政府的獎賞，“蒙賞銀兩千兩”，升為奉天省巡防營前路統領，真是名利雙收!
由於張作霖剿匪有功，又被調到遼源、洮南追剿為沙俄收買的蒙族匪幫。
蒙匪陶克陶胡投靠沙俄，擾亂地方，使徐世昌大為憂慮，幾次派人剿捕不成。1908年，特派張作霖部攻打陶克陶胡。此時，張作霖所部已由5營擴為7營，隊伍增至3500多人。張作霖為了升官發財，在追剿蒙匪中非常賣力，他率領軍隊在漠北荒原與陶克陶胡、白音大賚等死戰。有一次，他率軍在沙漠中行軍800餘里，窮追陶克陶胡。1908年，終於擊斃白音大賚，並把陶克陶胡逐出內蒙。
然而，張作霖所部軍紀敗壞，沿途燒殺搶劫無惡不作，真是名副其實的“官匪”。在“官匪”剿土匪的過程中，廣大蒙漢人民災難深重。當時有些蒙古族人民，對張作霖恨之入骨，編成歌謠說：“白了頭髮掉了牙，沒見過紅鬍子來駐紮。”
張作霖受撫是為了當官發財，辛亥革命則給了他當更大的官、發更多財的機會。
武昌起義後，東北地區的革命黨人準備以不流血的方式使東北脫離清政府而宣佈獨立。經過協商，大家推舉藍天蔚為關外革命軍“討虜大都督”，張榕為奉天省都督兼總司令，吳景濂為奉天省民政長，並研究如何迫使趙爾巽出走，誰知會議內幕被叛徒李鶴祥向趙爾巽告密。
趙爾巽立即召集立憲派頭子袁金鎧等地方士紳商量應對措施，袁金鎧跪在趙爾巽面前聲淚俱下，願以身家性命擔保，重用巡防營統領張作霖。為欺騙群眾，趙和袁密謀成立“奉天國民保安會”。11月11日晚，他們召開籌備會，推舉趙爾巽為總會長。12日下午在諮議局召開了軍、政、農、工、商、學各界自治團體代表大會。趙爾巽親自到會，張作霖緊緊跟隨，張景惠等則密帶手槍在會場內外警戒。
大會首先由趙爾巽講話，他說了一些要各界人士各務其業，不要“稍有異動”的話，隨即被革命黨人趙忠鵠打斷，要求他宣佈東三省獨立，會場立刻緊張起來。張作霖迅即登上講臺，掏出手槍往桌上重重一拍，大聲嚷道：“我張某身為軍人，只知聽命保護趙大帥，倘有不平，我張某雖好交朋友，但我這支手槍，它是不交朋友的!”暗藏在會場中的湯玉麟等紛紛掏出手槍，橫眉立目。大家被這種土匪式的行為驚得目瞪口呆，手無寸鐵的代表和革命黨人只好散去。
在張作霖的支持下，“保安會”順利地成立了，舊官僚充斥其間，張作霖當上了軍事部副部長，革命黨人只有張榕佔了一個席位。
此次事件後，革命黨人拋棄了“和平改革”的幻想，準備武裝起義，11月17日在瀋陽成立了“聯合急進會”，張榕為會長，派其他人員分赴各地發動起義，這引起張作霖和其他反革命勢力的注意。
由於張作霖在辛亥革命中“辦事得宜”，袁世凱特地致電加以鼓勵，並特別賞給張作霖約值兩千金的軍需物。張作霖也回敬袁世凱人蔘一支，約值六千金。這樣，取得了奉天統治者信任的張作霖，又博得了袁世凱的賞識。
藍天蔚
孫中山就任臨時大總統以後，任命藍天蔚為北伐軍都督。1912年1月中旬，北伐軍到達山東煙臺，準備在東北沿海登陸。為免除後顧之憂，趙爾巽與袁金鎧商議，決定由袁和張作霖商定除去聯合急進會會長張榕。
1月23日晚，張榕為拉張作霖，在奉天平康里德義樓宴請張作霖。酒飯將畢，袁金鎧對張作霖說：“蔭華（張榕字）在蜚紅館有個新相知，名小桃，雨亭可以看看去。”於是張榕和張作霖邊談邊走，進了蜚紅早已準備好的房間，兩人一面抽鴉片，一面懇談。一會兒，張作霖藉口告辭，張榕不疑有他，仍陶醉在雲煙霧海之中，突然衝進兩個軍人，舉槍連連射擊，張榕當場死亡，血流滿床。這兩個軍人都是張作霖的部下，一個叫高金山，一個叫於文甲。
於文甲隨即領人抄了張榕在小北關容光衚衕的家，張榕家損失財產共合現銀5．53萬餘兩。當晚，聯合急進會祕書田亞賓被湯玉麟殺害，家也被抄，張榕的好友寶昆也被金壽山殺害抄家。此後數日，奉天省城血雨腥風，張作霖大肆搜查革命黨人，凡他們認為形跡可疑或剪去髮辮之人，即行砍頭或關押，全城人一夕數驚，張作霖“殺禿子”的恐怖氣氛瀰漫全城。事後，趙爾巽在張作霖報告殺害張榕、田亞賓、寶昆的旱文上寫道：“該統領不動聲色，連斃三凶，實足以快人心而彰顯戮。”
張作霖“殺禿子”有功，奄奄一息的清王朝任命他為“關外練兵大臣”，賞戴花翎，所部改為二十四鎮。張作霖受寵若驚，在清廷風雨飄零之際，他主張“勤王”保衛小朝廷，甚至反對袁世凱的“假共和”。然而一看到清朝氣數已盡，加上袁世凱密信許諾重用，張作霖搖身一變，效忠袁世凱，並通電致賀袁當選為臨時大總統。
袁世凱
清帝退位後，趙爾巽由清朝的東三省總督變成了中華民國的東三省都督，東北人民依舊生活在水深火熱之中，自發性的反帝反封建鬥爭此伏彼起，連張作霖所部巡防營的兵士也有轉向革命方面的。
2月16日晚，各路巡防統領在張作霖公館打牌，弄得烏煙瘴氣。跟隨張作霖多年的馬弁樑二虎按革命黨人的指示，想下手擊斃這群民賊。不料在抽手槍時，被金壽山從穿衣鏡中發覺。金壽山大喊：“不好，有刺客!”眾人慌忙躲藏，樑二虎被衛兵擊斃。
張作霖的部下營長劉景雙經革命黨人介紹與杜立三的夫人鄭梅生結婚，夫婦二人率騎兵200人，時刻準備對張作霖下手，為杜立三報仇。然而由於張作霖在樑二虎事件後，防範甚嚴，終未得手。
1912年6月19日，即舊曆端午節晚上，奉天省城部分官兵在革命黨人孫祥夫的鼓動下譁變。張作霖乘機排除異己，大開殺戒，被殺者達200多人，以後張作霖又陸續遣散“有嫌疑”的官兵兩千多人。這樣，張作霖部幾乎獨霸了奉天省城。
9月11日，袁世凱將張作霖部改編為陸軍第二十七師，張為中將師長，其親信湯玉麟、張景惠、張作相、孫烈臣等分任該師的旅長、團長，駐防省城。張作霖的部隊繼從“鬍子”變成“巡防營”後，又從“巡防營”一躍升為堂堂正正的“國軍”二十七師了。從此，張作霖掌握了東北最凶悍的一支反革命武裝，在東北地區成為左右奉天舉足輕重的大人物了。
武裝強懼東北稱王
張作霖雖然有一支強悍的武裝，又左右了奉天，然而他想稱霸奉天，進而稱霸東北並不容易。因為在東北既有日本人支持的“宗社黨”，又有吉、黑兩省督軍，何況上有張錫鑾，下有馮德麟，張作霖的處境可謂極其微妙。明白了袁世凱對他是恩威並施，既籠絡又限制，張作霖便裝出一副大老粗的面目，揚言：“我是一個武人，不懂政治。”
1913年3月31日，袁世凱以“籌商邊疆要政”為名，首次召見張作霖，對張在辛亥革命時期的“功績”大加誇獎，並表示“本總統有厚望焉”。張作霖則把自己蒐括的財產拿出一部分作為軍餉以表示效忠袁氏，袁世凱則報之以李，獎給他一等勳章。在宋教仁案發生後，張作霖領銜率東北反動將領為袁世凱塗脂抹粉，指責黃興圖謀私利，表示自己願為前軀鎮壓革命。
儘管張作霖一再表示“忠心”，袁世凱仍不放心。1914年8月，袁企圖以僅次於都督地位的護軍使之職，調張離開老巢至內蒙。張作霖自然不願，他致電給陸軍總長段祺瑞說：“辛亥、癸丑之役，大總統注意南方，皆作霖坐鎮北方之力”，“中央欲以護軍使將軍等職相待，此等牢籠手段，施之他人則可，施之作霖則不可。”分明是抱怨袁世凱過河拆橋。此外，張作霖還鼓動奉天豪紳鉅商上書挽留，迫使袁氏收回成命。
其時張作霖已成尾大不掉之勢，他在奉天呼風喚雨，使張錫鑾無法督政，一再向袁氏辭職。這樣，張作霖便開始謀求奉天的第一把交椅。
張錫鑾
1915年，張作霖兩次入京結交政府要人，他先拜段芝貴為師，由段帶他引見袁世凱。袁世凱對他溫語慰問，並賜“虎柄軍刀”一把，張作霖為打消袁世凱的疑慮，故意裝粗賣傻，見袁跪地行大禮，口出髒話。他還囑咐隨從，把前門外八大胡同所有妓院統統包下，給袁世凱“老粗無大志”的印象，以期得到提拔。袁世凱欲帝制自為時，張作霖又竭力吹捧，發出“速正大位”的密電。
但是，張作霖想做奉天督軍的陰謀並未如願。1915年8月，袁世凱派親信段芝貴任奉天督軍，張作霖雖然心中不快，但對段仍曲意奉承。段芝貴坐鎮東北，是為了助袁稱帝，而張作霖在這件事上，比段芝貴有過之而無不及。當奉天表決國體投票時，他親率人馬荷槍實彈監視投票，造成了清一色贊成君主的“民意”，他還密電袁世凱“如帝制不成，死不再生”。此種不要命的態度，在袁世凱的親信中，也是少見的。
袁世凱稱帝后，論功行賞。張作霖以一師長資格，破格封為二等子爵。然而張作霖大失所望，問“子爵是怎回事”?聽到“子爵下於伯爵一等，再上為公為侯”，張作霖大怒道：“吾何能為人作子?”於是請假表示不滿。
袁稱帝后的袁世凱不久便四面楚歌，張作霖對此早有對策。他一方面對袁表示願為南征先鋒，等騙到了餉械之後，又翻臉變色，在“奉天人治奉天”的口號下，驅逐老師段芝貴，奪取督軍大權。
自稱“不懂政治”的張作霖在“驅段”這齣戲中表演得異常精彩。他利用馮德麟與段芝貴的矛盾，讓馮出頭角鬥，自己在幕後操縱。
馮德麟
馮德麟為“驅段”找到了張作霖，說：“段芝貴是清末的敗類，貪官汙吏，人所共知，現在他仍然居奉天人士之上，我們決不甘心，應趕快驅逐他，由奉天人來幹一幹，雨亭以為如何?”張作霖一聽正中下懷，於是向馮“請教”驅段的辦法。馮說：“這不難。由我們二十八師唱黑臉，和他正面衝突，由二十七師唱白臉，用‘嚇’字向他威逼，使他畏罪而逃。張作霖心中暗喜，鼓掌贊成說：“好!讓各方面人也知道，我們奉天人是不好惹的。”
於是張作霖佈置軍隊夜間開槍鬧事，自己到“將軍署”對段說：“馮德麟把兵開來了，要進兵瀋陽，反對將軍。”段芝貴忙問怎麼辦，張作霖道：“不要緊，我有防備。”段芝貴剛安下心不久，張作霖又要報告：“這回馮把二十八師全開來了，我也沒有辦法。”並聲稱二十八師和二十七師部分官兵聯絡奉天各界團體要懲辦帝制禍首。
聽到要懲辦帝制禍首，段芝貴渾身發抖，又問怎麼辦。張一言不發，在桌上大書一個“走”字。段芝貴如夢方醒，馬上致電中央要求去天津養病，並調官款二百萬，軍火若干，乘專車赴京。段離奉時，張作霖向他贈送大批禮物，並滿臉戚容作悲傷狀，盼望段早日回奉，背地裡張作霖卻通知馮德麟，攔截段芝貴，向他索取私帶的公款和軍火，讓他當眾出醜，無臉再回奉天。
當段芝貴專車到達溝幫子車站時，馮部汲金純指揮的一個團，由邱團長帶領登車檢查。邱某上車後即向段芝貴宣讀奉天軍民團體打來的電報，指責段為帝制禍首，又攜款畏罪潛逃，希望汲旅長截住段芝貴押赴瀋陽依法懲治，段芝貴嚇得失魂落魄，狼狽不堪，擔心回瀋陽老命不保。這時，張作霖又致電讓專車通行。
段芝貴
正當段芝貴向袁世凱哭訴馮德麟的無理時，張作霖密謀袁金鎧起草了《奉天保安會章程》，由袁金鎧出面，成立自治期成會，奉人治奉。袁世凱大吃一驚，在段芝貴的極力推薦下，任命張作霖為盛武將軍督理奉天軍務併兼巡按使，馮德麟為軍務幫辦。袁世凱死後，改稱為奉天督軍兼省長。這樣，藉著全國反袁，張作霖陰謀得逞，攫取了奉天軍政大權。
因督軍一職，張作霖與馮德麟勢同水火；因任用新人，又與湯怒目相向。馮、湯二人攜手反對張作霖，但最後還是敗在張的手下。張鞏固了自己的位置，成為說一不二的“奉天王”。
張作霖接到奉天督軍的任命時，一喜一懼，喜的是多年的目的已經達到，懼的是馮德麟發難，於是演了一出假退讓的戲。他立即召集所有弟兄開會，會上痛哭流涕，大罵段芝貴陰險小人，離間兄弟感情，併發出通電，力辭任命，力薦馮德麟做督軍，說奉天局面非馮不能安撫。北京政府覆電不準，張作霖再次請辭，再次不準。最後，湯玉麟說：“你一定要辭，北京政府要是另派一位外省人來，我們怎樣辦?我看還是就了吧。”大家紛紛表示說得對，張作霖才勉強就任。
湯玉麟
馮德麟也不是三歲小孩，張作霖幾滴眼淚再金貴也抵不上督軍大權呀!於是馮德麟堅持不就軍務督辦一職，閉門謝客。張作霖親自登門，低聲下氣地說了許多好話，馮德麟懶洋洋地提出兩個條件，另設軍務幫辦公署，其組織與督辦公署一樣。這明擺著是搶張作霖碗中的肥肉，張作霖怎肯同意，但他也不當面回絕，卻電請袁世凱調解。袁世凱則說幫辦公署不便另設，幫辦公費每月可撥15萬。張作霖於是拿了袁世凱的電報和15萬去見馮，馮如數退還，堅請辭職。
張作霖又派二十五旅旅長孫烈臣攜款30萬拜會馮。馮回到省城時，張作霖又親往拜見，馮德麟冷冷地接待了他，也不回拜，並拒絕出席張為他準備的接風酒席。張作霖卻表現了寬容大度，把酒席抬到了馮府，並招來十餘名歌妓助興。
在張、馮矛盾日益尖銳之際，又發生張作霖和部下湯玉麟之爭，馮德麟乘機聯合湯玉麟反張。
張作霖任督軍後，任用了一批新人，如談國恆、楊宇霆、王樹翰、王永江等。張作霖自比漢高祖劉邦，大言不慚地說：“吾此位得自馬上，然馬上得之，不可馬上治之。”任用新人引起了老部下的不滿。
湯玉麟時任省城密探隊司令，其所部胡作非為，常用軍權侵犯警權，而出任奉天警務處長兼省會警察廳長的王永江對此絕不寬容，一次把湯的部下宋某逮捕下獄。湯玉麟向張作霖發牢騷：“天下是軍人槍桿子換來的，王永江憑什麼功勞，高高在上管轄軍人?”張作霖先是一頓臭罵，然後說道：“槍桿子能打天下，不能治天下，你們懂什麼?你們給王岷源(王永江號)牽馬扶鐙都不配。”湯玉麟自此對王永江嫉恨不已。
1917年春節，湯玉麟等在省城設宴，招待“省中諸長吏”，卻惟獨不請王永江，張作霖駕到後沒有看見王永江，心生不滿，查問為什麼不請王處長。孫烈臣應聲答道：“我們把王漏掉了。”張作霖聽此頓時暴跳如雷，大為惱火地說：“我看上的人，你們就反對，我用定了這個姓王的啦!誰反對誰就辭職。”而湯玉麟頂撞張作霖：“你甭罵街，辭職算不了什麼。”兩人不歡而散。
王永江乃張作霖新啟用的左右手之一，張既自詡為漢高祖劉邦，要招納地方賢俊，對於王永江這樣的得力助手，他當然要極力庇護之。因此，湯玉麟宴“省中諸長吏”卻不請王永江，既是對王本人的輕蔑，也是對張作霖的不恭和反抗，張作霖豈能受這口氣?
也因此，面對湯玉麟和其他受其煽動的武將遞交上來的，要求把王永江撤職的呈文，張作霖使出其“綠林”時代的作風，“把呈文撕得粉碎”，指著湯玉麟的臉破口大罵，完全沒有一點點招納賢俊的“帝王風采”了。
張作霖的這一作法，給了馮一個絕好的機會，他趁機與湯勾結起來，共同對抗張作霖，要求張任命馮為省長，湯為二十七師師長，否則他們將自由行動，並要求北京政府罷免張作霖。而且，他們還採取積極行動，一面招募土匪，策反軍隊，一面派人擾亂省城。張、馮、湯之間的矛盾步步升級，大有一觸即發之勢。
在這種緊張局面之中，長於謀略的張作霖，並不著急親自動手去討伐馮、湯二人，而是積極尋求各方面的支持，在勢力上先壓倒對手。
首先，張作霖召開了二十七師全體團、營長會議，團結了內部；過去一度附和湯玉麟的孫烈臣、張景惠、張作相等，見“玉麟欲不利於作霖”，都站到張作霖方面，表示擁護“張將軍”；洮遼鎮守使吳俊升，也趕到瀋陽，向張作霖表示：“若是大帥想打，俊升帶隊打前敵。”集體效忠，使馮、湯二人的策反成效付之東流。
黎元洪
其次，張作霖還設法取得了北京政府總理段祺瑞的大力支持。本來，馮、湯二人也有北京政府總統黎元洪的支持，但苦於黎元洪有職無權，北京政府實權在總理段祺瑞手中。黎元洪曾派他的祕書持信到新民與湯玉麟聯繫，不料此信被張作霖所得，張立即將此轉給段祺瑞，段馬上致電張作霖，表示動員第九師和第十三師協助奉天“戡亂”。不僅如此，張作霖還通過他的日本顧問，求得日本的“諒解”和支援，早有獨霸東北之意的日本對此當然是求之不得了。
面對張作霖如此強大的靠山，馮德麟吃不消了，乾脆先偃旗息鼓，抽身撤退。因此，當湯玉麟到北鎮想和他聯合時，他“拒而不納”。湯玉麟無奈，只好逃往醫巫閭山寨做個山大王自保，但此時張作霖卻尋上門來。1917年3月29日，張作霖下令免去湯的旅長職務，任命鄒芬代理五十三旅旅長，並命五十四旅旅長孫烈臣和騎兵團長張作相，討伐湯玉麟。此時的湯玉麟再也沒有當初宴會上頂撞張作霖的勇氣了，他落荒出逃，投奔到了辮帥張勳麾下。
張、湯之爭以湯玉麟的大敗而告終，馮德麟雖然偃旗息鼓，自動退出與張作霖的對抗，但他並不完全是因為害怕張才退出，而是為了保存實力以圖再起，因為他手中仍控制有二十八師。張作霖對此也不敢掉以輕心，他不放過每一個時機以吃掉馮德麟來實現他的霸業。
機會終於來到了。1917年7月，辮帥張勳上演復辟醜劇，張作霖略使手腕，便將馮德麟擊倒在地。
張作霖的兒女親家張勳
事情是這樣的：張作霖的兒女親家張勳在策劃復辟時，張作霖是大力支持贊成的，因而頗受辮帥的優待。同時，馮德麟也積極參與其事，想借此而建其“功業”。但當復辟進行時，機警的張作霖見贊成者甚少，便對此事之成功率打上問號。他想從復辟中大撈好處，又不想受牽連而損霸業。正當此時，袁金鎧又為其出謀劃策：“馮德麟因你升為督軍，時有不平之色……莫若令其入京，暗中參加復辟，事成大帥不失戴翎之功，不成以馮當之，臥榻前免得他人酣睡，亦調虎離山之計也。”
對袁金鎧的這番進言，張作霖“深以為然”。他惟恐馮德麟在京“為人勾引，有不利於己之行動，特電馮氏委為(奉天)全權代表……並謂如有關奉軍問題，請隨時與紹帥(張勳)接洽辦理。”就這樣，張作霖左手準備領功，右手準備推罪，還順便弄了個“抓功者”、“替罪羊”，使其橫豎逃不出自己的手心。
果然不出所料，張勳的復辟醜劇遭到了全國的強烈反對。原來支持張勳藉以趕走黎元洪的段祺瑞，見目的已達到，馬上轉身舉兵反張勳，以“再造民國”!而張作霖呢，他照事先計劃好的辦法，見張勳敗局已定，遂拋棄親家，“堅決”緊跟段祺瑞段總理，令前往天津觀望風色的代表趙錫福，晉謁段總理。段問：“張督軍派爾何來?”答：“討總理吩咐。”段聞之大喜，拍案叫好：“不料張雨亭，他還贊成民國。”一個“不料”，張大帥的真面目便顯露在眼前。就這樣，張作霖“以高騎牆頭為其本領，嗣見何方強盛，轉而去彼就此”，成了反對張勳復辟的人物了。
張作霖見風使舵，成了反對復辟，“贊成民國”的“先進”人物，卻苦了馮德麟。他在復辟時盡心盡力，以為事成之後。定能青雲直上，取張作霖而代之，卻萬萬沒有想到，翎頂輝煌，僅是曇花一現，“穿黃馬褂，紫金城內騎馬，御前侍衛大臣”頭銜沒幾天。上演了僅12天的復辟醜劇在全國的壓力之下不得不狼狽收場，馮德麟化裝成日本人出逃，到了天津車站即被曹錕所部逮捕，押送北京拘禁，7月15日，以“背叛共和罪”被免職罷官。
張作霖終於可以任意揉搓這個對頭了，馮德麟被捕的消息傳至奉天后，馮的妻子，“不得不矮下身來”，大搞“夫人外交”，求救於張夫人。這時的張作霖為了表示他的寬大，特別是為了爭取馮部官兵的好感和考慮他們多年“綠林”的“友誼”，大做好人，電請段祺瑞釋放馮德麟。段也不惜送張大帥一個好人做，以“馮參加復辟證據不足”為由，僅給以吸食鴉片罪罰金800元的處分。
從此馮德麟成了一個無聲無味無權無勇的人物，再也沒有力氣，也沒有勇氣和張作霖相鬥了，不僅如此，後來，他還和張作霖修好，並拉回湯玉麟同歸奉天。他的二十八師兵權，也就完全為張作霖所控制。馮德麟栽倒，張作霖成了說一不二的“奉天王”，欣喜之餘，張作霖的腦子又轉動起來，他在想些什麼呢?
張作霖並不滿足於當“奉天王”，他採取種種手段，先是趕走了黑龍江督軍畢桂芳、實力派人物許蘭洲，控制了黑龍江，又逼吉林督軍孟思遠下臺。控制了吉林，自己成了“東北王”。
當上了說一不二的“奉天王”，張作霖並不滿足，他意在整個東北三省，“東北王”的滋味肯定要比“奉天王”的滋味好多了。於是，他開始緊鑼密鼓地策劃兼併黑龍江、吉林兩省。對黑龍江，張作霖用的是趁亂出擊，一次得手的辦法。當時黑龍江的政局，在帝俄勢力的影響下，較為混亂，其統治者不斷易人，到1917年，局勢由“俄國道”、前海參崴總領事畢桂芳和該省實力派、陸軍第一師師長許蘭洲共同控制。但畢、許二人不和，畢桂芳有職無權，處處受許蘭洲的掣肘，許本人在黑龍江經營多年，早有奪取黑龍江省大權之意，並因此和張作霖關係甚“鐵”，被人稱為黑龍江的“張作霖”。
1917年6月，許蘭洲乘北京政府混亂(黎段“府院之爭”，張勳復辟)之機，勾結黑龍江省的兩個旅長——英順、巴英額等密謀，讓他們逼走畢桂芳，並答應事成後，“以師長位置相許”。英順等人何樂而不為?他們於是直接到督軍署，要畢桂芳讓位於許蘭洲。畢無奈，只好通電辭職。6月24日，許蘭洲率文武官員到齊齊哈爾車站“歡送”畢桂芳離職，之後，便歡喜得意地當上了督軍。
然而，一心想奪黑龍江實權的許蘭洲哪有意給英順、巴英額師長之位?他們只不過是許蘭洲“奪印”棋盤上的一粒小子而已，棄之不惜，他要他的人當師長。而英順等人在遭如此戲弄之後，也不甘罷休，決定來個反擊戰，他們趕到哈爾濱，把自己不久前所遺棄的舊主子畢桂芳追回，讓他在呼蘭繼續主持督軍兼省長的“公務”，英、巴二人並代他發表通電，痛斥許蘭洲奪權。
英、巴再次立畢桂芳為黑龍江省“督軍”兼“省長”後，黑龍江省出現了兩股勢力對峙的局面，即“擁護”畢桂芳的英、巴兩旅，佔領呼蘭、海倫一線，反抗以齊齊哈爾一帶為基地的許蘭洲。雙方似上弦之箭，一觸即發。
善於抓住時機的張作霖開始出動了。他耍出兩面手腕，派其部下孫烈臣“急行赴黑，觀察一切”，同時，一面與英順會面，獲得英順的信任及“肺腑之言”：“一切唯張之命是從”，一面又到齊齊哈爾面見許蘭洲，同樣得到許的“心裡話”：“唯雨帥(張作霖)之命是從。”在得到對峙雙方對自己百般信任的信息之後，張作霖立即致電給他的靠山之一、北京政府總理段祺瑞，保薦他的同鄉，也是兒女親家的鮑貴卿為黑龍江督軍。8月13日，鮑貴卿在張作霖的護送下到黑龍江接任，第一步成功了。
段祺瑞
緊接著，張作霖又與段祺瑞合謀，將許蘭洲所部5營騎兵和3營步兵強行調至奉天，任許為東路剿匪總司令，駐守西豐，使許蘭洲這位黑龍江省的“張作霖”成了自己的“高級俘虜”。同時，為了進一步控制黑龍江，張作霖又從奉天調去10營奉軍，由日後在西安事變中名藻一時的旅長孫鳴九率領，進駐齊齊哈爾。當英、巴兩旅長反抗奉軍入境時，張作霖又以“剿滅蒙匪”為由，調吳俊升二十九師北上，進行武裝調停。英、巴不服，想繼續反抗，卻立即被北京政府罷官免職。
曾與張作霖過從甚密，想借此而獨霸黑龍江的許蘭洲偷雞未成反蝕把米，成了張大帥的“高級俘虜”，而曾向張作霖交過心，想撈個師長之職的英順、巴英額，也賠了夫人又折兵，最後落得個被罷官免職的結果。只有張作霖，穩坐釣魚臺，大收漁翁之利，兼併了黑龍江省。
兼併吉林省，著實費了張作霖的一番苦心。原因是吉林省本身獨立性較強，況且當時內有北京政府混亂，外有帝國主義的干涉，張作霖操縱起來就不是那麼得心應手了。
張作霖吞併吉林採取的第一步是逼孟恩遠辭官。孟恩遠時為吉林督軍，在吉林經營十餘年，資格比張作霖要老。為此，張作霖大感不快。奉天在前清時為總督駐錫地，他不願範圍以內再鑽出一個“大哥”來。事有湊巧，在張勳復辟時，孟恩遠曾頗為積極，在吉林掛起龍旗，大張旗鼓地謳歌復辟，效忠溥儀和張勳。復辟失敗後，孟恩遠雖搖身一變，將自己裝扮成“擁護共和”的英雄，並將其參加復辟之罪推給其督軍參謀長高聯甲，自己潛回吉林，企圖矇混過關。
張作霖乘機抓住孟恩遠的這一把柄，策動在北京的吉林議員於貴良等，控告孟恩遠“復辟附逆”，要求北京政府罷免孟恩遠。1917年10月18日，北京政府下令，革去孟恩遠吉林督軍職位，改派田中玉為吉林將軍。田中玉何人也?乃段祺瑞親信，察哈爾都統，與日本人關係極為“良好”，派駐在此，豈不正好?
但孟恩遠卻不吃這一套，一怒之下，他乾脆調兵于吉、長之間，宣佈吉林獨立，而張作霖對北京政府的這一紙令也不滿意，他本意在於罷免了孟恩遠以後，由他直接接防吉林，卻不想他的段總理將其親信田中玉派了過來。與其讓新政敵田中玉來，還不如讓孟再幹一段為好。因此，張作霖放棄了其要求撤罷的計劃，轉而在“中央”和孟恩遠之間，採取斡旋態度。果真，在直係軍閥組織的幾省督軍聯合發表的留孟宣言的壓力下，北京政府不得不允許孟恩遠“督任延期”，吉林同時也取消了獨立。
張作霖的原意是讓孟恩遠再幹一段時間就可以下臺了。事與願違，當時北京政府中又爆發了皖、直兩系軍閥在對西南護法軍政府的政策上“主戰”與“主和”的分歧和鬥爭。皖系一度敗北，北京政權由直係軍閥王士珍執掌，而孟恩遠由於其親直態度，處境有了好轉。到後來，為了鎮壓哈爾濱和中東路俄國工人和士兵及中國工人驅逐沙俄白匪頭子霍爾瓦特的鬥爭，北京政府又派孟恩遠率兵5000人前往哈爾濱，支持霍爾瓦特。孟的處境有了進一步的好轉，其地位也開始再次牢固起來。在這種情況下，張作霖不得不改變主意，致電北京政府暫時留住孟督，等候時機的成熟。
第一個回合，由要求北京政府罷免孟督到致電北京政府暫留任孟督，張作霖失敗了。但他並不就此罷休，而是另闢蹊徑。
張作霖新闢的“途徑”是插手北京政權，企圖在中央取得一定地位之後，再捲土重來。張作霖想在中央取得一定地位，最理想的投靠人選當然是段祺瑞了，而其時，段祺瑞為了推行他的“武力統一”中國的政策，也正積極拉攏各路“英雄”，張作霖正是他心中所念之一大主力，二人於是一拍即合。
首先，段祺瑞以副總統為誘餌，拉攏張作霖派兵入關，並在張入關途中，又將存於秦皇島的軍械作為獎賞。由此，奉軍在秦皇島還上演了一幕“劫械”劇，為其發展造成了極為有利的條件。緊接著，張作霖要回報段祺瑞了。1918年3月29日，張作霖兵臨城下，向北京政府提出恢復段祺瑞內閣、增設東三省巡閱使(給自己設的官位)等要求，並在天津組成了奉軍“南征”軍司令部，自任總司令，委段祺瑞親信徐樹錚為副總司令，準備支持段的“武力統一”的政策，進行“南征”。面對這一強大攻勢，王士珍內閣驚惶失措，被迫辭職，馮國璋只好再任段祺瑞為國務總理，張、段二人配合頗為密切。
但段、徐並不是真的想給張作霖什麼，而只是利用他來給自己保駕，聰明的張作霖怎會識不破?1918年秋，他以防禦蘇俄為名，開始將奉軍從南方陸續撤回，並革除了徐樹錚副總司令的職務。果真，在同年八、九月間舉行的正、副總統選舉中，段祺瑞敗北，而張作霖的副總統美夢也落空了。但在段手中未得到的東西，張作霖卻從新北京政府手中得到了。為統一東北軍政指揮，以對抗蘇俄的革命勢力，北京政府於9月5日特任張作霖為東三省巡閱使，這與過去的東三省總督地位相似，張作霖總算有點補償了，回過頭來，他便可以借東三省巡閱使的身份，向吉林進攻了。
吉林督軍孟恩遠
此時的吉林督軍孟恩遠，為了博取帝國主義和北京政府的好感以鞏固自己的統治地位，不斷擴充軍隊，搜刮軍餉，鎮壓俄國布爾什維克黨和革命工人，引起了吉林人民的極大不滿。張作霖見此，再次玩弄其慣用伎倆，於1919年6月，唆使吉林人何宗仁等分別向國務院及東三省巡閱使署控孟縱兵殃民8大款，並分派代表赴京赴奉，懇請罷黜孟恩遠，保舉孫烈臣為吉林督軍。這一招果然靈。7月6日，北京政府即給孟一個“惠鹹將軍”，令其來京供職，調比較溫和的鮑貴卿為吉林督軍，孫烈臣為黑龍江督軍。
孟恩遠不愧是孟恩遠，他再次違令，堅不卸任，堅不離開吉林。但這時的張作霖已不是兩年前的張作霖了，他是東三省巡閱使，他要行使其“職權”。於是，他立即動員軍隊，派二十七師師長孫烈臣為南路總司令，二十九師師長吳俊為北路總司令來攻打吉林。也就在此時，日本帝國主義又插手此事，為了支持張作霖，他們在長春故意挑起事端，製造了“寬城子事件”，並向北京政府提出抗議，要長春的吉林駐軍，全部退出30裡外，待“督軍問題解決後”，才能復原。
在親日派段祺瑞控制下的北京政府，立即做出表示，下令將孟恩遠、高士儐(吉林第一師師長，主張對張作霖和北京政府進行抵抗)免職。高士儐還做了一番抵抗，但在日本的武裝干涉、奉軍的圍攻和從內部收買而瓦解，他自己也在孟恩遠的勸阻下停止反抗。孟恩遠本人則看出大勢已去，用長途電話向張作霖表示願意交出吉林政權，並說：“我上了六十歲的人，名利心很淡，現在已說服高士儐了。”不管怎麼說，總之，他是敗給了張作霖。
東北三個省，現在是一一落到了張作霖的手中了。善於經營的他，終於從一個馬賊，一個小土匪一步步高昇，經統領、師長、督軍而到獨霸三省的“東北王”。
滿蒙之王入關稱帥
軍閥混戰之際，張作霖先是聯皖抗直，後又加入八省反皖同盟。第一次入關，打敗徐世錚，成為北京政府四巨頭之一，又兼蒙疆經略使，領熱河、察哈爾、綏遠三特區，由東北王一躍而為“滿蒙王”。
當時的關內，正值第一次世界大戰結束，帝國主義對中國爭奪更為厲害，軍閥混戰連綿不絕，而主要的軍閥混戰為在英美帝國主義的支持下的直系和西南各小軍閥與日本支持下的皖、奉系之間進行。此時的皖系已沒落，奉系便開始獨自與直系爭鬥。
徐樹錚
張作霖沒有絕對的敵人和朋友，1919年6月，北京政府任徐樹錚為西北籌邊使兼“邊防軍”總司令，授予節制內蒙、新疆、甘肅、陝西軍隊的全權。徐上任後在西北積極擴張勢力，其權力比東三省巡閱使還大，這一切，引起了對滿蒙早就垂涎三尺的張作霖的不滿，他早在1918年即因徐樹錚濫用奉軍餉械發展自己勢力而與之產生過激烈的衝突。這時，他看到徐又來威脅自己的勢力範圍，更是忿恨不已。因此，他決定拋棄過去幾次與之合作過的皖系，而與直系聯合，共同反對皖系，他們祕密結成八省反皖同盟，準備倒皖，這也就有了張作霖的第一次入關。
1920年5月間，吳佩孚從湖南帶兵北上，6月初進駐豫、直各要地，徐樹錚也急忙由庫倫回京，調動皖軍準備戰爭，直皖之間形勢緊張起來。但張作霖卻不急於馬上用兵，他要耍手腕，以最小損失換取最大利益，他要坐山觀虎鬥，以收漁人之利。
徐世昌
1920年6月19日，應總統徐世昌之請，打著“調停時局”的招牌，張作霖帶兩營衛兵，乘坐架有機槍的列車進入北京。以“調停人”姿態進入北京的他，卻在暗地裡與直系首領，他的兒女親家曹錕暗通聲氣，並南下保定與曹會談。在這期間，總統徐世昌罷免了徐樹錚的西北籌邊使等官職，徐樹錚對此咬牙切齒，他知道張、曹的勾結，卻故裝不知，還以段祺瑞的名義，邀請張作霖會晤，準備下手除去張，未成。他又派姚步瀛等13人組成的暗殺團，攜12萬元鉅款到奉天暗殺張，還是沒有成功。
徐樹錚暗殺張作霖沒有結果，張作霖對徐樹錚實施“討伐”大獲全勝。則回到奉天后，張作霖立即脫去“和事佬”的外衣，致電徐世昌和段祺瑞，大訴心中“不平”，“徐樹錚罷免籌邊使職，原為政府用人行政之常。而若輩妄造蜚語，歸罪作霖。……此次在京，備患奸人百計害我三省。作霖忍無可忍，誓將親率師旅，剷除此禍國之障礙……”，表示要武力調停，並致電曹錕：“我輩骨肉至交，當此危急存亡關頭，不能不竭力相助。”同時，他調第二十七、二十八師陸續入關，分佈在京津、津浦西路和馬廠、軍糧城一帶，一時，奉軍人數達到7萬之多。
7月10日，段祺瑞下令總攻擊，12日，曹錕、張作霖聯名通電討段，直皖戰爭正式爆發，經過幾日的激戰，皖軍大敗。19日，段祺瑞自請免除本兼各職，23、24日，直奉兩軍陸續開到北京，分別接收了南北苑營房，直皖戰爭以直奉大勝而告終。
8月4日，張作霖以“勝利者”的姿態，以300名儀仗隊為先導再次“蒞臨”北京，與曹錕共同組成了靳雲鵬內閣，並與曹錕、徐世昌、靳雲鵬一起召開所謂的“四巨頭會議”，商定控制北京政權的大計，曹、張二人成為控制北京政府的中樞。不僅如此，張作霖還極力擴張自己的勢力範圍，他一方面派兵佔據津、京要地，一方面將自己的勢力範圍擴展到至察哈爾、熱河、綏遠等地，分別任命張景惠、汲金鈍等為察、熱兩都統，並使得非奉系的綏遠都統馬福祥只好“望塵景附”。
借直皖戰爭，張作霖派兵入關擴充勢力，取得了不凡的“成就”，他不僅成為北京政府的中樞人物之一，而且還以蒙疆經略使的名義，管轄熱河、察哈爾、綏遠三特區。他已經成為名副其實的“滿蒙王”了。
吳佩孚
張作霖再次問鼎北京政府，打敗吳佩孚，一時威風八面，輝煌至極，但部下郭鬆齡卻於此時做好了倒戈反張的準備。郭鬆齡倒戈被鎮壓，張又作第三次入關之美夢了。
直皖戰爭後，直奉共執北京政府之權，但由於各自野心的膨脹，他們的合作未能得到維持。由於權利的分贓不均，最終爆發了直奉之間第一次戰爭。奉軍在此次戰爭中大敗，張作霖不得不帶著滿身的遺憾和“無官一身輕”(北京政府裁撤東三省巡閱使，免去了張作霖所兼各職)的“感覺”，撤回了東北，張作霖的第一次入關到此結束。
但張作霖沒有死心，回到東北後，他攢足勁頭，準備第二次入關，問鼎中原，問鼎北京政府。時機也正慢慢降臨。
1922年直係軍閥打敗奉系張作霖後，獨控了北京政府。不久，他們便撕下和平、共和之面具，開始以其軍閥之野心和手段進行他們的統治。1923年2月，吳佩孚撕下“勞工神聖”的外衣，殘酷鎮壓了京漢鐵路工人的罷工，造成了舉國悲憤的二七慘案。10月，直系又出演一起臭名昭著的“賄選總統”的滑稽鬧劇，曹錕賄選而為總統。這一切，都引起了全國人民，乃至各派勢力的唾罵和攻擊。不僅如此，吳佩孚妄圖憑藉其實力，以“武力統一”中國。此時的直系，真是“氣驕志矜，不可一世”，對奉軍則也是“以為不堪一擊”。
面對吳佩孚不可一世的進攻姿態，張作霖在整軍備戰的同時，早已著手擬定了對直作戰計劃，此時正值直系的江蘇督軍齊燮元與皖系的浙江督軍盧永祥爭奪上海地盤(這是吳佩孚“武力統一”中國的一著棋)。1924年9月3日，江浙戰爭爆發，雖然盧永祥不敵齊燮元而敗北，但此次戰爭卻直接引發了張作霖對直系的用兵。
9月4日，也就是江浙戰爭爆發的第二天，張作霖向直系挑戰，他在給其兒女親家曹錕的電文說：
今年天災流行，饑民遍野，弟嘗言討浙之不可，足下亦有力主和平之回答；然墨跡未乾，戰令已發，同時又進兵奉天，扣留山海關列車，杜絕交通，是果何意者?足下近年為吳佩孚之傀儡，致招民怨；……弟本擬再行遣使來前，徒以列車之交通斷，不克入京。因此將由飛機以問足下之起居，枕戈以待最後之回答。
“情深意長”而結為“親家”，卻說翻臉就翻臉，並且還堂而皇之地列出許多條理由來說是為民請願，替天行道!
說罷這番“為民請願”的話後，張作霖便自任鎮威軍總司令，於9月15日將所部編為6個軍，浩浩蕩蕩向關內進發。奉軍的作戰戰略是：集結主力于山海關、九門口一線，準備在此給予敵軍以決定性打擊。而直軍也是一支相當有實力的軍隊，在吳佩孚的率領下分三軍向奉軍進擊，吳佩孚甚至誇下海口，叫嚷道：“我出兵二十萬，兩個月內一定可以平定奉天。”秀才出身的他，怎麼竟忘了驕兵必敗這一古訓呢?
9月17日，第二次直奉戰爭爆發。雙方打得難解難分，不相上下，但就總的情況來說，奉軍要略佔優勢。也是吳佩孚倒黴，就在雙方戰鬥激烈之時，直系第三軍在馮玉祥率領下從前線倒戈回京，驅逐溥儀出故宮，囚禁賄選總統曹錕，這使直軍軍心大亂，卻幫了張作霖的大忙。奉軍乘機迅速出擊，截住了敵軍退路，使直軍主力陷於奉軍的包圍之中。
吳佩孚緊急回京救援，卻已無一點希望，因為所有可能的路線全被奉軍佔領，或因其他軍閥的“中立”而無法通過，更無法派兵。到10月31日，直軍官兵除重要將領由秦皇島乘船逃同天津外，全為奉軍所俘。11月3日，不可一世的吳佩孚在奉軍、馮玉祥的國民軍的夾攻下走投無路，只好率殘部2000餘人，乘華甲運輸艦浮海南下，到英美的勢力範圍內躲避起來，他的“武力統一”的夢也煙消雲散。第二次直奉戰爭以直軍大敗而告結束。
馮玉祥
馮玉祥發動北京政變，使張作霖再次入關，進入北京政府由可能轉變為現實。因馮在發動政變後，也不知所措，只好請段祺瑞再度出山，先改組政府，維持政局，另又電請南方孫中山北上主持大計，同時也不忘北方的張作霖。由於張作霖當時所允諾的是“奉軍不入關”，馮玉祥因而比較放心。
可是控制北京，成一國之主實在太誘人了，奉軍得勝後，張作霖不惜違背諾言，將大批奉軍開入關內，並以之作為後盾，再度插手北京政權。1924年11月10日，張作霖趕到天津，14日便進駐北京。15日，張、馮、盧等共舉段祺瑞為中華民國臨時總執政，共掌北京政府。
馮玉祥雖然比較傾向革命，傾向擁護孫中山北上主持大計，但因張、段咄咄逼人，根本無意於孫中山而作罷，而張、段二人，此番又是“握手言和”，共同對付孫中山了。他們雖然表面上電邀孫中山北上，但在暗地裡卻施展種種詭計，反對孫中山的反帝革命主張，並提出什麼“外崇國信”，召開什麼“善後會議”，以和孫中山相對抗。
1925年3月12日，剛到北京不久的孫中山因病與世長辭，張、段心中的石頭終於可以落下來了。此時，馮玉祥也早已被他們排擠到京西天台山“休養”去了，過河拆橋，北京政府終被張、段二人所掌握。
張作霖在控制北京政權的同時，調動大批奉軍到關內搶奪地盤。至1925年初，奉軍已佔據了河北、山東、江蘇、安徽，到6月，其觸角已伸到了東南財富中心的上海。此時的奉系，此時的張作霖，真是威風至極，猖狂至極。第一次入關帶著滿身遺憾而回的張作霖，終於在兩年後再度入關，並“輝煌一時”，成為當時中國政治舞臺上呼風喚雨的大人物。第二次入關，張作霖不該有什麼遺憾了吧。
就在張作霖春風得意之時，一件誰也沒有想到的事情發生了。1925年11月下旬，張作霖的部將，擁有重兵的郭鬆齡，在灤州從背後給了他狠狠一刀。
郭鬆齡
郭鬆齡，字茂辰，於1882年生於奉天漁樵寨。他好讀書，且“勤敏過人”，自小熟習革命道理，後來曾參加同盟會，並與孫中山也有過接觸，也曾“與二、三同志圖謀改造東三省”，認為“欲謀三省之改造，非推倒軍閥不可，欲推倒軍閥，非準備絕大犧牲不可，餘擬回奉投身軍中謀取兵權，潛蓄勢力，以圖根本改造。”
不入虎穴，焉得虎子?果真，郭鬆齡回到奉天，在奉天講武堂當上了教官。但張作霖對郭起初並不看重，只是由於其子張學良對郭極為佩服而大力舉薦，郭鬆齡才得以在奉軍中一步步地高升。隨之，他改革東三省現狀的志願，也就日益強烈起來。
同時，由於郭鬆齡在奉軍中聲望和地位的不斷提高，及其實際能力和別具一格的作風，遭到了奉系內部新、老各派的不滿和嫉恨，他們千方百計地從各方面來壓制他。而張作霖本人對郭鬆齡也不怎麼欣賞。
這從一件事中可以看出。在第二次直奉戰爭中，郭鬆齡以其英勇在戰爭中立了大功，然而在戰後論功行賞時，張作霖卻偏不賞功高的郭鬆齡。張宗昌、楊宇霆、姜登選、李景林等皆得到了地盤，惟獨郭鬆齡一無所得，張作霖甚至對郭說道：“你還是在我手下，對練兵貢獻力量吧!”郭對此當然深為不滿，反奉之心遂決。而就在此時，在中國共產黨領導之下的革命和反奉鬥爭也迅速發展，這對郭鬆齡決心倒戈的心理準備過程，無疑是有很大的影響。
在反奉倒戈的準備過程中，郭鬆齡不僅注意到其部隊的人事安排，還聯合李景林，與馮玉祥訂立了反奉密約。早在1924年10月馮發動北京政變後，由於遭張作霖的排擠，馮玉祥對其仇恨不已，於11月22日和郭簽訂了“郭馮密約”，主要內容是：由郭鬆齡迫請張作霖下野；郭反戈與張作霖作戰時，由國民軍監視李景林行動，使郭無後顧之憂；李景林若能與郭共同行動或中立，事成後調整李為熱河都統。
就在此時，張氏父子似對郭的行動有所察覺，11月22日，張作霖突然電召郭鬆齡回奉，張學良也勸郭回奉當面陳述自己的意見。而郭鑑於自己的活動已被識破，遂不肯回奉，並決定“提前行動”，還建議張學良代父接任東北最高首腦以改革三省局面。張學良是不肯反其父親的，而郭卻又反父不反子，其中的關節，也是日後郭鬆齡倒戈失敗的一個原因吧。
郭鬆齡要行動了。22日晚，郭、李發出三個通電，即要張作霖下野、要楊宇霆下臺、宣佈奉國兩軍停止行動。23日，郭前往灤州召開了緊急軍事會議，發表演說，反對張作霖。之後，郭又將所部7萬人改編為4個軍，並制定了進軍計劃。同時，馮玉祥、李景林相繼宣佈“中立”，並通電張作霖下野，只是李景林，還不忘在通電中給自己留一條後路。
起初，郭的進攻是相當凌厲和得手的，就連北京政府的段祺瑞，也擬好了革去張作霖本兼各職的“命令”，只等郭軍進兵瀋陽城予以發表了。的確，當時張作霖對郭鬆齡的進攻束手無策，他作好了最壞的打算，但其主子日本卻不會袖手旁觀。他們還要靠張作霖這位胡帥來維持其在東北的特殊權益，還要靠張大帥這塊跳板，準備跳到關內，獨佔中國，所以，看到張作霖的統治岌岌可危時，日本站出來了。
日本先誘惑張作霖簽訂了賣國害民的“日張密約”，之後，12月8日，日本內閣做出決議，命令關東軍“速使警告，將駐屯軍，作適當配置。”當然，日本也欲拉攏郭鬆齡以盡收漁人之利，但遭到郭的嚴詞拒絕。9月，日軍開始大批出動助張鎮壓郭鬆齡。
雙方經過激戰，郭軍雖英勇奮戰，但終不敵，再加上叛將等各種原因，最終大敗。郭鬆齡、韓淑秀夫婦被張逮捕，在楊宇霆的慫恿下就地槍決，年僅43歲的郭鬆齡功敗垂成，死於張、日手中。但此次郭的倒戈，也給張作霖這個不可一世的東北王以沉重的打擊，張作霖曾因此而有“宣佈下野意見”，給他發燒的腦袋澆了一通涼得透骨的冷水。但這位胡帥不久又野心勃勃地做起了他的第三次入關，再度控制中原的美夢。
張作霖第三次入關，正值國民革命高潮之時，為了自己的“前程”，他向革命進步力量伸出了罪惡之手。邵飄萍、李大釗慘死於張的屠刀之下，他卻登上了“中華民國陸海軍大元帥”的寶座。
張作霖一鎮壓完郭鬆齡之後，便迫不及待地欲稱兵關內，妄圖第三次入主北京政府，控制北京政權，實現自己一統天下的迷夢。
當時的中國已掀起國民革命的高潮，南方廣東革命政府正積極準備北伐以推翻北京軍閥統治，北方的馮玉祥也傾向革命，被稱為“赤化將軍”，而欲“三度梅開”的張作霖是必須要“討赤”的。在日、英的策動下，張、吳(佩孚)這兩個在一年前還為死對頭的大軍閥又聯手反赤，但其中之明爭暗鬥、互相利用且又互相壓制的細節，大概只有他們二人才知道。
從1926年1月開始，張作霖以進攻郭鬆齡殘部為名，向關內進兵。同時，吳佩孚也開始進攻河南，馮玉祥的國民軍處於直奉軍隊的包圍之中，而日、英等帝國主義除了在武器彈藥上援助奉直軍外，還蓄意製造事端，助奉直軍，其中最為有名的便是1926年3月製造的大沽口事件。奉直軍利用這起事件，全力推進戰線，步步緊逼北京。4月15日，奉直軍進入北京，他們拋棄掉多年與之合作的段祺瑞段執政，獨控北京政府。直奉之間雖各懷鬼胎，同床異夢，展開了爭奪實權的爭鬥。但張作霖第三次入關妄圖爬上最高位子的美夢似乎正在成真。
在這期間，張作霖開始極力摧殘北方的革命、進步勢力。他們通緝革命領袖，查封進步報館，槍殺進步人士，著名記者邵飄萍就是在這時慘死在張的手中。這還不夠，11月14日，張作霖在天津蔡園舉行軍事會議，商討對抗北伐軍和馮軍進攻的問題，12月1日，張作霖身穿大禮服，跪拜祭天，在天津蔡園就任安國軍總司令，並發表長篇的“反赤宣言”，叫嚷道：“吾人不愛國則已，若愛國非崇信聖道不可，吾人不愛身則已，若愛身非消滅赤化不可。”他企圖以“安國軍”來“安定”中國，而助他爬上北京政權的最高權位，他妄想以這支“安國軍”來統一中國，並且認為這是“易如反掌”的，會“萬民擁戴，世界欽崇”的。如意算盤撥拉得夠美的!
組成安國軍後，張作霖又開始和中國的新軍閥蔣介石勾結起來，兩人一狼一狽，於1927年4月在中國的南北方掀起了慘絕的反共大屠殺。中國共產主義運動的先驅、中國共產黨的創始人之一李大釗於4月6日被張逮捕，先後被捕的還有楊軍山等國共兩黨黨員35人。在威脅利誘失敗之後，4月28日上午10時，張作霖以絞刑處死了李大釗和其他革命人士共20人。張作霖的這一滔天罪行，將永遠留在歷史的恥辱柱上!
蔣介石
配合完蔣介石的反共屠殺後，張作霖又遇上了蔣介石的權力挑戰，他的美夢又被蒙上了一層“陰影”。為了穩定北方，求得帝國主義的支持，為了提高自己的地位，以獲得和蔣介石討價還價的餘地，張作霖要在北京組織“安國軍政府”，要實現其總統夢了。
早在1926年12月，在黃土鋪地的儀式下進入北京的張作霖，就曾想嚐嚐最高統帥的滋味，但由於楊宇霆的反對而未果。現在，他已經急不可耐了，在部下的“擁戴”下，張作霖終於可以如願以償了。1927年6月18日，張作霖在北京懷仁堂就任了所謂的“中華民國陸海軍大元帥”，他第三次入關的目的也算是達到了。
親日抗日慘遭暗算
日本侵略者一開始並不看中張作霖，川島浪速曾打算暗殺他。由於張處處對日本人表“忠心”，寺內正毅上臺後日本對華政策有了改變，在滿洲重用張作霖，張也積權為日本人效力，二者互相利用。
張作霖和日本人的關係源遠流長，最早始於1904年日俄戰爭期間。那時，張作霖不過是小小的新民府遊擊馬隊營管帶。日俄戰爭爆發後，身為地方軍隊的一名官員，張作霖表面上遵從清政府宣佈的“中立”政策，其實則大不以為然，他把這當作發展自己勢力，壯大自己力量，從而有更多發言權的機會。為了達到這一目的，張作霖採取了投機的兩面手法，看到俄軍強大，就助俄，隨著戰爭形勢的發展，日軍明顯轉為優勢，他又倒向日本這一邊，為日軍效勞，從中漁利。
1904年12月，日本陸軍滿洲軍司令部翻譯黑澤兼次郎在新民府進行間諜活動時，曾住在張作霖家中。張作霖認為戰爭的最後結局一定是俄軍勝，因此對黑澤等“特別任務班”的人不抱好感。“特別任務班”本是個間諜組織，其成員豈是吃素的，於是策劃幹掉張作霖，幸而總司令部參謀福島安正得知後製止說：“現在張作霖已在為我軍效犬馬之勞，要留著他加以利用。”福島還派黑澤贈張作霖銀幣一千元，以圖他專門為日軍效勞，同時又密令黑澤嚴密監視張作霖。
隨著日軍的勝利，張作霖的態度也就不一樣了。1905年2月，“特別任務班”成員土井市之進少佐潛入錦州活動，他先在新民府設置蒐集情報的據點。翻譯中町香桔給他帶來一個身材矮小其貌不揚的中國人，說這個中國人是新民府的營官，對日本軍隊抱有非常的好感，願為日軍效勞，他還允諾將中町香桔隱藏在他家裡。土井十分高興，對他大加誇讚，並委託他在新民府中庇護中町，這個身材矮小、其貌不揚的營官就是張作霖!
田中義一
日俄奉天戰役之後，日軍派井戶川辰三少佐為新民電軍政署長，當地憲兵認為張作霖曾當過俄軍間諜而予以逮捕，呈請井戶川判處死刑。井戶川認為張作霖手下有精銳的騎兵可以利用，於是設法向兒玉參謀次長請示，並請參謀部參謀福島安正和田中義一從中斡旋，最終張作霖獲釋。井戶川命張作霖在表示“願為日本軍效命”的誓約上簽字，他便捺下了手印。
日俄戰爭是張作霖與日本侵略者相互勾結的開始，張作霖不惜在日軍面前立字畫押，表示效忠。但那時的張作霖只是一個小營官，日本人對他並不很重視，日張的關係並不十分親密，張作霖不過是日本在東北的一個小小的砝碼而已。
1912年1月26日，張作霖親自拜訪了日本駐奉天總領事落合謙太郎，對落合說：“我深知日本在滿洲有許多特權，而且和滿洲有特殊關係……日本如果對我有何吩咐，我一定盡力而為。”張作霖這樣主動地向日本人獻媚，原因是多方面的。最主要的一點是，當時日本在東北，特別是南滿勢力很大，沒有日本的支持，張作霖想在奉天稱霸，無異於白日做夢。
1912年12月，日本關東都督福島中將路過奉天，張作霖又趁機前往拜訪，他向福島流露出對奉天將軍張錫鑾的不滿，表示願按日本的指示行動。不久，他又訪問滿鐵公所長佐藤安之助中佐，說：“本省和貴國的關係最為密切，作為本省人民的代表，我和馮德麟與日本代表福島都督，來決定本省大事，我相信是不困難的。”張作霖的言行，赤裸裸地表現出他要稱霸奉天的慾望，表現出他對日本人的投靠。但是這個時候，他還不敢表示獨霸，因為馮德麟是張作霖的“綠林”老前輩，又是老親日派，張作霖不能不有所顧忌。
落合、佐藤都把張作霖的言行詳細地報告給了日本外務省和參謀本部，並向日本政府建議要充分利用張作霖。日本人對張作霖的親日自然有好感，但張作霖的資歷尚淺，而在東北可供日本利用興風作浪的力量或對象有宗社黨，有馮德麟等，因此對張作霖的作法沒有明確表態，有關東北問題的交涉也未和張作霖直接交往，而是與袁世凱、張錫鑾進行。
1915年10月，在全國人民反對二十一條的反日運動剛過不久，張作霖便假借參觀日本在朝鮮召開所謂“始政紀念博覽會”的機會，前往漢城，會見朝鮮總督寺內正毅，向寺內表述中日親善，表述滿洲和日本的關係，表白自己的親日態度。這次朝鮮之行給寺內留下了深刻印象，引起了日本統治集團的極大重視。
然而，日本侵略集團內部對於在東北是否支持張作霖還存在分歧，因而沒有把他作為主要的支持對象，當時，不少日本人主張繼續利用宗社黨搞“滿蒙獨立運動”，使東北脫離中國而“獨立”。
袁世凱稱帝后，這些人趁機在中國東北策動了“第二次滿蒙獨立運動。”日本參謀本部、日本關東都督及日本浪人川島浪速等積極支持宗社黨，並策動與宗社黨密切勾結的蒙匪巴布札布來實行他們的“滿蒙獨立計劃”。但日本參謀本部次長田中義一、日本外務省、日本駐奉總領事卻竭力主張利用張作霖，兩派之間各自活動，互相爭鬥。
支持宗社黨的一派在川島浪速指揮下於1916年3、4月間，糾合宗社黨，擁護肅親王，叫囂“討袁復清”，企圖在東北組織傀儡政府，復辟清王朝。因而，對於積極參加袁世凱稱帝活動的“機會主義”的張作霖深為不滿，決定用“非常手段”殺他，然後乘亂殺入奉天城，使滿洲成為宗社黨的天下。
1916年5月中旬，日本土井少將在奉天滿鐵附屬地內，召集人員密商幹掉張作霖的計劃。決定由伊達順之助、三村預備少尉等組成的“滿蒙決死團”執行這一任務。
日本關東都督中村雄次郎
5月27日，日本關東都督中村雄次郎到奉天“訪問”，張作霖率部下湯玉麟等乘5輛俄式馬車赴車站迎接。會見中村後，歸途經過小西邊門裡時，日本派出的刺客陸軍少尉三村豐等由一樓窗口投出了炸彈。但因刺客緊張，只炸傷了湯玉麟和一些隨從衛士。張作霖急中生智，飛身上馬，棄車狂奔，並在馬背上與衛士互換上衣，直奔軍署。
當奔馬馳經大西門裡附近的奉天圖書館時，又有刺客從圖書館門洞裡投出炸彈，因為張作霖策馬急馳，炸彈只碰掉了張作霖的帽子，投彈人卻被當即炸死。張作霖快馬趕回軍署，尚未來得及更換衣服，奉天的日本鐵路守備隊已經派人趕來“慰問”。張作霖神色自若地接待了他們，使他們不禁暗自稱奇。
這次奉天炸張事件，是日本人第一次謀殺張作霖的事件，日本人卻造謠說，暗殺行動是宗社黨乾的。對此，張作霖故作不知，也不予深究，因為他要繼續討好日本人。
一個多月後，日本人操縱蒙匪巴布札布與宗社黨串通一氣，從海拉爾南下竄擾，與大連的宗社黨頭子肅親王遙相呼應。
既然巴布札布威脅自己的統治，張作霖便毫不客氣地派洮遼鎮守使阻擊巴匪，而後又派馮德麟的二十八師五十五旅進駐鄭家屯大敗巴匪。日本人見巴匪潰敗，急派一大尉至二十八師五十五旅，聲稱南滿鐵路附近不得開戰，以阻止他們追擊蒙匪。8月13日，進駐鄭家屯的日軍，借日本商人與華童吵架這一微不足道的事情，殺入中國團部，挑起中日軍事衝突，即所謂鄭家屯事件，使中國軍隊不得追擊蒙匪，從而蒙匪乘隙逃脫。
面對日本人的挑釁，張作霖奴顏婢膝，派日籍顧問菊池武夫到鄭家屯、郭家店與日方疏通，答應只要蒙匪退兵，奉軍不予追擊。
而日本借鄭家屯事件掩護蒙匪退卻時，又無理地向北京政府提出種種侵害主權的要求，要求嚴懲二十八師有關將校，要求在必要地點增設日本警察官，要求軍隊中聘用日本顧問。這些無理要求，激起東北人民的憤怒，奉天省議會、奉天師範學校與其他各界群眾，召開大會抗議，併到奉天省公署請願，師範學校還組織了抗日鐵血團。張作霖畏日如虎，對東北人民卻是頭狼，他大發雷霆，呼叫衛隊傳令二十七師，包圍奉天師範學校，捉拿鐵血團分子，並向日本道歉，賠償日本“損失”，懲辦與鄭家屯事件有關官兵，真是一個日本人的好奴才。
鄭家屯事件的“妥善”處理，是張作霖任奉天督軍後的第一次直接對日交涉，張作霖的賣國嘴臉深得日本主子的歡心。
1916年10月，寺內正毅上臺組閣力主支持張作霖。寺內一改前任大隈重信赤裸裸的侵華手段，轉而採取較為隱蔽的手段：對北京政府，決定以大借款的方式攫取中國的權益；在東北支持張作霖的“統一東北”，推行日本的“大滿族主義”。
老相識寺內上臺，張作霖喜出望外，他對日本顧問菊池武夫說：“我對日本在滿蒙有特殊地位一點十分了解，對日開發滿蒙之事……抱歡迎態度”，並表示要“一意和日本提攜，維持東三省及東蒙的安寧秩序。”回國後任內務大臣的後藤新平在考察了東北的各種勢力後，認為宗社黨不得力，而認為日本極有必要利用張作霖。後藤說：
張作霖在滿洲有一種特別之地位，他並無特別官曆，也與中央政府無密切因緣。其心中惟有權勢利慾，別無何等經綸。且張認為日本在滿洲有絕大權力，知背日本之不利，而順日本之有益。若利用有如此地位，和有如此思想之張作霖……滿蒙之事，日本皆可橫行無阻。
此後，日本對張作霖的支持顯著加強。張作霖奪取東北霸權的每一步，都與日本的支持密不可分。
張作霖在“統一”奉天軍政過程中，所遇到的嚴重阻礙，是老親日派馮德麟的反抗，他因為害怕得罪日本方面，所以對馮委曲求全，遲遲不敢動手。經菊池武夫向日本疏通，日本外務大臣本野一郎致電駐奉總領事赤冢，讓他轉告張作霖：“帝國政府對張作霖的立場充分同情”，並告訴張，如果他對馮德麟採取行動，日本“決不加妨礙”。得到了日本方面的許可和支持，張作霖才對馮德麟採取軍事行動。
張作霖為了把自己的勢力從奉天擴展到東北三省，就在吞併了黑龍江之後，又與吉林軍閥孟恩遠刀兵相見。在奉吉一觸即發之際，日本帝國主義在長春製造了寬城子事件，支持張作霖的吞併行動。
寬城子是長春舊名，地處長春北部，吉軍的一個團駐寬城子以北，禁止行人通過。但長春車站站長日人船津不顧哨兵阻擋，強行通過，引起相互鬥毆。事後，船津奔赴長春日本兵營求援。日軍馬上開到吉軍營地，接著又從公主嶺、鐵嶺調來大批軍隊，挑起軍事衝突，雙方各有死傷。日本以此為藉口，提出無理要求：
要長春駐軍退出三十里外，等到督軍問題解決即免去吉林督軍之後再返回駐地。在日本的威脅下，段祺瑞政府下令免去孟恩遠、高士儐職位。但高士儐不服，揚言“不惜以生命相賭，討伐奉軍，如其失敗即歸綠林，擾亂東三省”，並招集土匪密謀反對張作霖。高士儐決心雖大，但其部下卻投誠的投誠，被收買的被收買，潰散的潰散，終於心有餘而力不足，不得不在孟恩遠的勸說下停止反抗。
孟恩遠用長途電話向張作霖表示交出吉林政權，他在電話中說：“我上了六十歲的人，名利心很淡，現在已說服高士儐了。”張作霖喜出望外。後來孟恩遠路過奉天時，張還特地為孟“設宴壓驚”。在日本人的支持下，張作霖輕而易舉地得到了吉林。
1916年張作霖任督軍後不久，在對日談判中曾說，日本要求礦山、土地等問題，“不用北京政府的許可，我就有有效的許可辦法。”張作霖的辦法，實質上就是暗中損害東北的權益，讓日本光幹不說地進行。同年4月，在張的許可之下，日本的“滿鐵會社”以“振興鐵礦無限公司”的名義，控制了著名的鞍山鐵礦。張作霖的老朋友、老牌漢奸於衝漢當上了掛名總辦，為日本效力。
關於土地“商租權”的問題，是日本在侵華二十一條中向袁世凱提出的侵害中國主權的要求，其內容是日本人在“滿洲、東部內蒙古”可以自由租買土地。對此和整個二十一條，袁世凱後的北京政府一概不承認，張作霖卻敢冒天下之大不韙，私下承認“商租權”。
二十一條中的第五條是要求中國聘用日人作軍事顧問和警察顧問等，對此，袁世凱都不敢承認，但張作霖在東北卻私自承認並加以實行。在遼源、奉天等地均有日本警察顧問，菊池武夫、町野武馬、本莊繁等是張作霖的日本顧問，每當對日交往棘手之際，他往往要求教於日本顧問。張作霖把町野當作親信，每年必定派他去日本一次，聯絡朝野要人。日本顧問成為日張勾結的重要紐帶，而這些顧問其實都是日本的坐探，他們的所作所為，可想而知。
張作霖不僅出賣東三省的白山黑水，還竭力鎮壓反日愛國運動。
1918年5月，中國青年學生為反對段祺瑞與日本簽訂的《中日共同防敵協定》，掀起了反日、反段鬥爭，東三省留日學生返同奉天組織鐵血團、殉國團進行反日活動。張作霖竟下令禁止旅館收留學生，誣衊學生“擾亂治安，有礙邦交”。
五四運動爆發後，張作霖公開致電挽留賣國賊曹汝霖、陸宗輿、章宗祥，公然指責學生“白晝行暴”，為日本帝國主義辯護。如此公開地站在日本侵略者一邊，毫無民族氣節，極力反對和鎮壓愛國運動，在全國都是首屈一指的。故而日本主子對張作霖頗為滿意，對張“能防患於未然”，深表感激，並讓駐奉總領事向張作霖當面致謝。
1920年10月，延邊地區發生了琿春事件，即朝鮮愛國者與延邊朝鮮族、漢族同胞相互團結反抗日本侵略者的事件。他們焚燒了琿春的日本領事館，又燒了日本侵佔的市街。日本帝國主義者無視中國主權，公然出兵1萬多人向延邊和琿春地區進犯，並無恥地要求中國出兵配合鎮壓愛國群眾。張作霖得到主子的命令後，表示作為東三省巡閱使有盡力協助日本鎮壓延邊抗日人民的責任。於是派兵3200餘名，又派顧問町野武馬到吉林，會同鮑貴卿圍剿延邊人民。
張作霖自以為抱著日本人的大腿便可相安無事，一直做他的東北王了，誰知未等人民群眾鬥爭的烈火焚燬他，日本人便一腳把他蹬開了。
張作霖一向唯日本馬首是瞻，但隨著張在中國處境的日益不妙，日本人圖謀中途換人。日本人想利用張作霖控制北京政府，攫取更大權益，而張則企圖利用日本人鞏固北京政府，二者產生矛盾。
蔣介石和汪精衛相繼叛變國民革命之後，日本帝國主義者感到張作霖已經無力維持自己的統治，於是準備直接動手，干涉中國革命，以保護自己的在華利益。
這時，日本本土爆發了嚴重的經濟危機，以“中國征服派”聞名的田中義一上臺，主張對華採取“強硬外交”，於是爆發了濟南慘案，日軍出兵山東阻止蔣介石北上。蔣介石果然動搖了北上信心，於1927年8月13日宣佈下野，9月即偕親日派張群親赴日本會見田中，乞求田中的支持。
日本田中內閣在出兵山東的同時，著重研究了對張作霖的策略。6月間，日本外務省亞洲局局長木村，向日本外務省提出了一份《有關中國時局對策考察》的報告，這份報告詳細地分析了張作霖的處境，提出了日本對張的策略。
報告認為“對華北尤其是對滿蒙，因為與日本有密切接壤的利害和為東亞的安寧起見，從帝國的立場來看，必須講求確保政局安定的對策”。日本“對滿蒙問題，不能像火災中的小偷似的，攫取一兩件權利”，“其先決條件首先是在相當時期內，保持該地區的安定。因此，總是以張作霖為惟一支持的目標，是極為短見的，而且是頗不策略的”。這是因為從張作霖的現狀來看，他在中國國內各政治家、各團體、各軍人中間已沒有威信，“現在恢復他的願望，不過是空想”。報告說，在這次中國大變革時期，日本朝野必須考慮的重要問題應該是：
及早把張作霖的一身沉浮和帝國在滿蒙特殊地的維護，加以截然區別考慮，並付諸實行的時機已經到來。即鑑於現在張之苦境，我們只要不予援助，他的自我消亡已是時間問題，……必須拋棄和他生死與共的想法，……為此，對他不但要絕對不予援助，必要時對他施以相當壓力，也在所不辭。
報告中還對張作霖下場的幾種形式作了預測，並設想將來以王永江或楊宇霆為日本在東北的代理人等等。這份報告明確地提出了要拋棄張作霖的建議。
同年夏天，田中又“贈張作霖人型一具”，暗示他：“汝為小孩，須從吾命，若不從者，我可玩汝於股掌之上。”另外田中又派山梨大將以首相特使身份來華，“勸張作霖退隱”。上述事實表明，日本田中內閣已決定採取卸磨殺驢或使其完全傀儡化的對策。
1927年6月，日本首相田中在外相官邸召開了所謂東方會議，其目的就是“使滿洲脫離中國本土，置於日本勢力之下”。東方會議之後，日本立即採取措施，乘張作霖還掌握北京政權之機，向張索取滿蒙權益。為此，田中內閣先後派遣日本駐奉總領事吉田、駐華公使芳澤謙吉、滿鐵總裁山本條太郎等，用軟硬兼施的手段，對張作霖展開了索取滿蒙權益的交涉，交涉的主要內容是日本在東北鐵路修築權和履行郭鬆齡反奉時張作霖與日本簽訂的密約。
日本帝國主義提出的這些要求，並非從東方會議後開始的。此前日本已對張施加壓力，但張對日本的要求，或推拖，或拒絕，不願完全按日本意圖行事。張作霖隨著自己勢力的發展和擴大，日益感到：自己的一舉一動都受到日本的約束，動輒受日本的“勸告”是件苦惱的事；同時又感到，在未入關之前非依靠日本不可；入關後控制北京政權，單靠日本的支持是不夠的，也要爭取美英等國的支援，以便“以夷治夷”。此外，國內日益高漲的反帝浪潮，也使張作霖不敢輕易答應日本的侵略要求。張作霖的這些行為使日本大為不滿，為了防止自己權益的喪失，日本人在張作霖的統治即將瓦解之際，更加快了對東北權益的掠奪。
在“滿蒙交涉”過程中，日本採取的第一步行動是派態度蠻橫的駐奉總領事吉田茂向奉天當局直接施加壓力。1927年8月，吉田茂會見奉天省省長莫德惠，狂妄地要求莫德惠接受日本的要求。這時，由於日本出兵山東，召開東方會議和索取東北權益的侵略行徑，激起了全國人民的憤怒，使人民的反帝鬥爭的矛頭集中指向日本。在東北，久受日、張壓迫的人民，也迅速掀起了反抗鬥爭，鬥爭擴展到各個階層，遍及東北各大城市。8月下旬，奉天省議會開始協商反日辦法，這一切為莫德惠抵制吉田茂的無理要求提供了一面很好的盾牌，使吉田在奉天的交涉不得不陷於中斷。
日本當局看到與東北地方交涉無甚結果，決定派駐日公使芳澤謙吉在北京與張作霖作直接交涉。
芳澤帶著田中親筆書信及所贈禮物面交張作霖，向張提出了“滿蒙黨書”(黨書即備忘錄)，要求解決一切“懸案”。張作霖假裝糊塗，說他不知詳情，讓芳澤與楊宇霆交涉。芳澤走後，張作霖馬上在“帥府”召集會議，商量對策，在場的人都贊同由地方去直接交涉，以便留下緩衝餘地。於是，楊宇霆向芳澤提出這個意見，並希望芳澤轉告吉田茂收斂自己的脾氣，以利於談判。芳澤深知東北地方當局一切唯張作霖的命令行事，與他們的交涉，只能是浪費時間，因此只想在京與張直接交涉。這時，東北人民又再次爆發了反日運動，為張作霖提供了一面很好的擋箭牌，結果日、張交涉又陷於停頓。
但日本侵略者與張作霖的交涉並未停止，田中內閣鑑於中國人民反日運動的興起和考慮到張作霖對日表面強硬，暗中屈服的特點，於8月上旬密派山本條太郎(即將上任的滿鐵總裁)直接與張祕密談判。山本一改吉田茂強硬交涉的做法，企圖用其他辦法促使張解決“滿蒙”懸案。為完成任務，山本選用了兩名助手：一是與張作霖私交很深的中國通——中日實業公司的江藤鬥二，此人可以自由進出張作霖的內室，一是張作霖的顧問町野武馬。
町野和江藤在北京和張作霖交往，不斷向張吹捧山本，並拿出山本提出的“東北鐵路方案”與張作霖私下商談。張作霖開始不大同意，但經不住町野、江藤二人的威逼利誘，軟磨硬纏，張作霖提筆在記載著鐵路線的文件上圈了四條鐵路。江藤說：“我們可以放棄兩條，請再圈一條，共留五條吧。”張說：“在我不瞭解的地方修鐵路，是無法約定的。”江藤說：“五十步和百步的區別嘛。”無奈，張作霖又拿起筆圈了一條，這時，張作霖忍不住說道：“這只是預備性的協商，請暫且不要發表。”
江藤在事後去大連向山本彙報情況，山本問他：“有希望嗎?”江說：“大概能成。”山本為了探聽張作霖的虛實，決定派自己的妻子親到北京拜訪張作霖。於是，滿鐵派專車送山本夫人到北京遊覽，張作霖聞訊，派自己夫人主持歡迎，並派專車前往迎接。隨後設宴招待山本夫人，其款待之情，“是史無前例的”。山本聽到這一消息後，認為他親自前往北京結束交涉的時機已到。
10月10日，山本到了北京，隨後與張作霖訂立了所謂“滿蒙五路協約”。同時，為了收買反對者，山本送給張作霖500萬元。至此，張作霖終於在日本壓力下和日本簽訂了出賣中國東北路權的密約。
日本田中內閣在向張作霖索取東北主權時，又在東京和前來日本求援的蔣介石進行了祕密談判。蔣介石在取得田中“日本絕不援助張作霖”的承諾後，承認了日本在“滿蒙”的特殊地位。
蔣介石在取得日本的諒解，特別是取得美國的支持之後，於1928年1月，重任“北伐軍”總司令，決定北攻張作霖。同年4月，他和馮玉祥、閻錫山、李宗仁等新軍閥，組成一、二、三、四集團軍，對張作霖發起了進攻。在蔣馮聯軍的進攻下，山東的張宗昌節節敗退，丟失了濟南，張作霖見勢不妙，令奉軍倉皇后退，北京政權已危在旦夕。
但這時，張作霖並不想退出關外，放棄他贏來的北京政府。於是故技重施，於5月9日發出了“息爭議和”的通電，重彈“凡屬討赤者，雖敵為友”的老調，幻想停戰議和。同時，派代表到南京與蔣介石商討聯合問題。一個明送秋波，一個暗拋媚眼，你來我往，一場蔣張聯姻之戲似乎就要在1928年的中國政治舞臺上演出。因為馮玉祥與奉系結怨甚深，絕不同意聯繫，蔣介石只有作罷。
日本人的目的是逼張作霖承認其在東北的權益，一再逼張作霖回東北，張作霖一心留戀北京。日本人準備除掉他，方案有二：一是在北京刺殺，二是在皇姑屯炸車，結果選擇了後者。
當時，張作霖不但與蔣介石勾勾搭搭，而且向美國大獻殷勤，幻想求得美國的支持。奉張的聯美活動，引起日本的極大不滿，也成為後來皇姑屯爆炸的導火索之一。
當國民黨軍隊逼近京津時，日本惟恐戰亂波及滿洲，一面增兵青島，威脅南軍北進；一面對張作霖施加壓力，逼迫張作霖及早離京，避免戰火由關內燒到關外，威脅到日本在東北的權益。
5月17日晚，為逼張退回東北，日使芳澤會見張作霖，與張談至深夜。芳澤說：“大勢已經如此，為使戰亂不波及京、津，收拾軍隊撤回滿洲以維持治安……對奉天派是萬全之策。”張作霖怎麼肯聽從芳澤的勸告而輕易放棄北京政權呢?因此非常不高興，拒絕了芳澤的要求。芳澤仍然不肯罷休，繼續追問道，你們能打過北伐軍嗎?張作霖說，如果打不過他們，我們可以退回到關外。
芳澤卻不懷好意地說了一句“恐怕未必回得去吧”。張作霖生氣地說，關外是我們的家，願意回去就回去，有什麼不行呢?芳澤看到張作霖並未被這些話所嚇倒，就進一步採取威脅手段，警告說：“帝國政府為維持滿洲治安計，不得不取適宜且有效之措置”，並乘機向張索取“滿蒙”權益。不僅如此，他又向張威脅說：“張宗昌的兵在濟南殺死幾十名日僑，你對此應負一切責任。”
這一連串的威逼，使張作霖勃然大怒，從座上站起來，把手裡的翡翠嘴旱菸袋猛力地向地下一摔，磕成兩段，聲色俱厲地衝著芳澤說：此事(指張宗昌殺日僑事)一無報告，二無調查，叫我負責，他媽拉巴子的，豈有此理!他說完之後，就扔下愣在一邊的芳澤，怒氣衝衝地離開了客廳，三個多小時的會談就這樣結束了。
那時，張作霖本想借日本的武力留在關內，但是對日本的逼迫行徑大為反感，乾脆拒絕日本的“警告”。而且，這時全國人民的反日浪潮使張作霖感到：在這種形勢下回到東北，做日本的傀儡，日子是不好過的，因而不願接受日本的要求。
日本見張不聽擺佈，對他繼續施加壓力，警告他：如果不聽勸告，等到失敗後回到東北，就要解除他的武裝。同時，日本關東軍也開赴戰略要地。在這種形勢下，張作霖大勢已去，不得不表示離開北京退回關外。
5月30日，張作霖召集張作相、孫傳芳、楊宇霆、張學良舉行會議，決定下總退卻令。6月1日，張作霖邀請外交團到元帥府，在懷仁堂與外交團告別。在致詞中，他以極悲痛的語句道出自己被迫出關的無奈與沮喪。
張作霖雖然宣佈退出北京，但決不甘心放棄既得的統治地位。在離京前，他命許蘭洲將安國軍大元帥府的印、旗，國務院的印信，外交部的重要檔案全部運往關外，並下令一切重要命令，仍由他(大元帥)的印蓋印發布，想在關外遙控北京政權，有朝一日再捲土重來。
張作霖退出北京之前，日本已經策劃了對付他的辦法。當時，在日本內部有兩種意見，一種以土肥原賢二、鬆井七夫等人為主，主張解除張作霖敗軍的武器，逼其下野，以楊宇霆代之；一種是關東軍司令官村岡及其高級參謀河本大佐，積極倡導除掉張作霖。前者較為溫和，後者較為激進，但無論溫和還是激進，拋棄張作霖卻是殊途同歸。最終，選擇了日本關東軍的方案。
村岡司令官和河本大佐謀殺張作霖的計劃本來是一個目的兩種方案。在張作霖出關的前幾天，村岡與河本正在為謀殺張作霖而各自活動。村岡密派竹下義晴少佐，到北京組織刺客。竹下受命後，從司令官室退出來時，在走廊上遇見了河本大佐。他對河本說：“現在要去北京。”說話時神色不太自然，河本察覺到竹下表情有異，認為必有要事，很想探聽到真情。於是對竹下說：“去京是今天晚車……上車前我們一起吃點飯吧。”
隨後就把竹下少佐領到瀋陽十間房“招待所”的一個“綠”字號的客間裡。吃飯時，竹下在河本追問下，洩露了到北京殺張的計劃。當時河本等正準備炸張，於是對竹下說，在北京刺張太危險，失敗後將由個人負責，又表示關切地說：“我不能讓你去，還是我替你幹吧。”讓竹下照樣去北京，但去北京的使命由殺張變為偵察張作霖的行動，尤其是把張退出關外的時間坐的火車準確通知他，並表示願意承擔一切責任。這樣，在關東軍內的兩個謀殺計劃嫁接成功，合二為一了。
日本關東軍參謀部的人員在河本大佐的親自指揮下，事先在離瀋陽一公里半京奉路和南滿路交接點皇姑屯車站佈下所謂“必死之陣”；在鐵路交叉點裡埋置了三十麻袋黃色炸藥，在五百米外的瞭望臺上用電氣機控制觸發爆炸；在交叉點以北裝置了脫軌機，在附近又埋伏了一排衝鋒隊，以備萬一。這時，萬事俱備，只欠張作霖專列的到來。
在張作霖決定回奉的前幾天，奉天憲兵司令齊恩銘曾有密電到京，說老道口(南滿路與京奉路的交叉點)近日被日方封鎖，恐怕有什麼行動，希望張作霖防備。但一生機警的張作霖，卻對這生死攸關的消息喪失了應有的警惕，不以為然。他雖然也曾想坐汽車取道古北口出關，但最後因怕公路坎坷不平，仍決定乘火車離京。他也“故佈疑陣”，一再改變行期，最後決定6月3日離京。
在張離京前夕，日使芳澤仍去糾纏張作霖，逼他正式履行“日張密約”的手續。張作霖對於這種趁火打劫的行為，非常氣憤，在辦公廳大聲罵道：“日本人不夠朋友，竟在人家危急的時候，掐脖子要好處。”拒絕在芳澤送來讓他簽字的文件上簽字。這時，日、張關係已非常緊張，張的隨身官員都有一種惴惴不安的預感，惟恐出事，有的還私下準備了藥布、餅乾，以備萬一。
6月3日夜間，張作霖出帥府西門，乘黃色的鋼製汽車出發，汽車在警戒嚴密的夜色中開往車站。張學良、楊宇霆、孫傳芳等都帶著沮喪的表情前來送別，月臺上明亮的燈光照射在衛兵的刺刀上，反射出炫目的光芒，氣氛森嚴卻又沉悶。張作霖在告別時，故作鎮靜愉快，可當他踏上火車，向中南海方向回顧時，眼裡卻異乎尋常地泛出淚花，他是多麼的留戀自己曾得到的北京政權啊!隨行回奉的除了“大元帥府”的官員及衛隊外，還有張作霖的六姨太和三公子學曾以及日籍顧問町野等。
專車是慈禧太后乘坐過的花車，共22節，張作霖乘坐的包廂在中間。當專車到達天津時，日籍顧問町野在天津站下車，但這也沒有引起張作霖的警惕，仍然走向死亡之路。專車預定4日午前3時30分到瀋陽，誤點兩個小時。瀋陽車站已有上千名軍警警戒，恭迎張的大駕。
皇姑屯事件
1928年6月4日當專車開到皇姑屯附近時，早已埋伏好的日本關東軍東宮大尉一按電鈕，預先埋下的炸藥全部爆炸，張作霖所乘的藍色鐵甲車被炸得粉碎，車身迸出三、四丈遠，只剩下兩個車輪。張作霖身受重傷，他的六姨太受炸身亡，未死的隨從在附近找到一輛結婚汽車，強行將新娘趕出，張作霖在齊恩銘的扶送下，坐汽車回到“帥府”。此時，張已奄奄一息，對他的老婆蘆夫人說：“我受傷太重……恐怕不行啦。……叫小六子(張學良)快回瀋陽……”，說完就死了。
張作霖被炸後，日本關東軍司令部為掩蓋事實真相，按預先計劃，立刻調動工兵趕修鐵路被炸的部分，並且逮捕了十多名無辜的中國居民，誣陷為國民黨北伐軍謀殺犯。他們還專門殺了兩名中國人扔在肇事地點，口袋裡塞上偽造的北伐軍的信，以便混淆視聽。這兩名被殺者是瀋陽車站的小工，因吸食毒品，被日本警察抓去，拘留在一處，先給他們剃頭洗澡，然後換上衣服，弄給他們吃好的。住了幾天後，忽然把他們叫出來，帶到南滿鐵橋附近，然後把他們處死於路旁，裝成炸車的凶手。
日本關東軍在製造皇姑屯事件之後，又在瀋陽製造了一系列事端，企圖引起東北混亂，挑起軍事衝突，乘機佔領東北，他們甚至還想謀殺張學良。日本帝國主義者的陰謀詭計，當即為奉天當局識破，為穩定局勢，防止日本乘機舉動，決定對張作霖的死，密不發喪。6月6日，奉天公署發表通電稱，在皇姑屯爆炸事件中，“主座身受微傷，精神尚好。”
除此之外，元帥府的廚房每日照常為張作霖準備飯菜，杜醫官天天到帥府上假裝換藥並填寫醫療經過和處方，以瞞過日本人的窺探。日本方面，大起疑心，不斷派人慰問求見，都被婉言謝絕。一次，日本派本莊繁夫人與林權助總領事夫人以慰問為名，突然到元帥府拜訪張作霖的五姨太。五姨太盛妝出來招待，談笑依舊，找不到一絲漏洞，元帥府內外也一切正常，毫無變動，兩夫人只得悻悻而歸。直到張學良回奉，日本才知道張作霖早死了。
張學良
張學良在接到其父被炸的消息，當即祕密化裝返沈。在驚恐中到達奉天，當即在父親靈前痛哭失聲，對日本侵略者恨之入骨，發誓要報仇雪恨。為穩定局勢，他決定6月21日為父親發喪。發喪時，日本政府故作鎮靜，特派林權助前來弔祭，還想拉攏張學良。但張學良內懷國仇家恨，拒絕日本的勸說。隨後，在美國人和蔣介石的勸說下，改旗易幟，服從了南京政府。河本暗殺張作霖，原求是為了引起東北政局的混亂，然後乘機獨佔東北，卻無意中幫了蔣介石一個忙，促成了南北的統一!