甲午戰敗後，張作霖逃回了遼西。1895年，他21歲，同趙家廟地主趙佔元的二女兒趙春桂結了婚。趙春桂是張作霖的原配夫人，也是張首芳、張學良、張學銘的生母。張作霖是個不甘寂寞的人，他不想像他的同鄉那樣過著衣食無著、平淡無味的生活，他想活出名堂。

甲午戰後的遼西是個三不管地區。散兵遊勇成群，乞丐難民遍野。官府腐敗，土匪橫行，百姓的生命安全受到嚴重威脅。在這種情況下，各地就相應地成立了一些自保的武裝組織，名曰大團。1900年，張作霖因岳父趙佔元的幫助，在趙家廟成立了一個大團，有二十多人，他當上了小頭目，負責附近幾個村子的治安。他負責的地區稱為保險區。張作霖在保險區內很守規矩，不僅遵章守紀，而且維護治安。因此，在這個地區鬍匪的騷擾得到有效的遏制。張作霖也因此得到村人的稱讚，由此聲名鵲起。後來他管轄的範圍逐漸擴大，達到二十多個村子。

在趙家廟的西北有個大團，團主叫金壽山。金壽山收羅了一批地痞流氓，組成了一百多人的大團。大團的總部設在中安堡，周圍地區都是他的保險區。金壽山在保險區內橫行霸道，無惡不作，比鬍匪還兇殘。大團本來是保民的，可是金壽山卻專門害民。百姓被逼得實在沒有辦法，就去請名聲較好的張作霖來幫忙。張作霖率眾驅走了金壽山，佔據了中安堡。他的部眾增加了，勢力又擴大了。但是，金壽山在1901年臘月三十夜半偷襲了張作霖。張作霖攜帶妻女率眾突圍，逃到了姜家屯，繼而又逃往八角臺。在逃往八角臺的途中，身懷六甲的趙氏在馬車上生下了一個男孩，這就是張學良。

八角臺是個大集鎮，商號有五十多家。本來張作霖是想從八角臺借道投奔遼南的綠林馮德麟的，但是到了八角臺，這四十多人就被留下了，藉以保護當地地面。這都得益於張作霖的名聲好，不擾民。從此張作霖就在八角臺落了腳。這裡也成了他的發家地。

甲午戰後亂了幾年，1902年社會秩序逐步穩定。這兩年張作霖苦心經營他的武裝，勢力大為擴充套件。他也盡職盡責，起到了保境安民的作用。同時，他和當地紳商也相處融洽，得到了他們的交口讚譽。但是，隨著社會秩序的穩定，地方自治武裝也就失去了存在的價值。按理張作霖的大團應該遣散掉，團民應該回家務農或者進城經商。但八角臺商會會長張紫雲考慮到遣散這一武裝、團民四散，很可能危害地方。同時，他也和張作霖結下了友情，就想給他們找個出路。為此，張紫雲同有關人員商量，擬將這一武裝交給政府，這個提議得到紳商的贊同。於是，他們向新民府知府增韞正式推薦張作霖，對張作霖大加讚揚。

增韞接見了張作霖，張作霖以弟子身份對他行了叩見禮，稱他為老師。透過親切的見面和談話，增韞感到張作霖是個溫文爾雅的人，對他留下了很好的印象，便命張作霖整理團人，將他們帶到新民府聽候點編。這對張作霖而言真是喜從天降。其實，張作霖的政治野心很大，他深知經營民團不是長久之計。他早就想&ldo;改邪歸正&rdo;，被政府收編。

張作霖急忙回到八角臺，積極招兵買馬，擴充隊伍。因為他和增韞說了大話，吹噓自己有一營人馬，實際上只有一百多人。於是他便大力開展組編活動，吸收了遼西一些小股匪幫，人數夠了，就率隊到新民府接受點編，成立了新民府巡警前路遊擊馬隊。張作霖被命為幫辦(副營長)，隊伍仍駐紮在八角臺。

第二年，即1903年7月，張作霖所部和新民街巡捕隊合併為巡防馬步遊擊隊，張作霖為管帶(營長)，隊伍移駐新民府，負責地方治安，併兼剿鬍匪。就這樣，張作霖由一個民團武裝的頭目搖身一變，而成為政府官軍的軍官了。這是他人生的一個重大轉折。從此，依靠這支武裝，他便平步青雲，扶搖直