不少人以为他和张学良的父亲张作霖是兄弟俩，其实不然。张作相是锦州义县人，张作霖是奉天海城县人。他俩只是名字上的巧合，并没有宗族关系。但是，由于他俩两次结拜为盟兄弟，又都是关东要人，所以不了解底细的人都这样地猜想和误传了。
张作相少年家道贫寒，佐父治家，当过泥瓦匠。张作相一族兄被土匪所杀。1901年他将杀死族兄的仇人打死后投入绿林为匪。后率二三十人的队伍投奔当时在北镇一带活动的张作霖匪伙，在北镇桑林子一带组织地方保险队。他和张作霖并非一家，更不是亲兄弟，只是名字偶然巧合，使张作霖很高兴，于是结成盟兄弟。在作战中，张作相曾于枪林弹雨中只身救张作霖出重围。因此两人结下患难之情，形同手足。后张作霖部在与金寿山部争斗中受挫，败走八角台（今台安县城）投奔张景惠的预警保安队，并被推为首领。民国成立后，张作霖部改编为奉天陆军27师，张作相任该师炮兵团长，晋授陆军少将。1917年代任奉天陆军第27师步兵第54旅旅长，并代理奉天陆军第27师师长。
1919年初，升任东三省巡阅使署总参谋长兼卫队旅旅长、奉天警备总司令，仍代理奉天陆军27师师长。同年秋，实任27师师长，晋升陆军中将。
1922年春，第一次直奉战争中，张作相兼任镇威军东路第一梯队司令，进驻永清。奉军战败，退驻榆关，北洋军阀政府趁机发令对张作霖撤职查办。张作霖意沮心丧，怀有下野之念，急召张作相密商后策。张作相劝张作霖不要下野，并陈词献策。张作霖嘉纳其言，精神振作，任张作相为镇威军第三路总司令。同时，集合各军，在榆关背城一战，使奉军转危为安。
1925年，张作相代任吉林军务督办兼吉林省长，晋升陆军上将。同年3月，兼任东三省铁路护路军总司令和陆军第15师师长。同年冬，郭松龄倒戈反奉，张作相部正驻守榆关一带。郭军先出关的两个团在姜女庙被其缴械，继出关的两团也在榆关东站被其解除武装。郭松龄致电报中说：“榆关缴械，姜女庙进逼，龄之原定计划全为我公破坏。”郭松龄被擒，张作霖拟将助郭倒戈将领一律处死，参与决议的奉军将领中唯张作相力排众议，分析时局，晓以利害，提出建议，为张作霖所采纳，除郭松龄夫妇被处死外，其余诸将皆得免。
1926年张作霖令东三省种植鸦片，以筹军饷。张作相以种植鸦片烟流毒太深，向张作霖陈明利害另筹饷源，拒种鸦片。
1928年北伐军占领平、津，吉林学生上街游行，向张作相请愿，要求东北易帜，全国统一。张作相令人架起机枪，拒请愿队伍于辕门之外，只放师生代表进见。张作相表示易帜一事得听奉天命令，并怒斥师生代表“不好好读书，乱管国事”，要扣押请愿群众。经吉林教育厅长引咎求情，张作相才答应只关押师生代表，驱散请愿队伍。两个月后，被关押的代表才分别获释。
张作霖被炸身亡后，东北军将领经东北三省议会联合会推选张作相任东北三省保安总司令。张作相坚持不任，而推让与张学良，自己甘居副职辅佐。张学良通电宣布东北易帜，张作相大力支持并在东三省议会联合会上领衔向国民政府宣誓，就任吉林省保安司令兼省长。1929年1月，就任驻吉东北边防副司令长官兼吉林省主席及东北政务委员会委员等职。同年夏，张学良所部占领中东铁路，发生“中苏事件”，日本从中竭力鼓吹作战，以收渔人之利。国民党政府也命东北当局出兵攻击苏军，以削弱东北实力。张作相与张学良分析内情，主张罢战言和。1930年4月，阎锡山、冯玉祥联合倒蒋，当时东北举足轻重，双方都想拉张学良以加强实力。张作相力主东北闭关自守，固守关外，不参予内战，休养生息，训练士兵，扩充实力，静以待变。张作相在吉林任职期间，修吉敦铁路，建吉林大学，兴办自来水，铺筑柏油马路，拒绝与日本人合作修筑吉海铁路。
他组建了吉林省城自来水筹备处，建了第一座自来水厂。成立了吉海（吉林－海龙）铁路建设筹备处。修建了吉林第一条柏油马路。为发展吉林的教育事业，张作相拨款在城外八百垄（今东北电力学院校址）建立了全省最早的一所大学－吉林省立大学，张作相亲任校长。
1930年9月，张学良入关，把东北军政大权交张作相代理。
1931年3月26日，东北四省一市党务指导委员会正式宣告成立。张学良、张作相、万福麟、汤玉麟、张景惠分任辽、吉、黑、热、哈党务指导委员会主任委员。
当时驻东北日军蠢蠢欲动，张作相等未采取防范措施，而张作相又于“九·一八”事变之前回锦州为父治丧，把吉林军政大权交其参谋长熙洽代行，为日军入侵和熙洽降日造成可乘之机。日本自从在东北制造“万宝山事件”和“中村事件”之后，不断挑衅。1931年9月15日，东北边防司令长官公署副官处副处长李济川奉张学良之命，到锦州面见张作相，请张作相速回沈阳主持大政。张作相以其父丧事未毕为词，而没立即返沈。
“九·一八”事变后，张作相从锦州去北平，与张学良商讨对策，张学良转请南京政府，令张作相代理东北边防司令长官，设长官公署于北平，以维持东北危局。张作相以东北边防机构在北平挂牌为耻，