1928年7月17日晚，张作霖在皇姑屯车站遭日本人暗算身亡。杨宇霆的处境更为复杂。12月29日东北易帜，杨宇霆坚决反对，他认为不应该服从蒋介石，因此与张学良酿成新的矛盾。

对张学良他俨然以保护人的身份自居，经常以周公辅成王的典故自诩，规劝张学良戒毒，批评他不问政事。虽出好心，但年轻气盛的张学良却不买他的账。

日本人也趁机利用正友本党和混迹东北的中国流氓处处诽谤杨宇霆，离间张杨关系。他们送给张学良一本《日本外传》，将张学良比作日皇丰臣绣吉，将杨比作篡位的日相德川。

暗示张学良，杨宇霆是他身边的隐患，要及早除掉。张学良中了奸计，但仍犹豫不决，三次掷银元问卜后才下了杀杨的决心

1929年1月10日晚，杨宇霆下班回家，听说有帅府请他去打牌的电话，没有吃饭便驱车前往。谁料一进帅府，就同黑龙江省长常荫槐一起人车被扣，以吞扣军饷，贻误戎机，图谋不轨等莫须有的罪名，被张学良事先安排好的警务处长高纪毅、副官谭海等枪杀在帅府会客厅东大厅(老虎厅)。

事后，张学良对自毁长城之举悔恨莫及，命统带刘多荃给杨、常两家各送去慰问费一万元，并亲自给在法国留学的杨宇霆的长子春元去信，安慰他安心学习。

杨宇霆是个烟酒不沾，没有嗜好的正统军人，一生自负好胜。年轻时，为练骑术，半夜偷着骑马被战马咬伤。领兵后，对违例士兵不论亲疏，严加处罚。辅佐张作霖时，则以皇帝与宰相自勉，视主不二。

他有秘书，却经常亲自批阅文件到深夜。但他心胸狭窄，对自己不睦的人从不宽容。他非常迷信，家中常年养着术士，遇事扶乩问卜。

老虎厅事件前，他还曾扶乩，得乩语：“杂乱无章，扬长而去。”术士认为乩语不祥，要他多加小心。事有凑巧，不几天他便死于非命。后来民间这样传称：“炸烂吴(俊升)张(作霖)，杨(宇霆)常(荫槐)而去。”

杨宇霆戎马一生，死后张学良派兵护柩葬于辽宁省法库县蛇山沟村