吉良さんかわいそうやなあと思ったけどまだ別に死んでないやんけ

しかし、永禄3年5月19日（1560年）、桶狭間の戦いにおいて今川義元が討たれると、三河における今川氏の支配力が減退し、義昭は後援を失った形となった。
しかも、これに乗じた松平元康（後の徳川家康）は今川氏から独立し、吉良氏をしばしば攻めるようになった。
度重なる戦の末、ついに永禄4年（1561年）には松平氏への降伏を余儀なくされ、その後は岡崎へ移住させられていた。