2011年12月16日の第46回衆議院議員総選挙では参議院議員から鞍替えした自民党新人の岸信夫に敗れ、比例復活もならず議席を失った[13]。
2013年4月28日の参議院山口県選挙区補欠選挙に立候補。民主党の公認は受けず、無所属で立候補した[14]。民主党のほか、「『穏健保守から中道・リベラルまで』の政治勢力の集合」の呼びかけに応じたみどりの風が推薦し、社民党も支持を表明[15]。また、前回の衆院選に山口1区から立候補した飯田哲也らが政策アドバイザーを務める日本未来の党の推薦を取り付けた[16]。その一方で民主党県連の主要な支持母体である連合山口は推薦ではなく「支持」に留まった[17]。選挙の結果、129,784票（得票率28.6%）にとどまり、6割以上の得票を集めた自民党新人の江島潔に敗れ落選した[18]。
2014年12月14日の第47回衆議院議員総選挙では再び岸信夫に山口2区で敗れ、落選[13]。
2015年5月30日、民主党山口県連定期大会をもって県連代表を退く。これをもって、政治家としての活動を一区切りし、以後は東京を中心に弁護士活動をしていくことを表明した[19]。

2023年3月18日、岸信夫の体調不良による辞職に伴う衆議院山口2区の補欠選挙（4月23日執行予定）に、党籍持ちの上で無所属で立候補する意向が明らかとなった

再び破れてしまう平岡