他の人は断れた
＞断った後の事を考えると怖くて断れなかった

お礼ライン
＞あの時は怖くてそう言うしかなかった

とにかく「内心嫌だったけど断れなかった」で押せばどうにかなる