元上司が業務と無関係な「布教」　ハラスメント断るには

　２０代女性です。職場のハラスメントについての相談です。
　職場に男性の元上司がいるのですが、その方はエスペラントという世界共通の人工言語に傾倒しており、それがマイナーな言語のためか、私にすすめてきます。最初はプリントやテキストを仕事中に持ってきて置いていくだけだったのですが、最近は「勉強会」と称して、お昼休みにドリルを用いて勉強することになりました。わざわざ私のいる事務室までやってきて、どしんと椅子に座り、私がお昼ごはんを食べ終わるのを待っているようで、断れない状況です。
　最初は面白そうだな、という気持ちがあったのも事実です。しかし、今ではすっかり嫌になってしまいました。やれ「エスペラントの弁論大会の発表」だとか、やれ「エスペラントの文章コンクール」だとか言ってくるとストレスを感じます。私がやんわりと断っているのも気づいていないようです。他の方にも布教していたようですが、今では私だけに布教してきます。
　私の事なかれ主義が災いしたとは思うのですが、仕事中にも業務とは全く関係のないエスペラントのことについて内線をかけてきたり、プライベートの土日まで講習会に誘ってきたり。
　世の中には様々なハラスメントがありますが、これはれっきとしたエスペラントハラスメントだと思います。きっぱりと指摘する方法はないでしょうか。

https://www.asahi.com/sp/articles/ASMBJ4GY9MBJUCFI00B.html