ハラスメント問題

本部長、秘書、スタッフの皆様お疲れ様です。
ハラスメント問題について報告させてください。
私は現在、派遣社員としてある会社で働いてます。

本日、仕事中に、社員３人が会話している所へたまたま通りがかった際、男性社員Aが「おいなりさんがホニャララ」みたいな発言をした瞬間に出くわしました。
その時、他の社員二人が発言に対し完全スルーした事から、((下ネタ的な意味(のおいなりさん)だから返事をしなかったのかな？))と判断した私は、「セクハラ発言はやめてください」と冗談まじりで言いました。
すると、Aさんが「取り扱ってる（商品の）おいなりさんの事を言ってたんだよ？何だと思ったの？」と聞き返してきました。
私は「卑猥な事を言ってるんだと思いました。」とその場をスルーしようとしたのですが、Aさんが更に「え？俺は食べるおいなりさんの事を言ったのに、何のおいなりさんだと思ったの？」としつこく複数回質問されました。
これは嫌だなと感じた私は「それパワハラとセクハラですよ。言わせないでください。」と訴えたのですが、Aさんはやめませんでした。
更にBさんも同じ様な質問を私にしてきたのですが、Cさんだけが「頑張れ、もっと言ってやれ」と、私を擁護してくれました。
この時すでに『スルーした方が良い』と判断した私はその場を無言で立ち去ったのですが、その後も心のモヤモヤが取れなかった為、数時間後に、「明日休みます、理由はAさんに聞いてください」と上司へ伝えました。(「休む」発言は軽率だったかもしれませんが、ハラスメント問題に向き合って欲しくてあえて言いました。)
私自身は、今回に限らず、会話の流れとしての下ネタについて、気心の知れた仲間内の会話なら少しぐらいはあるだろうと思っています。
しかし、今回の事については、複数回同じ質問をされ、尚且つ、卑猥な言葉を引き出そうとした行為自体に納得がいきません。
相談した上司は、『それくらい多めに見て欲しい』みたいな考えらしく、私の「休みます」発言の方が問題有りだと言ってきました。
派遣先の会社の社員が、ハラスメント問題に対して思慮が浅い気がしてなりません。
雇用主（親元）である派遣会社へ相談するつもりは無かったのですが、Aさんが事の重大さに気づかないなら、辞めることも視野に報告するつもりです。
私が考えすぎなのでしょうか？

9