カビではなく、作って間もないために出る新しいウレタンのにおいと思われます。

事故などの際にチャイルドシートが発火しないよう、リーマンチャイルドシートは生地の裏側に難燃性ウレタンを貼り付けてあります。
ボンドなどの化学物質を使わず、ウレタンの表面を熱で溶かして生地に貼り付けるので、作って間もない製品にはにおいが残っている場合があります。
新しい車のにおいと同じで時間が経つとなくなりますが、気になるようでしたら風通しの良いところにしばらく置いて様子を見てください。
赤ちゃんに害がないことは確認済ですので、安心してご使用ください。