そんなつもりじゃなかったのに、悪く責められるってことありませんか？
時々それが問題となって悩んでいるのですが…

時と場合によりますから何ともいえませんね
具体例をどうぞ

例で言うならば、物を借りていったつもりが盗まれたと思われ責められる。とのようなことでいいでしょうか？
ルール的な感じのが無いので、普通に話したかったはずが
言っていい事と悪い事があるでしょ、というようなどうしてそうなってしまうのかが自分には分からないのです。

改善出来たらいいんですが・・。

そうゆうのよくありますわ、。
嫌ですよね

はい、思い悩んじゃいますね。