Это выражение напрямую связано с басней Крылова «Пустынник и медведь». Как-то пошли пустынник с медведем в жаркую погоду в лес погулять. Пустынник устал, сел отдохнуть и заснул, а медведь в это время отгонял от него мух. И когда очередная муха села на лоб пустыннику, медведь взял булыжник и убил муху, при этом раскроил череп пустынника.