У нас передалось от прадедушки, которого мы никогда не видели. Он был крестьянином.
У крепостных лошади тоже были, они пахали и выполняли прочие работы на своих лошадях, а не на господских. Многие зимой, когда устанавливался санный путь, а сельских работ не было, ходили с обозами - возили грузы ("дальнобойщики"). Среди крепостных были и богатые, у которых было много лошадей.
А кто служил в гусарах, уланах? Офицерами - дворяне, а рядовыми - те, кого забрали в рекруты из "простых людей".