ファーブルの父方の祖父は、羊飼いや小作人を抱えたそれなりの経営規模の自作農であったが、そこから自立して農場を離れた父のアントワーヌ・ファーブルは定職に就けず、様々な手伝い仕事を転々とした。母のヴィクトワール・ジョルゲは、大規模な自作農であった妻の実家サルグ家に経済的援助をあおぎ、妻の婦人用皮手袋作りの内職で生計を立てるなど一家の生活は貧しかった。サン・レオンの家で生まれた。ファーブルは4歳から7歳までの間、弟のフレデリックの育児や母の内職を妨げないために、20km程離れた父の郷里マラヴァルの祖父の家に預けられた。自然豊かな環境で育ったことが、その後の人生に影響を与えたと言われている[3]。7歳になって、学校に行くためにサン・レオンの父の家に戻り、フランス語の読み書きを身に付けた。 1833年、ファーブルが10歳の時に一家はサン・レオンを離れ、アヴェロン県の県庁所在地ロデズに出てカフェを開業
