История рассказана от лица безымянного 21-летнего юноши (хотя и предполагалось, что этим рассказчиком мог быть сам автор, Жан Жионо, он этого никогда не подтверждал). История начинается в 1910 году, когда этот молодой человек в одиночку совершает долгое пешее путешествие через Прованс (Франция) в Альпы, наслаждаясь видами почти нетронутой дикой местности.
Дойдя до пустынной безлесной долины, где растёт только дикая лаванда, и нет следов цивилизации, кроме старых, опустевших, развалившихся домов, рассказчик обнаруживает, что у него кончился запас воды. Он находит только пересохший колодец, однако его спасает от жажды немолодой пастух, который отводит юношу к источнику.
Рассказчику хочется узнать, что это за человек и почему он избрал такую отшельническую жизнь, поэтому он ненадолго задерживается у пастуха. Выясняется, что после смерти жены и сына пастух уединился в безлюдной долине, где решил восстановить разрушенную экосистему, собственными силами выращивая там лес, дерево за деревом. Имя этого человека — Эльзеар Буффье. Он выдавливает ямки в почве своим витым посохом и сажает в них желуди, собранные им за много миль отсюда.
Рассказчик покидает пастуха и возвращается домой, и вскоре принимает участие в Первой мировой войне. В 1920 году, контуженный и подавленный, он возвращается с войны и с удивлением обнаруживает, что в долине растут молодые деревца всех видов, а из запруд, устроенных пастухом в горах, к ней сбегают свежие ручьи. В безмятежной красоте возрождённой долины рассказчик полностью поправляется и с тех пор навещает Буффье каждый год. Буффье уже не пастух, так как беспокоясь о том, чтобы овцы не навредили его молодым деревцам, он стал пчеловодом.
На протяжении четырёх десятилетий Буффье высаживает деревья, и долина становится похожей на райский сад. К концу истории местность благоустроена и обладает динамичной экосистемой. Проходит совсем немного времени, и лес получает официальную защиту со стороны государства. Так как властям неизвестно о самоотверженной деятельности Буффье, они ошибочно принимают это стремительное разрастание леса за странный природный феномен. В эти места переезжают более 10.000 людей, и все они, сами того не ведая, обязаны своим счастьем Буффье. Рассказчик сообщает об истинном происхождении естественного леса одному из своих друзей, который работает в правительстве, и тот тоже помогает защищать лес.
Эта история настолько трогательна, что многие читатели сочли, будто Эльзеар Буффье существовал на самом деле, а в роли рассказчика выступал сам молодой Жан Жионо, и это часть его автобиографии. При жизни Жионо с удовольствием поддерживал веру людей в достоверность рассказа и считал её данью своему мастерству. По словам его дочери, Элин Жионо, «долгое время это было семейным преданием». Тем не менее, в 1957 году в письме главному лесничему округа Динь Жионо сам раскрыл правду: «Жаль Вас разочаровывать, но Эльзеар Буффье — выдуманный персонаж. Я стремился пробудить в людях любовь к деревьям, а точнее, любовь к посадке деревьев». Кроме того, он рассказал, что книга была переведена на множество языков, распространялась бесплатно и поэтому имела успех. Он добавил, что хотя она не принесла ему ни сантима, это одна из тех работ, которыми он больше всего гордится. В последний раз рассказчик навещает Буффье, к тому моменту уже глубокого старика, в 1945 году, после окончания Второй мировой войны. Человек, который сажал деревья, тихо отошел в мир иной в банонском хосписе в 1947 году.