故事发生在一百多年前日本信州深山里一个偏僻的村落。小山村后的楢山连绵不断，峰顶终年积雪，将村庄与外面的世界隔绝开来。由于生活的极端贫困，村子里没有多余的粮食让没有生产能力的老人和孩子吃。这里有个习俗：每户人家，只有大儿子可以娶妻生子，其他男人只能干活，不许结婚，他们被称作“奴崽”。至于老年人，男人一到了70岁，女人一到了60岁，就要由儿子背到村后的楢山上去，任其自行消灭。 “树墩儿”家的阿玲婆69岁，也快到该参拜山神的年龄了，但她的身体却还是那么硬朗，结实的牙甚至还咬得动松子和蚕豆。阿玲有两个儿子，长子辰平，次子利助。利助已35岁，整日蓬头垢面、萎靡不振。阿玲对于自己要去参拜楢山似乎并不很在意，只是忙于操办大儿子续弦的事。当大儿子把阿玉娶回家后，阿玲教给儿媳的第一件事就是捕捉老鼠，以免粮食被偷吃掉。在这样一个粮食紧缺的村庄里，粮食就是生命，村里有一条法律，凡是偷窃粮食者，其全家都要被活埋。 阿玲婆的第二桩心事是二儿子利助，他身为“奴崽”，无权娶妻，这让她从心里可怜他。她决心在去参拜楢山之前给他找个女人，让他尝尝男女之欢的滋味。终于，她说服了一个老妇人，使她出于同情心答应跟利助发生性关系。 秋天到了，村里西屋家的男人由于饥饿偷了些豆饼而被抓住，结果他的一家人都被活埋了。 深秋，红叶已经落尽，阿玲婆被送往楢山的日子将要到了。这天傍晚，接收阿玲婆最后嘱托的阿金，在马棚里让利助第一次尝到了男女欢爱的乐趣。 阿玲婆终于把上山前该料理的事情都办清了，于是便放心地决定了上楢山的日期。这时，邻居阿松告知他们说，在西山看见了阿玲婆已过去的丈夫。阿玲婆和辰平闻迅赶去，却不见丈夫的踪影。阿玲婆疑心是撞见了鬼。这时，辰平才向母亲坦白：因为他父亲不肯背祖母上山，辰平认为是可耻的事，为此谴责了父亲，结果两人争吵起来，当时年仅15岁的辰平竟然一时冲动用猎枪打死了父亲。阿玲没有责备儿子，她认为利平之死是受到神的谴责，她安慰辰平不用老为此事内疚。 第二天，按照村里人参拜楢山的规矩，阿玲婆邀请村里有身份、有经验的人来家里喝酒饯别，这是一种表明心迹的举动。客人逐一敬酒发言，阿玲婆跟辰平则一言不发，但阿玲婆却颇为自己准备已久的丰盛的饯别酒而自豪。客人们指点了上山的规矩和路径，还低声暗示辰平，如果老人不自愿上山，按照规矩可以把她们丢入山谷中，但辰平坚信母亲是十分自觉的。夜深时分，钱家屋里的老人阿又因为不肯上山从家里逃了出来，其子阿忠拿着绳子追在后面。辰平为此责备了阿忠。 终于，儿子辰平背着母亲离开了家。平日深受婆婆疼爱的阿玉靠在门旁，目送着他们渐渐地远去。利助完成了他第一次正常的性活动，精疲力竭地躺在地上。 辰平怀着悲壮的心情背着母亲上楢山。他觉得自己仿佛成了楢山神的仆人，并且按照山神的命令向前走。他们遇到了一具具尸体，一群群啄食尸体的乌鸦。终于，辰平找到了一块上面没有尸骸的岩石，将母亲放下。阿玲婆站在席子上，巍然不动，双手合十，双眼直视地面，她紧闭着嘴，脸色苍白，头发零乱，肃然的表情让人感觉她仿佛已经死去。 辰平遵守着不可回头的规矩，快步下山。当他下到半山腰时，正好看见村里钱屋家的儿子阿忠将他父亲硬推下了山谷，辰平不禁愕然。他的心情十分复杂，既愤慨又表示谅解，既怜悯又无可奈何。忽然，他感到天要下雪了，而这正是阿玲婆所期待的吉兆。他的心灵得到了某种解脱。于是，辰平忘记了不可回头的规矩，逃跑似的转身向山顶奋力攀登。辰平大声叫嚷着：“妈妈，下雪了，这是吉兆！”满身披雪的阿玲婆听到喊声，挥手让他回去。雪越下越大，山顶上雪花纷飞，身着银装的楢山仿佛一座神山，默默无语。