Zielona mila jest historią opowiedzianą przez wiekowego Paula Edgecomba (Dabbs Greer) w domu spokojnej starości. Po obejrzeniu filmu pt. Top Hat przypomina sobie pewne zdarzenia i opowiada swojej przyjaciółce, Elaine Connely (Eve Brent), o niezwykłym więźniu, którego spotkał w lecie 1935 roku, gdy pracował jako strażnik więźniów skazanych na karę śmierci w więzieniu w Luizjanie. Blok, na którym pracował, nazywany był zieloną milą ze względu na kolor linoleum leżącego na podłodze. Niemym bohaterem celi śmierci jest również krzesło elektryczne (zwane Starą Iskrówą, ang. Old Sparky), oczekujące na swoje ofiary.
Pewnego dnia na oddział trafia olbrzymi, czarnoskóry John Coffey (Michael Clarke Duncan), oskarżony o zamordowanie dwóch białych dziewczynek. Coffey okazuje się łagodnym olbrzymem, bojącym się ciemności i czasami płaczącym. Niedługo ujawnia swe niezwykłe zdolności uzdrawiające przez wyleczenie Paula Edgecomba (Tom Hanks) z zapalenia pęcherza moczowego oraz ożywienie myszy.
Percy Wetmore (Doug Hutchison) jest wrednym, sadystycznym strażnikiem lubiącym sprawiać cierpienie innym. Ma również wysoko postawionego wujka (jest bratankiem żony gubernatora stanu), który „załatwił” mu tę pracę i nie bardzo można pozbyć się go z obecnego stanowiska. Za pozwolenie wykonania wyroku obiecuje przenieść się na inne miejsce. Podczas wykonania wyroku Percy umyślnie nie moczy gąbki, umożliwiającej lepszy przepływ prądu, by zobaczyć efekty. Skazany więzień, Eduard Delacroix (Michael Jeter), umiera przez dość długi czas w strasznych męczarniach, a także zapala się, co wywołuje panikę wśród świadków.
Strażnicy wykorzystują zdolności uzdrawiające Johna, by wyleczyć żonę naczelnika więzienia. Po powrocie do więzienia John przenosi jej chorobę na Percy’ego Wetmore’a, by go ukarać za to, co zrobił z Eduardem Delacroix. Pod wpływem Coffeya kompletnie oderwany od rzeczywistości Percy zabija jednego z więźniów – Dzikiego Billa (Sam Rockwell), a następnie zostaje umieszczony w zakładzie dla obłąkanych. Paul utwierdza się w przekonaniu, że John jest niewinny, a proces był czysto formalny (znaleziono go tulącego do siebie martwe dziewczynki – czarny musi być winny, choć w rzeczywistości wcale ich nie zabił, tylko znalazł i próbował pomóc za pomocą swoich zdolności, prawdziwym mordercą był Dziki Bill), ale nie ma na to dowodów. Egzekucja musi się odbyć. Przed śmiercią John ogląda ten sam film, który oglądał Paul na początku filmu. Była to ostatnia egzekucja, w której uczestniczyli Paul i Brutus, po tym zdarzeniu przenieśli się do pracy w domu poprawczym.
