Polykarp ble født i år 69 e.Kr. i Smyrna (dagens Izmir i Tyrkia). Han var trolig født inn i en kristen familie og døpt som barn (jf hans ord til stattholderen).
Polykarp ble tilsynsmann (biskop) i Smyrna omkring år 100, noe han forble fram til sin død. Kirkefaderen Ireneus ble kjent med Polykarp som barn. Han takker Polykarp for hans fromhet, og det er han som forteller at Polykarp hadde «kjent Johannes og de andre som har sett Herren», og at Polykarp kunne fortelle mye om hans samvær med disse.
Polykarp var en varm forsvarer av den sanne kristne læren mot gnostikernes vranglære. Det er bevart et brev fra Polykarp til menigheten i Filippi, hvor han siterer Joh 4:3 og advarer sterkt mot gnostikeren Markion. Like etter at Polykarp hadde kommet tilbake til Smyrna fra en reise til Roma (år 155 e.Kr), hadde det brutt ut kristenforfølgelse i byen. En ungdom som het Germanikus ble ført til arenaen hvor det var ville dyr. Stattholderen syntes han var for ung til å dø, så han ba ham om å avsi seg sin kristne tro og ofre til de hedenske gudene. Men Germanikus kastet seg mot en løve for å slippe fra fristelsen, og ble revet i hjel.
Folket ropte: «Bort med de gudløse!». De anså de kristne som nektet å tilbe statens guder for gudløse. «Hent Polykarp!» ropte de så. Polykarp ble advart om at myndighetene ville arrestere ham, og han lot seg overtale til å trekke seg tilbake til en gård utenfor Smyrna. Der vendte han seg i bønn til Gud. Men han ble forrådt av en av sine egne tjenere, som var blitt truet med tortur, og en kveld ble han arrestert.
Han ble ført til amfiteatret hvor den romerske stattholderen satt til doms. Denne hadde medlidenhet med den gamle mannen og ga ham anledning til å avsverge seg sin kristne tro: «Avlegg en ed ved keiserens skytsånd og avsverg Kristus». Polykarp svarte: «I 86 år har jeg tjent Herren og aldri har han gjort meg noe ondt – hvordan skal jeg kunne tale ille om kongen som har frelst meg?» Stattholderen sa: «Jeg har ville dyr, jeg har ild!» Polykarp svarte: «Du truer med ild som brenner en times tid og så slokner. Du vet ikke om den kommende doms ild, den evige straffs ild, som venter på de ugudelige.» Stattholderens lokking og trusler hadde ingen virkning.
Da folket som var samlet til lekene i amfiteatret hørte at Polykarp hadde tilstått at han var kristen, krevde de blodet til mannen som «ødelegger våre guder». Først ropte de at han måtte kastes til løvene, deretter at han måtte brennes. Han ble sannsynligvis drept ved å bli stukket med sverd og deretter brent sammen med tolv av sine disipler.
Etter Polykarps martyrium skrev hans menighet i Smyrna en lang beretning om hans død til menigheten i Filomelion i Pisidia, og teksten til dette brevet er bevart. Dette Martyrium Polycarpi er den første autentiske beretning om et kristent martyrium etter Stefanus (Apg 6-7).
Germanikus og Polykarp, og mange andre kristne som ble martyrer, avga et sterkt vitnesbyrd om Jesus og frelsen i ham. Det var utenkelig for hedningene å dø for sine guder, så det gjorde et veldig inntrykk når de kristne frimodig gikk i døden for sin tro. Det er sagt at martyrenes blod ble «kirkens utsæd».
Det er i samsvar med Jesu ord om hvetekornet som bærer frukt først når det legges i jorden og dør. Det betyr ikke at alle kristne må dø fysisk for å bære frukt, men det taler om nødvendigheten av å ta sitt kors opp og miste sitt liv i denne verden for Jesu skyld.