In 1655 werd Hersey Barrett, een officier in de expeditie onder bevel van Admiral Penn en generaal Venables, door het parlement van Cromwell gestuurd om Hispaniola uit de Spanjaarden te veroveren. Het bleek te sterk te worden vastgehouden, dus namen ze de gemakkelijkere prijs van Jamaica. Hersey Barrett kreeg landen in Jamaica en vestigde zich op het eiland.
In tegenstelling tot veel van de oorspronkelijke kolonisten was de Barrett Porpered en tegen het midden van de achttiende eeuw enorm rijk geworden, met meer dan 84.000 hectare land en meer dan 2.000 tot slaaf gemaakte personen. De familie had ook een Londense huis, waarvan de site nog steeds bekend staat als Barrett Street, net ten noorden van de huidige zelfridges.
Het hoofd van de familie en de vader van Elizabeth Barrett Browning, het inkomen van Edward Barrett bedroeg meer dan 60.000 pond per jaar. Toen Edward in 1795, vergezeld van zijn broer Samuel en zijn zus Sarah (Pinkie), in Engeland ging wonen, bleef zijn neef Richard Barrett stevig verbonden met Jamaica en werd onder meer voorzitter van het House of Assembly, Custos van de parochie van St. James en een rechter.
