Im Jahr 1655 wurde Hersey Barrett, ein Offizier der von Admiral Penn und General Venables kommandierten Expedition, von Cromwells Parlament geschickt, um Hispaniola vor den Spaniern zu erobern. Es erwies sich als zu stark gehalten, so dass sie den leichteren Preis von Jamaika gewannen. Hersey Barrett erhielt Ländereien in Jamaika und ließ sich auf der Insel nieder.
Im Gegensatz zu vielen der ursprünglichen Siedler florierten die Barretts und waren Mitte des 18. Jahrhunderts immens reich geworden, da sie über 84.000 Acres Land und über 2.000 versklavte Personen besaßen. Die Familie besaß auch ein Londoner Haus, dessen Standort noch immer als Barrett Street bekannt ist, nördlich des heutigen Selfridges.
Das Einkommen des Familienoberhaupts und Vaters von Elizabeth Barrett Browning, Edward Barrett, betrug über 60.000 Pfund pro Jahr. Als Edward 1795 in Begleitung seines Bruders Samuel und seiner Schwester Sarah (Pinkie) nach England zog, blieb sein Cousin Richard Barrett fest mit Jamaika verbunden und wurde unter anderem Sprecher des House of Assembly, Kustos der Pfarrei St. James und Richter.
