Downton Abbey is het landgoed van de Crawley-familie en het personeel. Sinds 1772 zijn de Crawleys als graven van Grantham met deze plek verbonden. De adellijke familie heeft een sterk besef van hun bevoorrechte positie en de lusten en lasten die dat met zich meebrengt. 

Robert, hoofd van de familie, woont op het landgoed met zijn Amerikaanse vrouw Cora en hun drie dochters. Het welgestelde leven op Downton Abbey wordt mogelijk gemaakt door de inzet van het toegewijde personeel onder aanvoering van Mr. Carson, de butler.