Elementary leva Sherlock Holmes para a Nova York dos dias de hoje. Na história de Elementary o detetive, um homem excêntrico que foi consultor da Scotland Yard, vai para Nova Iorque para passar um período em um centro de reabilitação. Quando deixa a clínica ele decide morar no Brooklyn na companhia de Joan, uma ex-cirurgiã que perdeu sua licença quando um paciente morreu. Na época, ela prestava auxílio para o Departamento de Polícia de Nova Iorque. Joan deverá representar para Sherlcok a pessoa que o manterá sóbrio.

John Reese é um ex-agente da CIA, dado como morto pelo governo norte-americano, que é recrutado por Finch, um milionário recluso, para trabalhar em um projeto ultra-secreto. Ele desenvolveu um computador capaz de identificar planos para cometer crimes antes mesmo que eles aconteçam e precisa de John para salvar as vidas em risco. O problema é que o tal programa aponta apenas uma pessoa ligada ao crime, obrigando John e Finch a identificar se tal nome é de uma vítima ou de um culpado.

Depois de se render, um brilhante fugitivo oferece-se para ajudar o FBI a prender outros bandidos, porém, só se a inexperiente profiler Elizabeth Keen for a sua parceira.