Алмаз первоначально принадлежал династии раджей Гвалиора, которые погибли в битве во время захвата города Агра монголами. В честь этого города и был назван камень. Император монголов Бабур пощадил жизни семьи раджи, и в благодарность семья отдала ему фамильные драгоценности. Согласно описаниям, Бабур носил алмаз на тюрбане.
Во время разграбления Надир-шахом монгольских сокровищ в 1739 году алмаз Агра неизвестным образом удалось сохранить.
Многие подробности из более поздней истории камня также остаются неизвестными. Алмаз в итоге был переправлен в Англию. По одной из версий, он был контрабандным путем вывезен из Индии в животе лошади. Однако согласно этой версии контрабанда произошла в 1857 году, что кажется невозможным, так как в 1844 году Чарльз, герцог Брауншвейгский, уже купил алмаз у торговца драгоценными камнями из кампании Blogg & Martin.
Парижский торговец алмазами Брэм Герц приобрел алмаз Агра у герцога Брауншвейгского и произвел его повторную огранку, сократив его размер с 41 до 31.41 карата, чтобы устранить некоторые включения. В 1891 году Герц продал алмаз лондонскому ювелиру Эдвину Стритер — за жемчужное ожерелье стоимостью 14,000 фунтов и 1,000 фунтов наличными.
За прошедшие годы камень продавали и перепродавали множество раз. Последним покупателем и владельцем камня в настоящее время выступает компания SIBA Corporation из Гонконга, представители которой заплатили за бриллиант 4,07 миллиона фунтов на аукционе Кристис в Гонконге. Бриллиант заново огранили и сейчас он весит 28,15 карат.