Grajewo, położone przy dolinie rzeki Ełk (Łek), powstało w XV wieku z inicjatywy księcia mazowieckiego, wielkiego kolonizatora Mazowsza, Janusza I. Nazwa miasta pochodzi od nieistniejącego już dziś jeziora Krejwy. W poprzednich wiekach często dla Grajewa używano określeń: Grejwy, Grajwy, Grajwo.

W 1426 roku książę Janusz po raz pierwszy wymienił nazwę książęcej wsi Graywa przy okazji nadania w niej wójtostwa Boguszowi z Lachowstoku. Wzmianka o tym znajduje się w metryce książąt mazowieckich. Nie oznacza to jednak, że wieś Grajwa już istniała w sensie administracyjno-gospodarczym.

Wiadomo, że jeszcze w XV wieku w osadzie założono młyn, a Jan z Białowieży (posiadający na tych terenach znaczny majątek) zaczął nazywać siebie Grajewskim. Coraz bardziej liczne osadnictwo zaowocowało ufundowaniem w 1478 roku kościoła Świętej Trójcy, a w następnym roku Kazimierz Mazowiecki erygował tu parafię grajewską. Wzrost zaludnienia spowodował, że zaczął się tworzyć na tym terenie nieduży ośrodek handlu i produkcji rzemieślniczej. Z czasem Stanisław, Jan i Jakub Grajewscy wystarali się u króla Zygmunta Starego o prawo miejskie dla swojej wsi (1540 rok).

Mimo korzystnego położenia miasto przez parę wieków nie rozwijało się tak dynamicznie jak dotychczas. Związane to było z ogólnym kryzysem miast w Polsce tej doby.

Warto wspomnieć, że Grajewo zapisało chlubną kartę w powstaniach narodowych: kościuszkowskim i styczniowym. Jednak powoli traciło na wielkości gospodarczej. W 1800 roku liczyło zaledwie 23 domy i 218 mieszkańców, zaś w 1870 roku miastu odebrano prawa miejskie - powodem był udział mieszkańców w powstaniu styczniowym. W międzyczasie rozwój Grajewa przyśpieszyła budowa linii kolejowej z Białegostoku do Ełku. Jej otwarcie nastąpiło w 1873 roku. Dzięki temu Grajewo stało się ważnym punktem tranzytowym i stacją graniczną przeładunku zboża transportowanego ze wschodu do Niemiec. Nastąpił zarazem rozwój przemysłu (fabryka pasów, tasiemek gumowych).

W 1894 roku w Grajewie zostały wybudowane koszary, do miasta przybyli rosyjscy wojskowi wraz z rodzinami. Wybudowano dla nich małą cerkiew oraz założono cmentarz prawosławny.

W latach I wojny światowej miasto uległo zniszczeniu spowodowanemu przez armię niemiecką. 12 listopada 1918 roku Grajewo zostało oswobodzone, zaś 4 lutego 1919 roku dekretem Naczelnika Państwa stało się ponownie miastem.

W okresie międzywojennym Grajewo było siedzibą starostwa szczuczńskiego i liczyło około 9500 mieszkańców. Bliskość granicy z Prusami Wschodnimi wpłynęła na tutejszy rozwój życia gospodarczego.

Po wybuchu II wojny światowej, w nocy z 6 na 7 września 1939 roku, miasto zostało zajęte przez Niemców, a po 21 września znalazło się pod okupacją radziecką. W 1941 roku znów Grajewo zajęli Niemcy. Wojna pochłonęła ponad 5000 mieszkańców, zaś miasto zniszczone zostało niemal w 30%. Podczas okupacji aktywnie działał tu ruch oporu. Grajewo spod okupacji niemieckiej zostało oswobodzone 23 stycznia 1945 roku przez armię radziecką.

Po wyzwoleniu nastąpił dynamiczny rozwój gospodarczy, społeczny i kulturalny Grajewa. Obecny kształt przestrzenny rynku i ulic wylotowych pochodzi z przełomu XVIII/XIX wieku.

Najcenniejsze, podlegające ochronie obiekty to:

zespół kościoła parafialnego pw. Trójcy Przenajświętszej (kościół i dzwonnica z połowy XIX wieku, plebania z okresu międzywojennego);

kaplica grobowa rodziny Wilczewskich (murowana, 1839 rok);

brama cmentarna murowana (koniec XIX wieku);

wieża ciśnień (przełom XIX/XX wieku);

cmentarz rzymskokatolicki (początek XIX wieku).