Ši alternatyviojo repo grupė susikūrė Šiaurės Karolinoje, pietinėje JAV dalyje, tačiau jų muzika visiškai nepanaši į tam regionui būdingą elektroninį skambesį. Jų muziką galima pavadinti viduriniu variantu tarp A Tribe Called Quest, De La Soul džiaziškų melodijų ir Outkast ritmų įvairovės. Grupės nariams, Phonte, Big Pooh ir 9th Wonder, puikiai pavyko panaikinti ribą, kuri skiria komercinę ir kūrybišką muziką.

Trijulė susipažino 1998-aisiais, kai lankė NCCU universitetą Šiaurės Karolinoje. Pradžią draugystei davė visų trijų bendri pomėgiai ir meilė The Roots, Led Zeppelin, Wes Montgomery muzikai. Jie nutarė padėti vienas kitam kažko pasiekti savo veikloje, ir taip jie vėliau tapo gimtojo miesto Durham'o Hip-Hop'o bendruomenės branduoliu. Jie padėjo susikurti tokioms šio miesto grupėms, kaip The Organization (1998-2000) ir Justus League - 12-os narių kolektyvas, sudarytas iš pirmos rūšies prodiuserių ir MC. Little Brother nariai anksčiau priklausė šiam kolektyvui ir per pirmuosius jo muzikinės veiklos metus tenkinosi pasirodymais kelete singlų. Tačiau 2001-ųjų rugpjūtį trijulė nutarė atsiskirti nuo Justus League ir suformuoti grupę Little Brother. Debiutinis grupės singlas buvo "Speed", bet jiems pavyko įrašyti ir daugiau medžiagos, kuri netrukus atkreipė vietinių Hip-Hop'o mylėtojų, radijo didžėjų ir klubų savininkų dėmesį. Little Brother singlai pradėjo suktis universiteto radijuje ir netrukus jie jau buvo kviečiami apšildyti Tha Liks ir Defari pasirodymų. Tokie pasiekimai per nepilnus Little Brother gyvavimo metus pranoko visus lūkesčius. Kai jų kūrybą pateko į internetą, nereikėjo daug laiko, kad jais susidomėtų "ABB Records" vadovai. Ouklende įsikūrusi kompanija tapo Little Brother namais nuo 2002-ųjų ir jau kitų metų pradžioje grupė išleido debiutinį albumą "The Listening", kuris plačiai nuskambėjo kaip nuostabus darbas ne tik repo, bet ir muzikos atžvilgiu. Prie tokio įvertinimo labiausiai prisidėjo grupės prodiuseris 9th Wonder, kuris čia pademonstravo neprilygstamus įgūdžius sempluoti old-school‘o kūrybą. Pirmąjį savo nacionalinį muzikinį turą Little Brother pradėjo su pogrindinio repo kolektyvu iš Ouklendo - Hieroglyphics (Del tha Funkee Homosapien, Casual, Damian "Domino" Siguenza, Domino). 2004-aisiais trijulė gavo progą pakeliauti su Kanye West ir Dilated Peoples.