Né à Wolverhampton, dans les Midlands, le 1er novembre 1946, Dave Holland commence la musique dès l'âge de dix ans. La guitare est son premier instrument qu'il va remplacer par la contrebasse en 1961.
De 1965 à 1968, il fréquente la Guildhall School et se produit avec de nombreux orchestres de musique classique et de jazz, dont Ronnie Scott, Tubby Hayes, Evan Parker et John Surman. Il est remarqué par Miles Davis à Londres en 1968 qui l'engage sur le champ. Il restera deux ans avec le trompettiste le temps, entre autres, d'enregistrer In a Silent Way et Bitches Brew. Quittant le Miles Davis Band, il forme avec un autre ex compagnon de Miles Davis, Chick Corea, le groupe Circle en compagnie d'Anthony Braxton et Bary Altschul.
En 1972, Sam Ryvers remplaçant Corea, Circle enregistre Conference of the Birds. Après cela, Dave Holland accompagne Stan Getz puis se lance dans une carrière solo et enregistre un disque au violoncelle.Durant les années 1980, il ne cesse d'accompagner de nombreux jazzmen : Paul Bley, Jack DeJohnette, John Surman, Pat Metheny, Steve Lacy. Au début des années 1990, il joue dans le London Jazz Composer Orchestra et ensuite avec Herbie Hancock.
À partir de 1995, il se produit de plus en plus souvent avec son quintette ou en duo, avec Jim Hall par exemple. Il a été nominé aux Grammy Awards en 1999 pour l'album Prime Directive, considéré aujourd'hui comme un des plus grands albums des années 1990. Il contribue à faire découvrir d'autres musiciens, en particulier Steve Coleman, et perpétue ainsi la tradition de belle et élégante manière.
Dans la décennie 2000, Dave Holland reste très actif. Il enregistre pour le label allemand ECM les albums Not for Nothin' (2000), What Goes Around (2002) et Extended Play/Live at Birdland (2006). Le bassiste crée ensuite sa propre structure Dare2 qui édite les albums Overtime (2005), Pass It On (2008) et Pathways (2010). À l'été 2010 paraît le fruit de son aventure dans la musique flamenco en compagnie du guitariste Pepe Habichuela, Hands. En 2013, il anime le super-quartette Prism avec Kevin Eubanks (guitare), Craig Taborn (claviers) et Eric Harland (batterie). En 2016, c'est un autre quartette de choix qui figure sur l'album Aziza. Dave Holland et Eric Harland officient cette fois aux côtés de Chris Potter (saxophone) et Lionel Loueke (guitare).
