「Google Colab」で「Llama.cpp + Vicuna-v1.5」を試したのでまとめました。 1. Vicuna-v1.5のGGMLモデル「Vicuna-v1.5」で提供されている「GGML」モデルは、次の4つです。 ・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-16K-GGML ・TheBloke/vicuna-13B-v1.5-GGML ・TheBloke/vicuna-13B-v1.5-16K-GGML 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) モデルのダウンロード。 今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。 !wget https://huggingface.co/TheBloke/vicuna-7B-v1.5-GGML/r