@@ -198,7 +198,7 @@ ifdef LLAMA_HIPBLAS
198
198
LLAMA_CUDA_KQUANTS_ITER ?= 1
199
199
LLAMA_CUDA_FORCE_DMMV ?= true
200
200
HIPFLAGS += -DGGML_USE_HIPBLAS -DGGML_USE_CUBLAS $(shell $(ROCM_PATH)/bin/hipconfig -C)
201
- HIPLDFLAGS += -L$(ROCM_PATH)/lib -Wl,-rpath=$(ROCM_PATH)/lib -lhipblas -lamdhip64
201
+ HIPLDFLAGS += -L$(ROCM_PATH)/lib -Wl,-rpath=$(ROCM_PATH)/lib -lhipblas -lamdhip64 -lrocblas
202
202
HIP_OBJS += ggml-cuda.o ggml_v2-cuda.o ggml_v2-cuda-legacy.o
203
203
ggml-cuda.o : HIPFLAGS += $(addprefix --offload-arch=,$(GPU_TARGETS ) ) \
204
204
-DGGML_CUDA_DMMV_X=$(LLAMA_CUDA_DMMV_X ) \
@@ -223,25 +223,6 @@ ggml_v2-cuda-legacy.o: otherarch/ggml_v2-cuda-legacy.cu otherarch/ggml_v2-cuda-l
223
223
$(CXX ) $(CXXFLAGS ) $(HIPFLAGS ) -x hip -c -o $@ $<
224
224
endif # LLAMA_HIPBLAS
225
225
226
- ifdef LLAMA_HIPBLAS
227
- ROCM_PATH ?= /opt/rocm
228
- CC := $(ROCM_PATH)/llvm/bin/clang
229
- CXX := $(ROCM_PATH)/llvm/bin/clang++
230
- GPU_TARGETS ?= gfx803 gfx900 gfx906 gfx908 gfx90a gfx1030 gfx1100
231
- LLAMA_CUDA_DMMV_X ?= 32
232
- LLAMA_CUDA_MMV_Y ?= 1
233
- LLAMA_CUDA_KQUANTS_ITER ?= 2
234
- CFLAGS += -DGGML_USE_HIPBLAS -DGGML_USE_CUBLAS $(shell $(ROCM_PATH)/bin/hipconfig -C)
235
- CXXFLAGS += -DGGML_USE_HIPBLAS -DGGML_USE_CUBLAS $(shell $(ROCM_PATH)/bin/hipconfig -C)
236
- LDFLAGS += -L$(ROCM_PATH)/lib -Wl,-rpath=$(ROCM_PATH)/lib -lhipblas -lamdhip64 -lrocblas
237
- OBJS += ggml-cuda.o
238
- ggml-cuda.o : CXXFLAGS += $(addprefix --offload-arch=,$(GPU_TARGETS ) )
239
- ggml-cuda.o : CXXFLAGS += -DGGML_CUDA_DMMV_X=$(LLAMA_CUDA_DMMV_X )
240
- ggml-cuda.o : CXXFLAGS += -DGGML_CUDA_MMV_Y=$(LLAMA_CUDA_MMV_Y )
241
- ggml-cuda.o : CXXFLAGS += -DK_QUANTS_PER_ITERATION=$(LLAMA_CUDA_KQUANTS_ITER )
242
- ggml-cuda.o : ggml-cuda.cu ggml-cuda.h
243
- $(CXX ) $(CXXFLAGS ) -x hip -c -o $@ $<
244
- endif # LLAMA_HIPBLAS
245
226
246
227
ifdef LLAMA_METAL
247
228
CFLAGS += -DGGML_USE_METAL -DGGML_METAL_NDEBUG
0 commit comments