diff --git a/clang/lib/CIR/CodeGen/CIRGenBuiltinAArch64.cpp b/clang/lib/CIR/CodeGen/CIRGenBuiltinAArch64.cpp index c76ca37a5425..e50daeee1709 100644 --- a/clang/lib/CIR/CodeGen/CIRGenBuiltinAArch64.cpp +++ b/clang/lib/CIR/CodeGen/CIRGenBuiltinAArch64.cpp @@ -4594,7 +4594,27 @@ CIRGenFunction::emitAArch64BuiltinExpr(unsigned BuiltinID, const CallExpr *E, } case NEON::BI__builtin_neon_vzip_v: case NEON::BI__builtin_neon_vzipq_v: { - llvm_unreachable("NEON::BI__builtin_neon_vzipq_v NYI"); + Ops[1] = builder.createBitcast(Ops[1], ty); + Ops[2] = builder.createBitcast(Ops[2], ty); + // Adding a bitcast here as Ops[0] might be a void pointer. + mlir::Value baseAddr = + builder.createBitcast(Ops[0], builder.getPointerTo(ty)); + mlir::Value sv; + mlir::Location loc = getLoc(E->getExprLoc()); + + for (unsigned vi = 0; vi != 2; ++vi) { + llvm::SmallVector indices; + for (unsigned i = 0, e = vTy.getSize(); i != e; i += 2) { + indices.push_back((i + vi * e) >> 1); + indices.push_back(((i + vi * e) >> 1) + e); + } + cir::ConstantOp idx = builder.getConstInt(loc, SInt32Ty, vi); + mlir::Value addr = builder.create( + loc, baseAddr.getType(), baseAddr, idx); + sv = builder.createVecShuffle(loc, Ops[1], Ops[2], indices); + (void)builder.CIRBaseBuilderTy::createStore(loc, sv, addr); + } + return sv; } case NEON::BI__builtin_neon_vqtbl1q_v: { llvm_unreachable("NEON::BI__builtin_neon_vqtbl1q_v NYI"); diff --git a/clang/test/CIR/CodeGen/AArch64/neon-misc.c b/clang/test/CIR/CodeGen/AArch64/neon-misc.c index 18cd9298be12..eefca6dd4a7e 100644 --- a/clang/test/CIR/CodeGen/AArch64/neon-misc.c +++ b/clang/test/CIR/CodeGen/AArch64/neon-misc.c @@ -703,6 +703,233 @@ float32x4x2_t test_vuzpq_f32(float32x4_t a, float32x4_t b) { // LLVM-NEXT: ret %struct.float32x4x2_t [[RET]] } +uint8x8x2_t test_vzip_u8(uint8x8_t a, uint8x8_t b) { + return vzip_u8(a, b); + + // CIR-LABEL:vzip_u8 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<8> : !s32i, #cir.int<1> : !s32i, #cir.int<9> : !s32i, + // CIR-SAME: #cir.int<2> : !s32i, #cir.int<10> : !s32i, #cir.int<3> : !s32i, + // CIR-SAME: #cir.int<11> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<4> : !s32i, #cir.int<12> : !s32i, #cir.int<5> : !s32i, #cir.int<13> : !s32i, + // CIR-SAME: #cir.int<6> : !s32i, #cir.int<14> : !s32i, #cir.int<7> : !s32i, + // CIR-SAME: #cir.int<15> : !s32i] : !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzip_u8(<8 x i8>{{.*}}[[A:%.*]], <8 x i8>{{.*}}[[B:%.*]]) + // LLVM: [[VTRN:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> [[B]], + // LLVM-SAME: + // LLVM: store <8 x i8> [[VTRN]], ptr [[RES:%.*]], align 8 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<8 x i8>, ptr [[RES]], i64 1 + // LLVM: [[VTRN1:%.*]] = shufflevector <8 x i8> [[A]], <8 x i8> [[B]], <8 x i32> + // LLVM: store <8 x i8> [[VTRN1]], ptr [[RES1]], align 8 + // LLVM-NEXT: [[RET:%.*]] = load %struct.uint8x8x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.uint8x8x2_t [[RET]] +} + +uint16x4x2_t test_vzip_u16(uint16x4_t a, uint16x4_t b) { + return vzip_u16(a, b); + + // CIR-LABEL: vzip_u16 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<4> : !s32i, #cir.int<1> : !s32i, #cir.int<5> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<2> : !s32i, #cir.int<6> : !s32i, #cir.int<3> : !s32i, #cir.int<7> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzip_u16(<4 x i16>{{.*}}[[A:%.*]], <4 x i16>{{.*}}[[B:%.*]]) + // LLVM: [[vzip:%.*]] = shufflevector <4 x i16> [[A]], <4 x i16> [[B]], + // LLVM-SAME: <4 x i32> + // LLVM: store <4 x i16> [[vzip]], ptr [[RES:%.*]], align 8 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<4 x i16>, ptr [[RES]], i64 1 + // LLVM: [[vzip1:%.*]] = shufflevector <4 x i16> [[A]], <4 x i16> [[B]], + // LLVM-SAME: <4 x i32> + // LLVM: store <4 x i16> [[vzip1]], ptr [[RES1]], align 8 + // LLVM-NEXT: [[RET:%.*]] = load %struct.uint16x4x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.uint16x4x2_t [[RET]] +} + +int32x2x2_t test_vzip_s32(int32x2_t a, int32x2_t b) { + return vzip_s32(a, b); + + // CIR-LABEL: vzip_s32 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<2> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<1> : !s32i, #cir.int<3> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzip_s32(<2 x i32>{{.*}}[[A:%.*]], <2 x i32>{{.*}}[[B:%.*]]) + // LLVM: [[vzip:%.*]] = shufflevector <2 x i32> [[A]], <2 x i32> [[B]], + // LLVM-SAME: <2 x i32> + // LLVM: store <2 x i32> [[vzip]], ptr [[RES:%.*]], align 8 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<2 x i32>, ptr [[RES]], i64 1 + // LLVM: [[vzip1:%.*]] = shufflevector <2 x i32> [[A]], <2 x i32> [[B]], + // LLVM-SAME: <2 x i32> + // LLVM: store <2 x i32> [[vzip1]], ptr [[RES1]], align 8 + // LLVM-NEXT: [[RET:%.*]] = load %struct.int32x2x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.int32x2x2_t [[RET]] +} + +float32x2x2_t test_vzip_f32(float32x2_t a, float32x2_t b) { + return vzip_f32(a, b); + + // CIR-LABEL: vzip_f32 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<2> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<1> : !s32i, #cir.int<3> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzip_f32(<2 x float>{{.*}}[[A:%.*]], <2 x float>{{.*}}[[B:%.*]]) + // LLVM: [[vzip:%.*]] = shufflevector <2 x float> [[A]], <2 x float> [[B]], + // LLVM-SAME: <2 x i32> + // LLVM: store <2 x float> [[vzip]], ptr [[RES:%.*]], align 8 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<2 x float>, ptr [[RES]], i64 1 + // LLVM: [[vzip1:%.*]] = shufflevector <2 x float> [[A]], <2 x float> [[B]], + // LLVM-SAME: <2 x i32> + // LLVM: store <2 x float> [[vzip1]], ptr [[RES1]], align 8 + // LLVM-NEXT: [[RET:%.*]] = load %struct.float32x2x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.float32x2x2_t [[RET]] +} + +uint8x16x2_t test_vzipq_u8(uint8x16_t a, uint8x16_t b) { + return vzipq_u8(a, b); + + // CIR-LABEL: vzipq_u8 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<16> : !s32i, #cir.int<1> : !s32i, #cir.int<17> : !s32i, + // CIR-SAME: #cir.int<2> : !s32i, #cir.int<18> : !s32i, #cir.int<3> : !s32i, #cir.int<19> : !s32i, + // CIR-SAME: #cir.int<4> : !s32i, #cir.int<20> : !s32i, #cir.int<5> : !s32i, #cir.int<21> : !s32i, + // CIR-SAME: #cir.int<6> : !s32i, #cir.int<22> : !s32i, #cir.int<7> : !s32i, #cir.int<23> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<8> : !s32i, #cir.int<24> : !s32i, #cir.int<9> : !s32i, #cir.int<25> : !s32i, + // CIR-SAME: #cir.int<10> : !s32i, #cir.int<26> : !s32i, #cir.int<11> : !s32i, #cir.int<27> : !s32i, + // CIR-SAME: #cir.int<12> : !s32i, #cir.int<28> : !s32i, #cir.int<13> : !s32i, #cir.int<29> : !s32i, + // CIR-SAME: #cir.int<14> : !s32i, #cir.int<30> : !s32i, #cir.int<15> : !s32i, #cir.int<31> : !s32i] : !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzipq_u8(<16 x i8>{{.*}}[[A:%.*]], <16 x i8>{{.*}}[[B:%.*]]) + // LLVM: [[vzip:%.*]] = shufflevector <16 x i8> [[A]], <16 x i8> [[B]], + // LLVM-SAME: <16 x i32> + // LLVM: store <16 x i8> [[vzip]], ptr [[RES:%.*]], align 16 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<16 x i8>, ptr [[RES]], i64 1 + // LLVM: [[vzip1:%.*]] = shufflevector <16 x i8> [[A]], <16 x i8> [[B]], + // LLVM-SAME: <16 x i32> + // LLVM: store <16 x i8> [[vzip1]], ptr [[RES1]], align 16 + // LLVM-NEXT: [[RET:%.*]] = load %struct.uint8x16x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.uint8x16x2_t [[RET]] +} + +int16x8x2_t test_vzipq_s16(int16x8_t a, int16x8_t b) { + return vzipq_s16(a, b); + + // CIR-LABEL: vzipq_s16 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<8> : !s32i, #cir.int<1> : !s32i, #cir.int<9> : !s32i, + // CIR-SAME: #cir.int<2> : !s32i, #cir.int<10> : !s32i, #cir.int<3> : !s32i, + // CIR-SAME: #cir.int<11> : !s32i] : !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<4> : !s32i, #cir.int<12> : !s32i, #cir.int<5> : !s32i, #cir.int<13> : !s32i, + // CIR-SAME: #cir.int<6> : !s32i, #cir.int<14> : !s32i, #cir.int<7> : !s32i, + // CIR-SAME: #cir.int<15> : !s32i] : !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + + // LLVM: {{.*}}test_vzipq_s16(<8 x i16>{{.*}}[[A:%.*]], <8 x i16>{{.*}}[[B:%.*]]) + // LLVM: [[vzip:%.*]] = shufflevector <8 x i16> [[A]], <8 x i16> [[B]], + // LLVM-SAME: <8 x i32> + // LLVM: store <8 x i16> [[vzip]], ptr [[RES:%.*]], align 16 + // LLVM: [[RES1:%.*]] = getelementptr {{.*}}<8 x i16>, ptr [[RES]], i64 1 + // LLVM: [[vzip1:%.*]] = shufflevector <8 x i16> [[A]], <8 x i16> [[B]], <8 x i32> + // LLVM: store <8 x i16> [[vzip1]], ptr [[RES1]], align 16 + // LLVM-NEXT: [[RET:%.*]] = load %struct.int16x8x2_t, ptr {{.*}} + // LLVM-NEXT: ret %struct.int16x8x2_t [[RET]] +} + +uint32x4x2_t test_vzipq_u32(uint32x4_t a, uint32x4_t b) { + return vzipq_u32(a, b); + + // CIR-LABEL: vzipq_u32 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<4> : !s32i, #cir.int<1> : !s32i, #cir.int<5> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<2> : !s32i, #cir.int<6> : !s32i, #cir.int<3> : !s32i, #cir.int<7> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + // LLVM: [[RET:%.*]] = load %struct.uint32x4x2_t, ptr {{.*}} + // LLVM: ret %struct.uint32x4x2_t [[RET]] +} + +float32x4x2_t test_vzipq_f32(float32x4_t a, float32x4_t b) { + return vzipq_f32(a, b); + + // CIR-LABEL: vzipq_f32 + // CIR: [[PTR:%.*]] = cir.cast(bitcast, {{%.*}} : !cir.ptr), !cir.ptr> + // CIR: [[ZERO:%.*]] = cir.const #cir.int<0> : !s32i + // CIR: [[ADDR:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ZERO]] : !s32i), !cir.ptr> + // CIR: [[RES:%.*]] = cir.vec.shuffle([[INP1:%.*]], [[INP2:%.*]] : !cir.vector) + // CIR-SAME: [#cir.int<0> : !s32i, #cir.int<4> : !s32i, #cir.int<1> : !s32i, #cir.int<5> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES]], [[ADDR]] : !cir.vector, !cir.ptr> + // CIR: [[ONE:%.*]] = cir.const #cir.int<1> : !s32i + // CIR: [[ADDR1:%.*]] = cir.ptr_stride([[PTR]] : !cir.ptr>, [[ONE]] : !s32i), !cir.ptr> + // CIR: [[RES1:%.*]] = cir.vec.shuffle([[INP1]], [[INP2]] : !cir.vector) + // CIR-SAME: [#cir.int<2> : !s32i, #cir.int<6> : !s32i, #cir.int<3> : !s32i, #cir.int<7> : !s32i] : + // CIR-SAME: !cir.vector + // CIR: cir.store [[RES1]], [[ADDR1]] : !cir.vector, !cir.ptr> + // LLVM: [[RET:%.*]] = load %struct.float32x4x2_t, ptr {{.*}} + // LLVM: ret %struct.float32x4x2_t [[RET]] +} + uint8x8_t test_vqmovun_s16(int16x8_t a) { return vqmovun_s16(a);