issue/170: success cpu gptq

Author: xgqdut2016

include/infiniop/ops/matmul_gptq.h

@@ -5,25 +5,34 @@
 
 typedef InfiniopDescriptor *infiniopMatmulGptqDescriptor_t;
 
-__C __export infiniStatus_t infiniopCreateMatmulGptqDescriptor(
-    infiniopHandle_t handle,
-    infiniopMatmulGptqDescriptor_t *desc_ptr,
-    infiniopTensorDescriptor_t c_desc,
-    infiniopTensorDescriptor_t a_desc,
-    infiniopTensorDescriptor_t b_desc,
-    infiniopTensorDescriptor_t b_scale_desc,
-    infiniopTensorDescriptor_t zero_desc);
+__C __export infiniStatus_t infiniopCreateMatmulGptqDescriptor(infiniopHandle_t handle,
+                                                               infiniopMatmulGptqDescriptor_t *desc_ptr,
+                                                               infiniopTensorDescriptor_t c_desc,
+                                                               infiniopTensorDescriptor_t a_desc,
+                                                               infiniopTensorDescriptor_t packed_weights_desc,
+                                                               infiniopTensorDescriptor_t b_scale_desc,
+                                                               infiniopTensorDescriptor_t zero_desc);
 
 __C __export infiniStatus_t infiniopGetMatmulGptqWorkspaceSize(infiniopMatmulGptqDescriptor_t desc, size_t *size);
 
+__C __export infiniStatus_t infiniopMatmulQuant(infiniopMatmulGptqDescriptor_t desc,
+                                                void *workspace,
+                                                size_t workspace_size,
+                                                void *packed_weights,
+                                                void *b_scale,
+                                                void *zero,
+                                                const void *a,
+                                                const void *b,
+                                                void *stream);
+
 __C __export infiniStatus_t infiniopMatmulGptq(infiniopMatmulGptqDescriptor_t desc,
                                                void *workspace,
                                                size_t workspace_size,
                                                void *c,
                                                const void *a,
-                                               const void *b,
-                                               const void *b_scale,
-                                               const void *zero,
+                                               void *packed_weights,
+                                               void *b_scale,
+                                               void *zero,
                                                void *stream);
 
 __C __export infiniStatus_t infiniopDestroyMatmulGptqDescriptor(infiniopMatmulGptqDescriptor_t desc);