Fix mlock_supported and mmap_supported return type

Author: abetlen

llama_cpp/llama_cpp.py

@@ -157,15 +157,15 @@ def llama_context_default_params() -> llama_context_params:
 _lib.llama_context_default_params.restype = llama_context_params
 
 
-def llama_mmap_supported() -> c_bool:
+def llama_mmap_supported() -> bool:
     return _lib.llama_mmap_supported()
 
 
 _lib.llama_mmap_supported.argtypes = []
 _lib.llama_mmap_supported.restype = c_bool
 
 
-def llama_mlock_supported() -> c_bool:
+def llama_mlock_supported() -> bool:
     return _lib.llama_mlock_supported()
 
 
@@ -387,7 +387,9 @@ def llama_n_embd(ctx: llama_context_p) -> c_int:
 # Can be mutated in order to change the probabilities of the next token
 # Rows: n_tokens
 # Cols: n_vocab
-def llama_get_logits(ctx: llama_context_p):  # type: (...) -> Array[float] # type: ignore
+def llama_get_logits(
+    ctx: llama_context_p,
+):  # type: (...) -> Array[float] # type: ignore
     return _lib.llama_get_logits(ctx)
 
 
@@ -397,7 +399,9 @@ def llama_get_logits(ctx: llama_context_p):  # type: (...) -> Array[float] # typ
 
 # Get the embeddings for the input
 # shape: [n_embd] (1-dimensional)
-def llama_get_embeddings(ctx: llama_context_p):  # type: (...) -> Array[float] # type: ignore
+def llama_get_embeddings(
+    ctx: llama_context_p,
+):  # type: (...) -> Array[float] # type: ignore
     return _lib.llama_get_embeddings(ctx)
 
 

llama_cpp/server/app.py

@@ -27,11 +27,11 @@ class Settings(BaseSettings):
     )
     f16_kv: bool = Field(default=True, description="Whether to use f16 key/value.")
     use_mlock: bool = Field(
-        default=bool(llama_cpp.llama_mlock_supported().value),
+        default=llama_cpp.llama_mlock_supported(),
         description="Use mlock.",
     )
     use_mmap: bool = Field(
-        default=bool(llama_cpp.llama_mmap_supported().value),
+        default=llama_cpp.llama_mmap_supported(),
         description="Use mmap.",
     )
     embedding: bool = Field(default=True, description="Whether to use embeddings.")