Replaced pongo2 with templates from standard library.

Author: ReverseTM

CHANGELOG.md

@@ -9,12 +9,13 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
 
 ### Changed
 
-- String templates replaced with jinja like
+- Field `template` in the `string` data type now not only specifies the pattern, 
+  but also allows you to use the values of any columns of the generated model.
 
 ### Breaking changes
 
 - The old version of string template in `type_params` of `string` type is no longer supported,
-  `{{ pattern('pattern_expression') }}` should be used instead.
+  `{{ "pattern_expression" | pattern }}` should be used instead.
 
 ## [0.0.1](https://github.com/tarantool/sdvg/compare/36d0930..0.0.1) - 2025-07-21
 

doc/en/usage.md

@@ -158,8 +158,8 @@ Structure `models[*].columns[*].type_params` for data type `string`:
 - `min_length`: Minimum string length. Default is `1`.
 - `max_length`: Maximum string length. Default is `32`.
 - `logical_type`: Logical type of string. Supported values: `first_name`, `last_name`, `phone`, `text`.
-- `template`: Jinja-like template for string generation. Allows you to use any fields of the generated model and
-  specify the pattern of the string using the `pattern` function. Information about the filters and functions
+- `template`: Template for string generation. Allows you to use the values of any columns of the generated model and
+  specify the pattern of the string using the `pattern` function. Information about the functions
   available in template strings is described at the end of this section.
 - `locale`: Locale for generated strings. Supported values: `ru`, `en`. Default is `en`.
 - `without_large_letters`: Flag indicating if uppercase letters should be excluded from the string.
@@ -195,15 +195,12 @@ Structure `output.params` for format `http`:
 - `workers_count`: Number of threads for writing data. Default is `1`. *Experimental field.*
 - `headers`: HTTP request headers specified as a dictionary. Default is none.
 - `format_template`: Template-based format for sending data, configured using Golang templates.  
-  Available for use in `format_template`:
-
-  - fields:
+  There are 2 fields available for use in `format_template`:
     * `ModelName` - name of the model.
     * `Rows` - array of records, where each element is a dictionary representing a data row.
       Dictionary keys correspond to column names, and values correspond to data in those columns.
-  - functions:
-    * `len` - returns the length of the given element.
-    * `json` - converts the given element to a JSON string.
+
+  You can read about the available functions and the use of template strings at the end of this section.
 
   Example value for the `format_template` field:
 
@@ -241,17 +238,36 @@ Structure of `output.params` for `tcs` format:
 Similar to the structure for the `http` format,
 except that the `format_template` field is immutable and always set to its default value.
 
-Filters and functions used in template strings:
+Using Template Strings::
+
+Template strings are implemented using the standard golang library, you can read about
+all its features and available functions in this [documentation](https://pkg.go.dev/text/template).
+
+Accessing Data:
 
-Template strings are implemented using the `pongo2` library, you can read
-all available filters and functions in the [pongo2](https://github.com/flosch/pongo2) repository.
+In a template, data is accessed using `.`(the object or value passed to the template)
+and the field name, for example: `{{ .var }}`.
 
-In addition, `1` function has been added:
+Function calls:
 
-- pattern: allows you to create a string pattern using special characters.
+- direct call: `{{ upper .name }}`.
+- using pipe: `{{ .name | upper }}`.
+
+In addition to standard functions, the project provides `5` custom functions:
+
+- `pattern`: allows you to create a string pattern using special characters.
   The `A` symbol is any capital letter, the `a` symbol is any small letter,
   symbol `0` is any digit, the `#` symbol is any character, and the other characters remain as they are.
   The function is available only in the `template` field of the `string` data type.
+- `upper`: converts the string to upper case.
+- `lower`: converts the string to lower case.
+- `len`: returns the length of the element.
+- `json`: converts the element to a JSON string.
+
+Usage restrictions:
+
+The `pattern`, `lower`, and `upper` functions are available only in the `template` field of the `string` data type.
+The `len` and `json` functions are available only in the `format_template` field of the output parameters.
 
 #### Examples of data generation configuration
 
@@ -318,13 +334,13 @@ models:
       - name: passport
         type: string
         type_params:
-          template: "{{ pattern('AA 00 000 000') }}"
+          template: '{{ "AA 00 000 000" | pattern }}'
         distinct_percentage: 1
         ordered: true
       - name: email
         type: string
         type_params:
-          template: "{{ first_name_en | lower }}.{{ id }}@example.com"
+          template: "{{ .first_name_en | lower }}.{{ .id }}@example.com"
       - name: rating
         type: float
         type_params:

doc/ru/usage.md

@@ -164,9 +164,9 @@ open_ai:
 - `min_length`: Минимальная длина строки. По умолчанию `1`.
 - `max_length`: Максимальная длина строки. По умолчанию `32`.
 - `logical_type`: Логический тип строки. Поддерживаемые значения: `first_name`, `last_name`, `phone`, `text`.
-- `template`: Jinja-подобный шаблон для генерации строки. Позволяет использовать любые поля генерируемой модели и
-  задавать паттерн строки с помощью функции `pattern`. Информация о фильтрах и функциях, доступных в шаблонных
-  строках описана в конце данного раздела.
+- `template`: Шаблон для генерации строки. Позволяет использовать значения любых столбов генерируемой модели и
+  задавать паттерн строки с помощью функции `pattern`. Информация о том, как использовать шаблонные строки,
+  описана в конце данного раздела.
 - `locale`: Локаль для генерации строк. Поддерживаемые значения: `ru`, `en`. По умолчанию `en`.
 - `without_large_letters`: Флаг, указывающий, исключать ли большие буквы из строки.
 - `without_small_letters`: Флаг, указывающий, исключать ли маленькие буквы из строки.
@@ -201,15 +201,12 @@ open_ai:
 - `workers_count`: Количество потоков для записи данных. По умолчанию `1`. *Является экспериментальным полем.*
 - `headers`: Заголовки http запроса, указываются в формате словаря. По умолчанию отсутствуют.
 - `format_template`: Формат отправляемых данных, конфигурируемый с помощью шаблонов Golang.
-  Для использования в поле `format_template` доступны:
-
-  - поля:
+  Для использования в `format_template` доступно 2 поля:
     * `ModelName` - имя модели.
     * `Rows` - массив записей, где каждый элемент является словарем, который представляет собой строку данных.
       Ключи словаря соответствуют названиям столбцов, а значения — данным в этих столбцах.
-  - функции:
-    * `len` - возвращает длину переданного элемента.
-    * `json` - преобразует переданный элемент в JSON строку.
+
+  О доступных функциях и использовании шаблонных строк можно прочитать в конце данного раздела.
 
   Пример значения поля `format_template`:
 
@@ -247,17 +244,35 @@ open_ai:
 Подобна структуре для формата `http`, за исключением того,
 что поле `format_template` неизменяемое и всегда равняется значению по умолчанию.
 
-Фильтры и функции, используемые в шаблонных строках:
+Использование шаблонных строк:
+
+Шаблонные строки реализованы с использованием стандартной библиотеки golang, ознакомиться
+со всеми ее возможностями и доступными функциями можно данной [документации](https://pkg.go.dev/text/template).
+
+Доступ к данным:
 
-Шаблонные строки реализованы с использованием библиотеки `pongo2`, ознакомиться
-со всеми доступными фильтрами и функциями можно в репозитории [pongo2](https://github.com/flosch/pongo2).
+Обращение к данным в шаблоне выполняется с помощью `.`(объект или значение, переданное шаблону)
+и имени переменной, например, `{{ .var }}`.
 
-Вдобавок к ним была добавлена 1 функция:
+Вызовы функций:
 
-- pattern: позволяет создать паттерн строки при помощи специальных символов.
+- прямой вызов: `{{ upper .name }}`.
+- с помощью pipe: `{{ .name | upper }}`.
+
+В проекте помимо стандартных функций доступны `5` пользовательских:
+
+- `pattern`: позволяет создать паттерн строки при помощи специальных символов.
   Символ `A` - любая большая буква, символ `a` - любая маленькая буква,
   символ `0` - любая цифра, символ `#` - любой символ, а остальные символы остаются как есть.
-  Функция доступна только в поле `template` типа данных `string`.
+- `upper`: преобразует строку в верхний регистр.
+- `lower`: преобразует строку в нижний регистр.
+- `len`: возвращает длину элемента.
+- `json`: преобразует элемент в JSON строку.
+
+Ограничения по использованию:
+
+Функции `pattern`, `lower`, и `upper` доступны только в поле `template` типа данных `string`.
+Функции `len` и `json` доступны только в поле `format_template` параметров вывода.
 
 #### Примеры конфигурации генерации данных
 
@@ -324,13 +339,13 @@ models:
       - name: passport
         type: string
         type_params:
-          template: "{{ pattern('AA 00 000 000') }}"
+          template: '{{ "AA 00 000 000" | pattern }}'
         distinct_percentage: 1
         ordered: true
       - name: email  
         type: string
         type_params:
-          template: "{{ first_name_en | lower }}.{{ id }}@example.com"
+          template: "{{ .first_name_en | lower }}.{{ .id }}@example.com"
       - name: rating
         type: float
         type_params:

go.mod

@@ -5,7 +5,6 @@ go 1.23.8
 require (
 	github.com/apache/arrow-go/v18 v18.2.0
 	github.com/charmbracelet/huh/spinner v0.0.0-20250203114958-f07ae1af69ae
-	github.com/flosch/pongo2 v0.0.0-20200913210552-0d938eb266f3
 	github.com/google/uuid v1.6.0
 	github.com/hashicorp/go-retryablehttp v0.7.7
 	github.com/ilyakaznacheev/cleanenv v1.5.0

go.sum

@@ -45,8 +45,6 @@ github.com/erikgeiser/coninput v0.0.0-20211004153227-1c3628e74d0f h1:Y/CXytFA4m6
 github.com/erikgeiser/coninput v0.0.0-20211004153227-1c3628e74d0f/go.mod h1:vw97MGsxSvLiUE2X8qFplwetxpGLQrlU1Q9AUEIzCaM=
 github.com/fatih/color v1.16.0 h1:zmkK9Ngbjj+K0yRhTVONQh1p/HknKYSlNT+vZCzyokM=
 github.com/fatih/color v1.16.0/go.mod h1:fL2Sau1YI5c0pdGEVCbKQbLXB6edEj1ZgiY4NijnWvE=
-github.com/flosch/pongo2 v0.0.0-20200913210552-0d938eb266f3 h1:fmFk0Wt3bBxxwZnu48jqMdaOR/IZ4vdtJFuaFV8MpIE=
-github.com/flosch/pongo2 v0.0.0-20200913210552-0d938eb266f3/go.mod h1:bJWSKrZyQvfTnb2OudyUjurSG4/edverV7n82+K3JiM=
 github.com/fsnotify/fsnotify v1.4.7/go.mod h1:jwhsz4b93w/PPRr/qN1Yymfu8t87LnFCMoQvtojpjFo=
 github.com/fsnotify/fsnotify v1.4.9 h1:hsms1Qyu0jgnwNXIxa+/V/PDsU6CfLf6CNO8H7IWoS4=
 github.com/fsnotify/fsnotify v1.4.9/go.mod h1:znqG4EE+3YCdAaPaxE2ZRY/06pZUdp0tY4IgpuI1SZQ=
@@ -133,7 +131,6 @@ github.com/muesli/cancelreader v0.2.2 h1:3I4Kt4BQjOR54NavqnDogx/MIoWBFa0StPA8ELU
 github.com/muesli/cancelreader v0.2.2/go.mod h1:3XuTXfFS2VjM+HTLZY9Ak0l6eUKfijIfMUZ4EgX0QYo=
 github.com/muesli/termenv v0.15.3-0.20240618155329-98d742f6907a h1:2MaM6YC3mGu54x+RKAA6JiFFHlHDY1UbkxqppT7wYOg=
 github.com/muesli/termenv v0.15.3-0.20240618155329-98d742f6907a/go.mod h1:hxSnBBYLK21Vtq/PHd0S2FYCxBXzBua8ov5s1RobyRQ=
-github.com/niemeyer/pretty v0.0.0-20200227124842-a10e7caefd8e/go.mod h1:zD1mROLANZcx1PVRCS0qkT7pwLkGfwJo4zjcN/Tysno=
 github.com/nxadm/tail v1.4.4/go.mod h1:kenIhsEOeOJmVchQTgglprH7qJGnHDVpk1VPCcaMI8A=
 github.com/nxadm/tail v1.4.8 h1:nPr65rt6Y5JFSKQO7qToXr7pePgD6Gwiw05lkbyAQTE=
 github.com/nxadm/tail v1.4.8/go.mod h1:+ncqLTQzXmGhMZNUePPaPqPvBxHAIsmXswZKocGu+AU=
@@ -271,7 +268,6 @@ google.golang.org/protobuf v1.23.0/go.mod h1:EGpADcykh3NcUnDUJcl1+ZksZNG86OlYog2
 google.golang.org/protobuf v1.36.5 h1:tPhr+woSbjfYvY6/GPufUoYizxw1cF/yFoxJ2fmpwlM=
 google.golang.org/protobuf v1.36.5/go.mod h1:9fA7Ob0pmnwhb644+1+CVWFRbNajQ6iRojtC/QF5bRE=
 gopkg.in/check.v1 v0.0.0-20161208181325-20d25e280405/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
-gopkg.in/check.v1 v1.0.0-20200902074654-038fdea0a05b/go.mod h1:Co6ibVJAznAaIkqp8huTwlJQCZ016jof/cbN4VW5Yz0=
 gopkg.in/check.v1 v1.0.0-20201130134442-10cb98267c6c h1:Hei/4ADfdWqJk1ZMxUNpqntNwaWcugrBjAiHlqqRiVk=
 gopkg.in/check.v1 v1.0.0-20201130134442-10cb98267c6c/go.mod h1:JHkPIbrfpd72SG/EVd6muEfDQjcINNoR0C8j2r3qZ4Q=
 gopkg.in/fsnotify.v1 v1.4.7/go.mod h1:Tz8NjZHkW78fSQdbUxIjBTcgA1z1m8ZHf0WmKUhAMys=

internal/generator/common/utils.go

@@ -361,7 +361,7 @@ func CtxClosed(ctx context.Context) bool {
 }
 
 func ExtractValuesFromTemplate(template string) []string {
-	re := regexp.MustCompile(`{{\s*([^\s|(){}]+)[^}]*}}`)
+	re := regexp.MustCompile(`{{.*?\.([^\s|}]+).*?}}`)
 	matches := re.FindAllStringSubmatch(template, -1)
 
 	values := make([]string, 0, len(matches))
@@ -387,18 +387,18 @@ func ExtractValuesFromTemplate(template string) []string {
 func TopologicalSort[T any](items []T, nodeFunc func(T) (string, []string)) ([]string, bool, error) {
 	var (
 		graph           = make(map[string][]string, len(items))
-		sortedVertexes  = make([]string, 0, len(items))
+		sortedVertexes  = make([]string, len(items))
 		hasDependencies bool
 		err             error
 	)
 
-	for _, item := range items {
+	for i, item := range items {
 		name, dependencies := nodeFunc(item)
 		if len(dependencies) > 0 {
 			hasDependencies = true
 		}
 
-		sortedVertexes = append(sortedVertexes, name)
+		sortedVertexes[i] = name
 		graph[name] = dependencies
 	}
 

internal/generator/common/utils_test.go

@@ -713,18 +713,13 @@ func TestExtractValuesFromTemplate(t *testing.T) {
 		},
 		{
 			name:     "Valid template",
-			template: "{{ foo }}.{{boo}}",
+			template: "{{ .foo }}.{{.boo}}",
 			expected: []string{"foo", "boo"},
 		},
-		{
-			name:     "Template with filters",
-			template: "{{ foo | upper | lower }}",
-			expected: []string{"foo"},
-		},
 		{
 			name:     "Template with functions",
-			template: "{{ upper('foo') | lower }}@{{ boo }}",
-			expected: []string{"boo"},
+			template: "{{ upper .foo | lower }}@{{ .boo }}",
+			expected: []string{"foo", "boo"},
 		},
 		{
 			name:     "Invalid template",

internal/generator/usecase/general/generator/value/string.go

@@ -1,13 +1,16 @@
 package value
 
 import (
+	"bytes"
+	"fmt"
 	"math"
 	"math/big"
 	"regexp"
 	"slices"
 	"strings"
+	"sync"
+	"text/template"
 
-	"github.com/flosch/pongo2"
 	"github.com/pkg/errors"
 	"github.com/tarantool/sdvg/internal/generator/common"
 	"github.com/tarantool/sdvg/internal/generator/models"
@@ -17,7 +20,8 @@ import (
 )
 
 var (
-	rePatternVal = regexp.MustCompile(`pattern\((?:'([^']*)'|"([^"]*)")\)`)
+	rePatternFunc   = regexp.MustCompile(`{{\s*pattern\(\s*(?:'([^']*)'|"([^"]*)")\s*\)\s*}}`)
+	rePatternFilter = regexp.MustCompile(`{{\s*(?:pattern\s+"([^"]+)"|"([^"]+)"\s*\|\s*pattern)\s*}}`)
 )
 
 // Verify interface compliance in compile time.
@@ -27,8 +31,9 @@ var _ Generator = (*StringGenerator)(nil)
 type StringGenerator struct {
 	*models.ColumnStringParams
 	totalValuesCount uint64
+	template         *template.Template
+	bufPool          *sync.Pool
 	localeModule     locale.LocalModule
-	template         *pongo2.Template
 	charset          []rune
 	countByPrefix    []float64
 	sumByPrefix      []float64
@@ -38,12 +43,25 @@ type StringGenerator struct {
 //nolint:cyclop
 func (g *StringGenerator) Prepare() error {
 	if g.Template != "" {
-		template, err := pongo2.FromString(g.Template)
+		tmpl, err := template.New("template").
+			Funcs(template.FuncMap{
+				"upper": strings.ToUpper,
+				"lower": strings.ToLower,
+				"pattern": func(s string) string {
+					return fmt.Sprintf("{{pattern('%s')}}", s)
+				},
+			}).
+			Parse(g.Template)
 		if err != nil {
 			return errors.Errorf("failed to parse template: %s", err.Error())
 		}
 
-		g.template = template
+		g.template = tmpl
+		g.bufPool = &sync.Pool{
+			New: func() any {
+				return new(bytes.Buffer)
+			},
+		}
 	}
 
 	switch g.Locale {
@@ -188,20 +206,28 @@ func (g *StringGenerator) calculateCompletions(length int) []int64 {
 }
 
 // templateString returns n-th string by template.
+//
+//nolint:forcetypeassert
 func (g *StringGenerator) templateString(number float64, rowValues map[string]any) (string, error) {
-	if rowValues == nil {
-		rowValues = make(map[string]any)
-	}
-
-	rowValues["pattern"] = func(pattern string) *pongo2.Value {
-		return pongo2.AsSafeValue(g.patternString(number, pattern))
-	}
+	buf := g.bufPool.Get().(*bytes.Buffer)
+	buf.Reset()
 
-	val, err := g.template.Execute(rowValues)
+	err := g.template.Execute(buf, rowValues)
 	if err != nil {
+		g.bufPool.Put(buf)
+
 		return "", errors.New(err.Error())
 	}
 
+	val := buf.String()
+	g.bufPool.Put(buf)
+
+	val = rePatternFunc.ReplaceAllStringFunc(val, func(m string) string {
+		sub := rePatternFunc.FindStringSubmatch(m)
+
+		return g.patternString(number, sub[1])
+	})
+
 	return val, nil
 }
 
@@ -514,7 +540,7 @@ func (g *StringGenerator) ValuesCount(distinctValuesCountByColumn map[string]uin
 func (g *StringGenerator) templateCardinality(distinctValuesCountByColumn map[string]uint64) float64 {
 	total := 1.0
 
-	patternValMatches := rePatternVal.FindAllStringSubmatch(g.Template, -1)
+	patternValMatches := rePatternFilter.FindAllStringSubmatch(g.Template, -1)
 	for _, match := range patternValMatches {
 		pattern := match[1]
 		if pattern == "" {