Separated the pattern and template logic, improved performance

Author: ReverseTM

CHANGELOG.md

@@ -9,13 +9,13 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
 
 ### Changed
 
-- Field `template` in the `string` data type now not only specifies the pattern, 
-  but also allows you to use the values of any columns of the generated model.
+- The `template` field in the `string` data type is now used to generate template strings 
+ with the ability to use the values of any columns of the generated model.
 
 ### Breaking changes
 
-- The old version of string template in `type_params` of `string` type is no longer supported,
-  `{{ "pattern_expression" | pattern }}` should be used instead.
+- Using `template` field to specify a string pattern like `Aa0#` is no longer supported,
+  `pattern` should be used instead.
 
 ## [0.0.1](https://github.com/tarantool/sdvg/compare/36d0930..0.0.1) - 2025-07-21
 

doc/en/usage.md

@@ -158,9 +158,11 @@ Structure `models[*].columns[*].type_params` for data type `string`:
 - `min_length`: Minimum string length. Default is `1`.
 - `max_length`: Maximum string length. Default is `32`.
 - `logical_type`: Logical type of string. Supported values: `first_name`, `last_name`, `phone`, `text`.
-- `template`: Template for string generation. Allows you to use the values of any columns of the generated model and
-  specify the pattern of the string using the `pattern` function. Information about the functions
-  available in template strings is described at the end of this section.
+- `template`: Template for string generation. Allows you to use the values of any columns of the generated model.
+  Information about the functions available in template strings is described at the end of this section.
+  Cannot coexist with `ordered`, `distinct_percentage` or `distinct_count`.
+- `pattern`: Pattern for string generation. The `A` symbol is any capital letter, the `a` symbol is any small letter,
+  symbol `0` is any digit, the `#` symbol is any character, and the other characters remain as they are.
 - `locale`: Locale for generated strings. Supported values: `ru`, `en`. Default is `en`.
 - `without_large_letters`: Flag indicating if uppercase letters should be excluded from the string.
 - `without_small_letters`: Flag indicating if lowercase letters should be excluded from the string.
@@ -253,20 +255,16 @@ Function calls:
 - direct call: `{{ upper .name }}`.
 - using pipe: `{{ .name | upper }}`.
 
-In addition to standard functions, the project provides `5` custom functions:
+In addition to standard functions, the project provides `4` custom functions:
 
-- `pattern`: allows you to create a string pattern using special characters.
-  The `A` symbol is any capital letter, the `a` symbol is any small letter,
-  symbol `0` is any digit, the `#` symbol is any character, and the other characters remain as they are.
-  The function is available only in the `template` field of the `string` data type.
 - `upper`: converts the string to upper case.
 - `lower`: converts the string to lower case.
 - `len`: returns the length of the element.
 - `json`: converts the element to a JSON string.
 
 Usage restrictions:
 
-The `pattern`, `lower`, and `upper` functions are available only in the `template` field of the `string` data type.
+The `lower`, and `upper` functions are available only in the `template` field of the `string` data type.
 The `len` and `json` functions are available only in the `format_template` field of the output parameters.
 
 #### Examples of data generation configuration
@@ -334,7 +332,7 @@ models:
       - name: passport
         type: string
         type_params:
-          template: '{{ "AA 00 000 000" | pattern }}'
+          pattern: AA 00 000 000
         distinct_percentage: 1
         ordered: true
       - name: email

doc/ru/usage.md

@@ -164,9 +164,11 @@ open_ai:
 - `min_length`: Минимальная длина строки. По умолчанию `1`.
 - `max_length`: Максимальная длина строки. По умолчанию `32`.
 - `logical_type`: Логический тип строки. Поддерживаемые значения: `first_name`, `last_name`, `phone`, `text`.
-- `template`: Шаблон для генерации строки. Позволяет использовать значения любых столбов генерируемой модели и
-  задавать паттерн строки с помощью функции `pattern`. Информация о том, как использовать шаблонные строки,
-  описана в конце данного раздела.
+- `template`: Шаблон для генерации строки. Позволяет использовать значения любых столбов генерируемой модели.
+  Информация о том, как использовать шаблонные строки, описана в конце данного раздела.
+  Не работает совместно с `ordered`, `distinct_percentage` или `distinct_count`.
+- `pattern`: Паттерн для генерации строки. Символ `A` - любая большая буква, символ `a` - любая маленькая буква,
+  символ `0` - любая цифра, символ `#` - любой символ, а остальные символы остаются как есть.
 - `locale`: Локаль для генерации строк. Поддерживаемые значения: `ru`, `en`. По умолчанию `en`.
 - `without_large_letters`: Флаг, указывающий, исключать ли большие буквы из строки.
 - `without_small_letters`: Флаг, указывающий, исключать ли маленькие буквы из строки.
@@ -259,19 +261,16 @@ open_ai:
 - прямой вызов: `{{ upper .name }}`.
 - с помощью pipe: `{{ .name | upper }}`.
 
-В проекте помимо стандартных функций доступны `5` пользовательских:
+В проекте помимо стандартных функций доступны `4` пользовательских:
 
-- `pattern`: позволяет создать паттерн строки при помощи специальных символов.
-  Символ `A` - любая большая буква, символ `a` - любая маленькая буква,
-  символ `0` - любая цифра, символ `#` - любой символ, а остальные символы остаются как есть.
 - `upper`: преобразует строку в верхний регистр.
 - `lower`: преобразует строку в нижний регистр.
 - `len`: возвращает длину элемента.
 - `json`: преобразует элемент в JSON строку.
 
 Ограничения по использованию:
 
-Функции `pattern`, `lower`, и `upper` доступны только в поле `template` типа данных `string`.
+Функции `lower`, и `upper` доступны только в поле `template` типа данных `string`.
 Функции `len` и `json` доступны только в поле `format_template` параметров вывода.
 
 #### Примеры конфигурации генерации данных
@@ -339,7 +338,7 @@ models:
       - name: passport
         type: string
         type_params:
-          template: '{{ "AA 00 000 000" | pattern }}'
+          pattern: AA 00 000 000
         distinct_percentage: 1
         ordered: true
       - name: email  

internal/generator/common/utils.go

@@ -367,14 +367,7 @@ func ExtractValuesFromTemplate(template string) []string {
 	values := make([]string, 0, len(matches))
 
 	for _, match := range matches {
-		expr := match[0]
-		val := match[1]
-
-		if strings.Contains(expr, "(") && strings.Contains(expr, ")") {
-			continue
-		}
-
-		values = append(values, val)
+		values = append(values, match[1])
 	}
 
 	return values

internal/generator/models/generator_model.go

@@ -426,6 +426,16 @@ func (p *Params) Validate() []error {
 		errs = append(errs, datetimeParamsErrs...)
 	}
 
+	if p.StringParams != nil && p.StringParams.Template != "" {
+		if common.Any(
+			p.Ordered,
+			p.DistinctPercentage != 0,
+			p.DistinctCount != 0,
+		) {
+			errs = append(errs, errors.New("forbidden to use string template with distinct params or ordered"))
+		}
+	}
+
 	// must be called only after parsing, filling defaults and validation of TypeParams.
 	if p.Values != nil {
 		if err := p.PostProcess(); err != nil {
@@ -674,6 +684,7 @@ type ColumnStringParams struct {
 	Locale              string `backup:"true" json:"locale"                yaml:"locale"`
 	LogicalType         string `backup:"true" json:"logical_type"          yaml:"logical_type"`
 	Template            string `backup:"true" json:"template"              yaml:"template"`
+	Pattern             string `backup:"true" json:"pattern"               yaml:"pattern"`
 	WithoutLargeLetters bool   `backup:"true" json:"without_large_letters" yaml:"without_large_letters"`
 	WithoutSmallLetters bool   `backup:"true" json:"without_small_letters" yaml:"without_small_letters"`
 	WithoutNumbers      bool   `backup:"true" json:"without_numbers"       yaml:"without_numbers"`
@@ -703,6 +714,10 @@ func (p *ColumnStringParams) FillDefaults() {
 func (p *ColumnStringParams) Validate() []error {
 	var errs []error
 
+	if p.Template != "" && p.Pattern != "" {
+		errs = append(errs, errors.Errorf("forbidden to use template and pattern at the same time"))
+	}
+
 	if p.MinLength > p.MaxLength {
 		errs = append(errs, errors.Errorf(
 			"min length (%v) should be less than or equal to max length (%v)",

internal/generator/usecase/general/generator/generator.go

@@ -28,7 +28,7 @@ type ColumnGenerator struct {
 }
 
 func NewColumnGenerator(
-	baseSeed uint64, distinctValuesCountByColumn map[string]uint64,
+	baseSeed uint64,
 	modelName string, model *models.Model, column *models.Column,
 	dataModelName string, dataModel *models.Model, dataColumn *models.Column,
 ) (*ColumnGenerator, error) {
@@ -54,7 +54,7 @@ func NewColumnGenerator(
 		rangeRowsCount := uint64(math.Ceil(float64(rowsCount) * dataRange.RangePercentage))
 
 		gen, err := newRangeGenerator(
-			column, columnSeed, distinctValuesCountByColumn,
+			column, columnSeed,
 			dataModel, dataColumn, dataColumnSeed,
 			dataRange, rangeRowsOffset, rangeRowsCount,
 		)
@@ -93,7 +93,7 @@ func (cg *ColumnGenerator) SkipRows(count uint64) {
 
 //nolint:cyclop
 func newRangeGenerator(
-	column *models.Column, columnSeed uint64, distinctValuesCountByColumn map[string]uint64,
+	column *models.Column, columnSeed uint64,
 	dataModel *models.Model, dataColumn *models.Column, dataColumnSeed uint64,
 	dataRange *models.Params, rangeRowsOffset, rangeRowsCount uint64,
 ) (*rangeGenerator, error) {
@@ -139,7 +139,7 @@ func newRangeGenerator(
 		distinctValuesCount = dataRange.DistinctCount
 	}
 
-	generatorValuesCount := valueGenerator.ValuesCount(distinctValuesCountByColumn)
+	generatorValuesCount := valueGenerator.ValuesCount()
 
 	if float64(distinctValuesCount) > generatorValuesCount {
 		if dataRange.DistinctPercentage != 0 || dataRange.DistinctCount != 0 {
@@ -149,10 +149,6 @@ func newRangeGenerator(
 		distinctValuesCount = uint64(generatorValuesCount)
 	}
 
-	if distinctValuesCountByColumn != nil {
-		distinctValuesCountByColumn[column.Name] += distinctValuesCount
-	}
-
 	rangeOrdered := dataRange.Ordered
 	orderSeed := dataColumnSeed
 

internal/generator/usecase/general/generator/value/datetime.go

@@ -49,7 +49,7 @@ func (g *DateTimeGenerator) Value(number float64, _ map[string]any) (any, error)
 	return value, nil
 }
 
-func (g *DateTimeGenerator) ValuesCount(_ map[string]uint64) float64 {
+func (g *DateTimeGenerator) ValuesCount() float64 {
 	fromSec := g.From.Unix()
 	toSec := g.To.Unix()
 

internal/generator/usecase/general/generator/value/enum.go

@@ -37,6 +37,6 @@ func (g *EnumGenerator) Value(number float64, _ map[string]any) (any, error) {
 	return g.Values[idx], nil
 }
 
-func (g *EnumGenerator) ValuesCount(_ map[string]uint64) float64 {
+func (g *EnumGenerator) ValuesCount() float64 {
 	return float64(len(g.Values))
 }

internal/generator/usecase/general/generator/value/float.go

@@ -36,6 +36,6 @@ func (g *FloatGenerator) Value(number float64, _ map[string]any) (any, error) {
 	return value, nil
 }
 
-func (g *FloatGenerator) ValuesCount(_ map[string]uint64) float64 {
+func (g *FloatGenerator) ValuesCount() float64 {
 	return math.Inf(1)
 }

internal/generator/usecase/general/generator/value/integer.go

@@ -37,6 +37,6 @@ func (g *IntegerGenerator) Value(number float64, _ map[string]any) (any, error)
 	}
 }
 
-func (g *IntegerGenerator) ValuesCount(_ map[string]uint64) float64 {
+func (g *IntegerGenerator) ValuesCount() float64 {
 	return float64(uint64(g.To-g.From)) + 1
 }