Improved performance

Author: ReverseTM

CHANGELOG.md

@@ -14,7 +14,7 @@ and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0
 ### Breaking changes
 
 - The old version of string template in `type_params` of `string` type is no longer supported,
-  instead you should use `{{ pattern('pattern_expression') }}`
+  `{{ pattern('pattern_expression') }}` should be used instead.
 
 ## [0.0.1](https://github.com/tarantool/sdvg/compare/36d0930..0.0.1) - 2025-07-21
 

doc/ru/usage.md

@@ -166,8 +166,7 @@ open_ai:
 - `logical_type`: Логический тип строки. Поддерживаемые значения: `first_name`, `last_name`, `phone`, `text`.
 - `template`: Jinja-подобный шаблон для генерации строки. Позволяет использовать любые поля генерируемой модели и
   задавать паттерн строки с помощью функции `pattern`. Информация о фильтрах и функциях, доступных в шаблонных
-  строках описана [здесь](#фильтры-и-функции-используемые-в-шаблонных-строках).
-  Также поддерживается использование фильтров, таких как `upper` и `lower`.
+  строках описана в конце данного раздела.
 - `locale`: Локаль для генерации строк. Поддерживаемые значения: `ru`, `en`. По умолчанию `en`.
 - `without_large_letters`: Флаг, указывающий, исключать ли большие буквы из строки.
 - `without_small_letters`: Флаг, указывающий, исключать ли маленькие буквы из строки.
@@ -248,7 +247,7 @@ open_ai:
 Подобна структуре для формата `http`, за исключением того,
 что поле `format_template` неизменяемое и всегда равняется значению по умолчанию.
 
-#### Фильтры и функции, используемые в шаблонных строках
+Фильтры и функции, используемые в шаблонных строках
 
 Шаблонные строки реализованы с использованием библиотеки `pongo2`, ознакомиться
 со всеми доступными фильтрами и функциями можно в репозитории [pongo2](https://github.com/flosch/pongo2).
@@ -258,7 +257,7 @@ open_ai:
 - pattern: позволяет создать паттерн строки при помощи специальных символов.
   Символ `A` - любая большая буква, символ `a` - любая маленькая буква,
   символ `0` - любая цифра, символ `#` - любой символ, а остальные символы остаются как есть.
-  Функция доступна только в поле `template` типа данных `string`. 
+  Функция доступна только в поле `template` типа данных `string`.
 
 #### Примеры конфигурации генерации данных
 

internal/generator/common/utils.go

@@ -14,6 +14,7 @@ import (
 	"time"
 
 	"github.com/google/uuid"
+	"github.com/otaviokr/topological-sort/toposort"
 	"github.com/pkg/errors"
 	"gopkg.in/yaml.v3"
 )
@@ -378,3 +379,37 @@ func ExtractValuesFromTemplate(template string) []string {
 
 	return values
 }
+
+// TopologicalSort sorts the given items in topological order using the provided
+// function to extract node name and dependencies.
+// Returns the sorted node names, a flag indicating if any dependencies exist,
+// and an error if a cycle is detected.
+func TopologicalSort[T any](items []T, nodeFunc func(T) (string, []string)) ([]string, bool, error) {
+	var (
+		graph           = make(map[string][]string, len(items))
+		sortedVertexes  = make([]string, 0, len(items))
+		hasDependencies bool
+		err             error
+	)
+
+	for _, item := range items {
+		name, dependencies := nodeFunc(item)
+		if len(dependencies) > 0 {
+			hasDependencies = true
+		}
+
+		sortedVertexes = append(sortedVertexes, name)
+		graph[name] = dependencies
+	}
+
+	if !hasDependencies {
+		return sortedVertexes, false, nil
+	}
+
+	sortedVertexes, err = toposort.ReverseTarjan(graph)
+	if err != nil {
+		return nil, false, errors.New(err.Error())
+	}
+
+	return sortedVertexes, hasDependencies, nil
+}

internal/generator/common/utils_test.go

@@ -744,3 +744,77 @@ func TestExtractValuesFromTemplate(t *testing.T) {
 		t.Run(tc.name, func(t *testing.T) { testFunc(t, tc) })
 	}
 }
+
+func TestTopologicalSort(t *testing.T) {
+	type node struct {
+		name string
+		deps []string
+	}
+
+	type testCase struct {
+		name             string
+		items            []node
+		wantErr          bool
+		wantDependencies bool
+		expected         []string
+	}
+
+	testCases := []testCase{
+		{
+			name:             "Empty items",
+			items:            []node{},
+			wantErr:          false,
+			wantDependencies: false,
+			expected:         []string{},
+		},
+		{
+			name: "Items with dependencies",
+			items: []node{
+				{name: "1", deps: []string{"3"}},
+				{name: "2", deps: []string{"4"}},
+				{name: "3", deps: []string{"2"}},
+				{name: "4", deps: []string{}},
+			},
+			wantErr:          false,
+			wantDependencies: true,
+			expected:         []string{"4", "2", "3", "1"},
+		},
+		{
+			name: "Items without dependencies",
+			items: []node{
+				{name: "1", deps: []string{}},
+				{name: "2", deps: []string{}},
+				{name: "3", deps: []string{}},
+			},
+			wantErr:          false,
+			wantDependencies: false,
+			expected:         []string{"1", "2", "3"},
+		},
+		{
+			name: "Items with cycle dependencies",
+			items: []node{
+				{name: "1", deps: []string{"2"}},
+				{name: "2", deps: []string{"1"}},
+			},
+			wantErr:          true,
+			wantDependencies: false,
+			expected:         nil,
+		},
+	}
+
+	testFunc := func(t *testing.T, tc testCase) {
+		t.Helper()
+
+		actual, hasDependencies, err := TopologicalSort(tc.items, func(node node) (string, []string) {
+			return node.name, node.deps
+		})
+
+		require.Equal(t, tc.wantErr, err != nil)
+		require.Equal(t, tc.wantDependencies, hasDependencies)
+		require.Equal(t, tc.expected, actual)
+	}
+
+	for _, tc := range testCases {
+		t.Run(tc.name, func(t *testing.T) { testFunc(t, tc) })
+	}
+}

internal/generator/models/common.go

@@ -9,9 +9,7 @@ import (
 	"strings"
 
 	"github.com/ilyakaznacheev/cleanenv"
-	"github.com/otaviokr/topological-sort/toposort"
 	"github.com/pkg/errors"
-	"github.com/tarantool/sdvg/internal/generator/common"
 	"gopkg.in/yaml.v3"
 )
 
@@ -121,25 +119,3 @@ func parseErrsToString(errs []error) string {
 
 	return sb.String()
 }
-
-func TopologicalSort(columns []*Column) ([]string, error) {
-	graph := make(map[string][]string, len(columns))
-	for _, c := range columns {
-		graph[c.Name] = make([]string, 0)
-
-		for _, r := range c.Ranges {
-			if r.StringParams == nil || r.StringParams.Template == "" {
-				continue
-			}
-
-			graph[c.Name] = common.ExtractValuesFromTemplate(r.StringParams.Template)
-		}
-	}
-
-	sortedVertexes, err := toposort.ReverseTarjan(graph)
-	if err != nil {
-		return nil, errors.New(err.Error())
-	}
-
-	return sortedVertexes, nil
-}

internal/generator/models/common_test.go

@@ -149,7 +149,9 @@ func newRangeGenerator(
 		distinctValuesCount = uint64(generatorValuesCount)
 	}
 
-	distinctValuesCountByColumn[column.Name] += distinctValuesCount
+	if distinctValuesCountByColumn != nil {
+		distinctValuesCountByColumn[column.Name] += distinctValuesCount
+	}
 
 	rangeOrdered := dataRange.Ordered
 	orderSeed := dataColumnSeed
@@ -201,7 +203,7 @@ type valueID struct {
 type BatchGenerator struct {
 	numbers    []valueID
 	nextNumber int
-	valuer     func(number valueID, generatedValues map[string]any) (any, error)
+	valuer     func(number valueID, rowValues map[string]any) (any, error)
 }
 
 func (cg *ColumnGenerator) NewBatchGenerator(batchSize uint64) *BatchGenerator {
@@ -227,14 +229,14 @@ func (cg *ColumnGenerator) NewBatchGenerator(batchSize uint64) *BatchGenerator {
 		}
 	}
 
-	valuer := func(id valueID, generatedValues map[string]any) (any, error) {
+	valuer := func(id valueID, rowValues map[string]any) (any, error) {
 		vg := cg.rangeGenerators[id.generatorIndex]
 
 		if vg.nullPercentage > 0 && fastRandomFloat(cg.dataColumnSeed+uint64(id.number)) < vg.nullPercentage {
 			return nil, nil //nolint:nilnil
 		}
 
-		return vg.generator.Value(id.number, generatedValues)
+		return vg.generator.Value(id.number, rowValues)
 	}
 
 	return &BatchGenerator{
@@ -244,8 +246,8 @@ func (cg *ColumnGenerator) NewBatchGenerator(batchSize uint64) *BatchGenerator {
 }
 
 // Value returns random value for described column.
-func (g *BatchGenerator) Value(generatedValues map[string]any) (any, error) {
-	res, err := g.valuer(g.numbers[g.nextNumber], generatedValues)
+func (g *BatchGenerator) Value(rowValues map[string]any) (any, error) {
+	res, err := g.valuer(g.numbers[g.nextNumber], rowValues)
 	g.nextNumber++
 	g.nextNumber %= len(g.numbers)
 

internal/generator/usecase/general/generator/generator.go

@@ -7,7 +7,7 @@ type Generator interface {
 	// SetTotalCount method should remember count of rows to generate
 	SetTotalCount(totalValuesCount uint64) error
 	// Value method should return ordered unique value by number
-	Value(number float64, generatedValues map[string]any) (any, error)
+	Value(number float64, rowValues map[string]any) (any, error)
 	// ValuesCount method should return the number of possible values to generate
 	ValuesCount(distinctValuesCountByColumn map[string]uint64) float64
 }