Add processing of calligraphic indic and arabic fonts

DEVSIX-1881

Author: LodrKumquat

src/main/java/com/itextpdf/html2pdf/resolver/font/DefaultFontProvider.java

@@ -42,11 +42,18 @@ This file is part of the iText (R) project.
  */
 package com.itextpdf.html2pdf.resolver.font;
 
+import com.itextpdf.html2pdf.LogMessageConstant;
 import com.itextpdf.io.util.ResourceUtil;
 import com.itextpdf.io.util.StreamUtil;
+import com.itextpdf.layout.font.FontProvider;
+import com.itextpdf.layout.font.Range;
+import com.itextpdf.layout.font.RangeBuilder;
 import com.itextpdf.styledxmlparser.resolver.font.BasicFontProvider;
+import org.slf4j.LoggerFactory;
 
 import java.io.InputStream;
+import java.lang.reflect.Method;
+import java.util.ArrayList;
 
 /**
  * The default {@link BasicFontProvider} for pdfHTML, that, as opposed to
@@ -55,6 +62,11 @@ This file is part of the iText (R) project.
  */
 public class DefaultFontProvider extends BasicFontProvider {
 
+    /**
+     * The logger.
+     */
+    private static final org.slf4j.Logger LOGGER = LoggerFactory.getLogger(DefaultFontProvider.class);
+
     /** The path to the shipped fonts. */
     private static final String SHIPPED_FONT_RESOURCE_PATH = "com/itextpdf/html2pdf/font/";
 
@@ -74,6 +86,13 @@ public class DefaultFontProvider extends BasicFontProvider {
             "FreeSerifItalic.ttf",
     };
 
+    // This range exclude Hebrew, Arabic, Syriac, Arabic Supplement, Thaana, NKo, Samaritan,
+    // Mandaic, Syriac Supplement, Arabic Extended-A, Devanagari, Bengali, Gurmukhi, Gujarati,
+    // Oriya, Tamil, Telugu, Kannada, Malayalam, Sinhala, Thai unicode blocks.
+    // Those blocks either require pdfCalligraph or do not supported by GNU Free Fonts.
+    private static final Range FREE_FONT_RANGE = new RangeBuilder()
+            .addRange(0, 0x058F).addRange(0x0E80, Integer.MAX_VALUE).create();
+
     /**
      * Creates a new {@link DefaultFontProvider} instance.
      */
@@ -91,22 +110,51 @@ public DefaultFontProvider() {
     public DefaultFontProvider(boolean registerStandardPdfFonts, boolean registerShippedFreeFonts, boolean registerSystemFonts) {
         super(registerStandardPdfFonts, registerSystemFonts);
         if (registerShippedFreeFonts) {
-            addShippedFreeFonts();
+            addShippedFreeFonts(addCalligraphFonts());
         }
     }
 
     /**
      * Adds the shipped free fonts.
      */
-    private void addShippedFreeFonts() {
+    private void addShippedFreeFonts(Range rangeToLoad) {
         for (String fontName : SHIPPED_FONT_NAMES) {
-            InputStream stream = ResourceUtil.getResourceStream(SHIPPED_FONT_RESOURCE_PATH + fontName);
-            try {
+            try (InputStream stream = ResourceUtil.getResourceStream(SHIPPED_FONT_RESOURCE_PATH + fontName)) {
                 byte[] fontProgramBytes = StreamUtil.inputStreamToArray(stream);
-                addFont(fontProgramBytes);
-            } catch (Exception exc) {
+                addFont(fontProgramBytes, null, rangeToLoad);
+            } catch (Exception e) {
+                LOGGER.error(LogMessageConstant.ERROR_LOADING_FONT);
             }
         }
     }
 
+    private Range addCalligraphFonts() {
+        String methodName = "loadShippedFonts";
+        Class<?> klass = null;
+        try {
+            klass = getTypographyUtilsClass();
+        } catch (ClassNotFoundException ignored) { }
+        if (klass != null) {
+            try {
+                Class[] cArg = {FontProvider.class};
+                Method m = klass.getMethod(methodName);
+                // an empty array of arguments is needed for autoport
+                Object[] args = new Object[] {};
+                ArrayList<byte[]> fontStreams = (ArrayList<byte[]>) m.invoke(cArg, args);
+                for (byte[] font : fontStreams)
+                    addFont(font);
+                // here we return a unicode range that excludes the loaded from the calligraph module fonts
+                // i.e. the unicode range that is to be rendered with standard or shipped free fonts
+                return FREE_FONT_RANGE;
+            } catch (Exception e) {
+                LOGGER.error(LogMessageConstant.ERROR_LOADING_FONT);
+            }
+        }
+        return null;
+    }
+
+    private static Class<?> getTypographyUtilsClass() throws ClassNotFoundException {
+        String typographyClassFullName = "com.itextpdf.typography.util.TypographyShippedFontsUtil";
+        return Class.forName(typographyClassFullName);
+    }
 }

src/test/java/com/itextpdf/html2pdf/FontProviderTest.java

@@ -0,0 +1,42 @@
+package com.itextpdf.html2pdf;
+
+import com.itextpdf.kernel.utils.CompareTool;
+import com.itextpdf.test.ExtendedITextTest;
+import com.itextpdf.test.annotations.LogMessage;
+import com.itextpdf.test.annotations.LogMessages;
+import org.junit.Assert;
+import org.junit.BeforeClass;
+import org.junit.Test;
+
+import java.io.File;
+import java.io.IOException;
+
+// Actually the results are invalid because there is no pdfCalligraph.
+// But we'd like to test how Free Sans works for a specific scripts.
+public class FontProviderTest extends ExtendedITextTest {
+    public static final String sourceFolder = "./src/test/resources/com/itextpdf/html2pdf/FontProviderTest/";
+    public static final String destinationFolder = "./target/test/com/itextpdf/html2pdf/FontProviderTest/";
+
+    private static final String TYPOGRAPHY_WARNING = "Cannot find pdfCalligraph module, which was implicitly required by one of the layout properties";
+
+    @BeforeClass
+    public static void beforeClass() {
+        createDestinationFolder(destinationFolder);
+    }
+
+    @Test
+    @LogMessages(messages = {
+            @LogMessage(messageTemplate = TYPOGRAPHY_WARNING, count = 14)
+    })
+    public void hebrewTest() throws IOException, InterruptedException {
+        HtmlConverter.convertToPdf(new File(sourceFolder + "hebrew.html"), new File(destinationFolder + "hebrew.pdf"));
+        Assert.assertNull(new CompareTool().compareByContent(destinationFolder + "hebrew.pdf", sourceFolder + "cmp_hebrew.pdf", destinationFolder, "diffHebrew_"));
+    }
+
+    @Test
+    public void devanagariTest() throws IOException, InterruptedException {
+        HtmlConverter.convertToPdf(new File(sourceFolder + "devanagari.html"), new File(destinationFolder + "devanagari.pdf"));
+        Assert.assertNull(new CompareTool().compareByContent(destinationFolder + "devanagari.pdf", sourceFolder + "cmp_devanagari.pdf", destinationFolder, "diffDevanagari_"));
+    }
+
+}

src/test/resources/com/itextpdf/html2pdf/FontProviderTest/cmp_devanagari.pdf

@@ -0,0 +1,12 @@
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN"   "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
+<html>
+<head></head>
+<body style="font-family: Times New Roman,Times,serif;">
+<h1>Result is invalid because there is no pdfCalligraph!</h1>
+<div>
+	<b>अनुच्छेद १. सभी मनुष्यों को गौरव और अधिकारों के मामले में जन्मजात स्वतन्त्रता और समानता प्राप्त है । उन्हें बुद्धि और अन्तरात्मा की देन प्राप्त है और परस्पर उन्हें भाईचारे के भाव से बर्ताव करना चाहिए ।</b>
+
+	अनुच्छेद २. सभी को इस घोषणा में सन्निहित सभी अधिकारों और आज़ादियों को प्राप्त करने का हक़ है और इस मामले में जाति, वर्ण, लिंग, भाषा, धर्म, राजनीति या अन्य विचार-प्रणाली, किसी देश या समाज विशेष में जन्म, सम्पत्ति या किसी प्रकार की अन्य मर्यादा आदि के कारण भेदभाव का विचार न किया जाएगा । इसके अतिरिक्त, चाहे कोई देश या प्रदेश स्वतन्त्र हो, संरक्षित हो, या स्त्रशासन रहित हो या परिमित प्रभुसत्ता वाला हो, उस देश या प्रदेश की राजनैतिक, क्षेत्रीय या अन्तर्राष्ट्रीय स्थिति के आधार पर वहां के निवासियों के प्रति कोई फ़रक़ न रखा जाएगा ।
+</div>
+</body>
+</html>

src/test/resources/com/itextpdf/html2pdf/FontProviderTest/cmp_hebrew.pdf

@@ -0,0 +1,12 @@
+<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN"   "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
+<html>
+<head></head>
+<body style="font-family: Times New Roman,Times,serif; direction: rtl;">
+<h1>Result is invalid because there is no pdfCalligraph!</h1>
+<div>
+<b>סעיף א. כל בני אדם נולדו בני חורין ושווים בערכם ובזכויותיהם. כולם חוננו בתבונה ובמצפון, לפיכך חובה עליהם לנהוג איש ברעהו ברוח של אחוה.</b>
+
+סעיף ב. כל אדם זכאי לזכויות ולחרויות שנקבעו בהכרזש זו ללא הפליה כלשהיא מטעמי גזע, צבע, מין, לשון, דח, דעה פוליטית או דעה בבעיות אחרות, בגלל מוצא לאומי או חברתי, קנין, לידה או מעמד אחר. גדולה מזו, לא יופלה אדם על פי מעמדה המדיני, על פי סמכותה או על פי מעמדה הבינלאומי של המדינה או הארץ שאליה הוא שייך, דין שהארץ היא עצמאית, ובין שהיא נתונה לנאמנות, בין שהיא נטולת שלטון עצמי ובין שריבונותה מוגבלת כל הגבלה אחרת.
+</div>
+</body>
+</html>