std.uni

import std.uni;
void main()
{
    // Инициализация наборов кодовых точек с использованием скрипта/блока или имени свойства
    // теперь 'set' содержит кодовые точки обоих скриптов. 
    auto set = unicode("Cyrillic") | unicode("Armenian");
    // То же самое, но проще и проверяется во время компиляции
    auto ascii = unicode.ASCII;
    auto currency = unicode.Currency_Symbol;

    // простые операции с набором
    auto a = set & ascii;
    assert(a.empty); // Поскольку он не пересекается с ascii
    a = set | ascii;
    auto b = currency - a; // вычесть все ASCII, Cyrillic и Armenian

    //некоторые свойства наборов кодовых точек
    assert(b.length > 45); // 46 элементов в Unicode 6.1, ещё больше в 6.2
    // проверка наличия кодовой точки в наборе
    // просто отлично, её сложность O(logN)
    assert(!b['$']);
    assert(!b['\u058F']); // знак армянского драма
    assert(b['¥']);

    // Построение быстрых таблиц поиска, гарантирующих сложность O(1)
    // 1-уровневая таблица поиска Trie по существу представляет собой огромный битовый набор ~262Kb
    auto oneTrie = toTrie!1(b);
    // 2-уровневая более компактна, но обычно немного медленнее
    auto twoTrie = toTrie!2(b);
    // 3-уровневая ещё меньше, и ещё немного медленнее
    auto threeTrie = toTrie!3(b);
    assert(oneTrie['£']);
    assert(twoTrie['£']);
    assert(threeTrie['£']);

    // Построить таблицу trie с самым разумным уровнем
    // и привязать её в качестве функтора
    auto cyrillicOrArmenian = toDelegate(set);
    auto balance = find!(cyrillicOrArmenian)("Hello ընկեր!");
    assert(balance == "ընկեր!");
    // совместимо с bool delegate(dchar)
    bool delegate(dchar) bindIt = cyrillicOrArmenian;

    // Нормализация
    string s = "Plain ascii (and not only), is always normalized!"; // Обычный ascii (и не только), всегда нормализован!
    assert(s is normalize(s));// та же самая строка

    string nonS = "A\u0308ffin"; // лигатура (соединение букв)
    auto nS = normalize(nonS); // в NFC - стандарт, одобренный W3C
    assert(nS == "Äffin");
    assert(nS != nonS);
    string composed = "Äffin";

    assert(normalize!NFD(composed) == "A\u0308ffin");
    // в NFKD, декомпозицию совместимости, применяемую для нечёткого сопоставления/поиска
    assert(normalize!NFKD("2¹⁰") == "210");
}

auto elemsPerPage = (2 ^^ bits_per_page) / Value.sizeOfInBits;
pages[index[n >> bits_per_page]][n & (elemsPerPage - 1)];

enum dchar lineSep;

Константа кодовой точки (0x2028) – разделитель строк.

enum dchar paraSep;

Константа кодовой точки (0x2029) – разделитель абзацев.

enum dchar nelSep;

Константа кодовой точки (0x0085) – следующая строка.

template isCodepointSet(T)

Проверяет, является ли T некоторым набором кодовых точек. Предназначен для ограничений шаблона.

enum auto isIntegralPair(T, V = uint);

Проверяет, является ли T парой целых чисел, которые неявно преобразуются в V. Следующий код должен компилироваться для любой пары T:

(T x){ V a = x[0]; V b = x[1];}

Следующее не должно компилироваться:

(T x){ V c = x[2];}

alias CodepointSet = InversionList!(GcPolicy).InversionList;

Рекомендуемый тип по умолчанию для набора кодовых точек. Для получения дополнительной информации смотрите текущую реализацию: InversionList.

struct CodepointInterval;

Рекомендуемый тип std.typecons.Tuple представляет интервалы кодовых точек [a, b). Как используется в InversionList. Любой тип интервала должен проходить проверку isIntegralPair.

Переместиться к: add · byCodepoint · byInterval · empty · inverted · length · opBinary · opBinaryRight · opIndex · opOpAssign · opUnary · this · toSourceCode · toString

struct InversionList(SP = GcPolicy);

InversionList – это набор кодовых точек, представленных в виде массива с открытыми справа интервалами [a, b) (см. CodepointInterval выше). Название происходит от того, как представление читается слева направо. Например, набор всех значений [10, 50), [80, 90) плюс единичное значение 60 выглядит так:

10, 50, 60, 61, 80, 90

Способ прочитать это: начинаем с отрицательных значений, чтобы все числа, меньшие, чем следующее, отсутствовали в этом наборе (а положительные - наоборот). Затем переключаем положительный/отрицательный после каждого числа, переданного слева направо.

Таким образом, отрицательные значения находятся в диапазоне меньше 10, затем положительные до 50, затем отрицательные до 60, затем положительные до 61 и т.д. Как видно, это обеспечивает эффективное по размеру занимаемой памяти хранилище данных с высокой степенью избыточности, которые поступают в длинных партиях. Описание, для которого свойства символов Unicode прекрасно подходят. Сама методика может рассматриваться как вариация RLE-кодирования.

Наборы являются типами значений (так же, как int), таким образом, они никогда не бывают псевдонимами.

Пример:

auto a = CodepointSet('a', 'z'+1);
auto b = CodepointSet('A', 'Z'+1);
auto c = a;
a = a | b;
assert(a == CodepointSet('A', 'Z'+1, 'a', 'z'+1));
assert(a != c);

Смотрите также unicode для простого построения наборов из предустановленных.

Использование памяти – 8 байт на каждый непрерывный интервал в наборе. Семантика значения достигается с помощью метода COW, и поэтому небезопасно использовать этот тип для многопоточного использования (shared).

Замечание:

Не рекомендуется полагаться на параметры шаблона или точный тип текущего набора кодовых точек в std.uni. Тип и параметры могут измениться при завершении проектирования стандартных распределителей ресусов. Используйте isCodepointSet с шаблонами или просто придерживайтесь псевдонима по умолчанию CodepointSet на протяжении всей кодовой базы.

Переместиться к: 2 · 3

pure this(Set)(Set set)
if (isCodepointSet!Set);

Построить из другого набора кодовых точек set любого типа.

pure this(Range)(Range intervals)
if (isForwardRange!Range && isIntegralPair!(ElementType!Range));

Построить набор из лидирующего диапазона интервалов кодовых точек intervals.

this()(uint[] intervals...);

Построить набор из простых значений интервалов кодовых точек intervals.

Примеры:

import std.algorithm.comparison : equal;

auto set = CodepointSet('a', 'z'+1, 'а', 'я'+1);
foreach (v; 'a'..'z'+1)
    assert(set[v]);
// интервал кириллических символов нижнего регистра 
foreach (v; 'а'..'я'+1)
    assert(set[v]);
// конкретный порядок не требуется, интервалы могут пересекаться
auto set2 = CodepointSet('а', 'я'+1, 'a', 'd', 'b', 'z'+1);
// тот же самый результат
assert(set2.byInterval.equal(set.byInterval));

@property auto byInterval();

Получить диапазон, который охватывает все интервалы кодовых точек в этом InversionList.

Пример:

import std.algorithm.comparison : equal;
import std.typecons : tuple;

auto set = CodepointSet('A', 'D'+1, 'a', 'd'+1);

assert(set.byInterval.equal([tuple('A','E'), tuple('a','e')]));

const bool opIndex(uint val);

Проверяет наличие кодовой точки val в этом наборе.

Примеры:

auto gothic = unicode.Gothic;
// готическая буква ahsa
assert(gothic['\U00010330']);
// очевидно, ascii-символы в Gothic отсутствуют
assert(!gothic['$']);

@property size_t length();

Количество кодовых точек в этом наборе

This opBinary(string op, U)(U rhs)
if (isCodepointSet!U || is(U : dchar));

Устанавливает поддержку естественного синтаксиса для алгебры множеств, а именно:

Operator	Math notation	Description
&	a ∩ b	пересечение (intersection)
|	a ∪ b	объединение (union)
-	a ∖ b	разность (subtraction)
~	a ~ b	симметрическая разность (symmetric set difference), т.е. (a ∪ b) \ (a ∩ b)

Примеры:

import std.algorithm.comparison : equal;
import std.range : iota;

auto lower = unicode.LowerCase;
auto upper = unicode.UpperCase;
auto ascii = unicode.ASCII;

assert((lower & upper).empty); // нет пересечений
auto lowerASCII = lower & ascii;
assert(lowerASCII.byCodepoint.equal(iota('a', 'z'+1)));
// выбросить все ASCII-символы нижнего регистра
assert((ascii - lower).length == 128 - 26);

auto onlyOneOf = lower ~ ascii;
assert(!onlyOneOf['Δ']); // не ASCII и не нижний регистр
assert(onlyOneOf['$']); // ASCII и не нижний регистр
assert(!onlyOneOf['a']); // ASCII и нижний регистр
assert(onlyOneOf['я']); // не ASCII, но нижний регистр

// выбросить все буквы из ASCII
auto noLetters = ascii - (lower | upper);
assert(noLetters.length == 128 - 26*2);

ref This opOpAssign(string op, U)(U rhs)
if (isCodepointSet!U || is(U : dchar));

'op=' версии вышеперечисленных перегруженных операторов.

const bool opBinaryRight(string op : "in", U)(U ch)
if (is(U : dchar));

Проверяет наличие кодовой точки ch в этом наборе, то же, что и opIndex.

Примеры:

assert('я' in unicode.Cyrillic);
assert(!('z' in unicode.Cyrillic));

auto opUnary(string op : "!")();

Получить набор, являющийся инверсией этого набора.

Смотрите также:

inverted

@property auto byCodepoint();

Диапазон, который проходит по каждой из кодовых точек в этом наборе.

Примеры:

import std.algorithm.comparison : equal;
import std.range : iota;

auto set = unicode.ASCII;
set.byCodepoint.equal(iota(0, 0x80));

void toString(Writer)(scope Writer sink, FormatSpec!char fmt);

Получить текстовое представление этого InversionList в виде открытых справа интервалов.

Флаг форматирования применяется индивидуально для каждого значения, например:

%s и %d форматируют интервал как диапазон [нижний..верхний) целых

%x форматирует интервал как диапазон [нижний..верхний) шестнадцатеричных символов в нижнем регистре

%X форматирует интервал как диапазон [нижний..верхний) шестнадцатеричных символов в верхнем регистре

Примеры:

import std.conv : to;
import std.format : format;
import std.uni : unicode;

assert(unicode.Cyrillic.to!string ==
    "[1024..1157) [1159..1320) [7467..7468) [7544..7545) [11744..11776) [42560..42648) [42655..42656)");

// спецификаторы '%s' и '%d' эквивалентны показанному выше вызову to!string.
assert(format("%d", unicode.Cyrillic) == unicode.Cyrillic.to!string);

assert(format("%#x", unicode.Cyrillic) ==
    "[0x400..0x485) [0x487..0x528) [0x1d2b..0x1d2c) [0x1d78..0x1d79) [0x2de0..0x2e00) "
    ~"[0xa640..0xa698) [0xa69f..0xa6a0)");

assert(format("%#X", unicode.Cyrillic) ==
    "[0X400..0X485) [0X487..0X528) [0X1D2B..0X1D2C) [0X1D78..0X1D79) [0X2DE0..0X2E00) "
    ~"[0XA640..0XA698) [0XA69F..0XA6A0)");

ref auto add()(uint a, uint b);

Добавляет интервал [a, b) в этот набор.

Примеры:

CodepointSet someSet;
someSet.add('0', '5').add('A','Z'+1);
someSet.add('5', '9'+1);
assert(someSet['0']);
assert(someSet['5']);
assert(someSet['9']);
assert(someSet['Z']);

@property auto inverted();

Получить набор, являющийся инверсией этого множества.

Смотрите '!' opUnary для того же самого, но с использованием операторов.

Примеры:

auto set = unicode.ASCII;
// Объединение с инверсией даст все кодовые точки в Unicode
assert((set | set.inverted).length == 0x110000);
// нет пересечений с инверсией
assert((set & set.inverted).empty);

string toSourceCode(string funcName = "");

Генерирует строку с D-кодом унарной функции с именем funcName, принимающей один аргумент типа dchar. Если funcName пусто, код формируется в виде лямбда-функции.

Сгенерированная функция тестирует, принадлежит ли этому набору переданная кодовая точка или нет. Результат должен использоваться со строковым mixin. Предполагаемая область использования – это агрессивная оптимизация посредством метапрограмм в генераторах парсеров и т.п.

Замечание: Используйте с осторожностью для относительно небольших или стандартных наборов. Это может быть медленнее, чем просто использование многоэтапных таблиц.

Пример:

import std.stdio;

// Построить набор непосредственно из интервалов [a, b)
auto set = CodepointSet(10, 12, 45, 65, 100, 200);
writeln(set);
writeln(set.toSourceCode("func"));

Показанный пример выдаст что-то вроде:

bool func(dchar ch)  @safe pure nothrow @nogc
{
    if (ch < 45)
    {
        if (ch == 10 || ch == 11) return true;
        return false;
    }
    else if (ch < 65) return true;
    else
    {
        if (ch < 100) return false;
        if (ch < 200) return true;
        return false;
    }
}

const @property bool empty();

Возвращает Истину, если этот набор не содержит кодовых точек.

Примеры:

CodepointSet emptySet;
assert(emptySet.length == 0);
assert(emptySet.empty);

template codepointSetTrie(sizes...) if (sumOfIntegerTuple!sizes == 21)

Короткая форма для создания собственной многоуровневой фиксированной таблицы Trie из набора CodepointSet. Размеры sizes – это количество бит на каждый из уровней, причем более важные биты используются в первую очередь.

Замечание: Сумма sizes должна быть равна 21.

Смотрите также:

toTrie, которая ещё проще.

Пример:

{
    import std.stdio;
    auto set = unicode("Number");
    auto trie = codepointSetTrie!(8, 5, 8)(set);
    writeln("Input code points to test:"); // Вводите кодовые точки для проверки
    foreach (line; stdin.byLine)
    {
        int count=0;
        foreach (dchar ch; line)
            if (trie[ch])// является ли числом
                count++;
        writefln("Contains %d number code points.", count); // Содержит count числовых кодовых точек
    }
}

template CodepointSetTrie(sizes...) if (sumOfIntegerTuple!sizes == 21)

Тип таблицы Trie, генерируемый функцией codepointSetTrie.

template codepointTrie(T, sizes...) if (sumOfIntegerTuple!sizes == 21)

Несколько более общий инструмент для создания фиксированной таблицы Trie для Unicode-данных.

В отличие от codepointSetTrie, он позволяет создавать отображения dchar на произвольный тип T.

Замечание: Перегрузка с помощью наборов CodepointSet, естественно, будет конвертировать только в таблицы Trie, отображающие в bool.

template CodepointTrie(T, sizes...) if (sumOfIntegerTuple!sizes == 21)

Тип таблицы Trie, генерируемый функцией codepointTrie.

Переместиться к: match · skip · subMatcher · test

struct MatcherConcept;

Наиболее подходящим в данном случае переводом слова Matcher будет Обнаружитель совпадений. К сожалению, моей фантазии не хватило, чтобы адекватно вставить это словосочетание в предложения, так что оставлю это слово без перевода – прим. пер.

Концептуальный тип, который описывает общие свойства всех UTF Matchers.

Замечание: Только для иллюстрации, вызов любого из этих методов приведёт к ошибке утверждения (assertion failure). Используйте utfMatcher для получения конкретного matcher для кодировок UTF-8 или UTF-16.

bool match(Range)(ref Range inp)
if (isRandomAccessRange!Range && is(ElementType!Range : char));

bool skip(Range)(ref Range inp)
if (isRandomAccessRange!Range && is(ElementType!Range : char));

bool test(Range)(ref Range inp)
if (isRandomAccessRange!Range && is(ElementType!Range : char));

Выполняет семантический эквивалент двух операций: декодирование кодовой точки спереди inp и проверка, принадлежит ли она к набору кодовых точек этого matcher.

Воздействие на inp зависит от вида вызванной функции:

Match. Если кодовая точка найдена в наборе, то диапазон inp продвигается на её размер в кодовых блоках, в противном случае диапазон не модифицируется.

Skip. Диапазон всегда продвигается на размер проверенной кодовой точки независимо от результата проверки.

Test. Диапазон остаётся неизменным независимо от результата проверки.

Примеры:

string truth = "2² = 4";
auto m = utfMatcher!char(unicode.Number);
assert(m.match(truth)); // '2' - это число, всё в порядке
assert(truth == "² = 4"); // продвижение после match
assert(m.match(truth)); // так как это надстрочный индекс '2'
assert(!m.match(truth)); // пробел не является числом
assert(truth == " = 4"); // не влияет при отрицательном результате match
assert(!m.skip(truth)); // та же проверка ...
assert(truth == "= 4"); // но независимо от результата пропускает кодовую точку
assert(!m.test(truth)); // '=' не является числом
assert(truth == "= 4"); // test никогда не влияет на аргумент

@property auto subMatcher(Lengths...)();

Расширенная возможность – предоставляет прямой доступ к подмножеству matcher на основе набора известных длин кодирования. Длины представлены в кодовых блоках. Затем sub-matcher может выполнять меньше операций при выполнении любого test/match.

Используйте с осторожностью, поскольку sub-matcher не будет соответствовать кодовым точкам, которые имеют кодированную длину, не принадлежащую выбранному набору длин. Кроме того, объект sub-matcher ссылается на родительский matcher и не должен использоваться по истечении его времени жизни.

Еще одно предостережение в использовании sub-matcher заключается в том, что skip недоступен именно потому, что sub-matcher не обнаруживает всех длин.

Примеры:

auto m = utfMatcher!char(unicode.Number);
string square = "2²";
// about sub-matchers
assert(!m.subMatcher!(2,3,4).test(square)); // ASCII не подходит
assert(m.subMatcher!1.match(square)); // только ASCII, работает
assert(!m.subMatcher!1.test(square)); // unicode '²'
assert(m.subMatcher!(2,3,4).match(square));  //
assert(square == "");
wstring wsquare = "2²";
auto m16 = utfMatcher!wchar(unicode.Number);
// Можно сохранить ссылку, но исходный matcher (m16) должен существовать 
auto bmp = m16.subMatcher!1;
assert(bmp.match(wsquare)); // Подходит, т.к. присутствует в базовом многоязычном плане
assert(bmp.match(wsquare)); // И '²' тоже

enum auto isUtfMatcher(M, C);

Проверяет, является ли M UTF-Matcher'ом для диапазонов символов типа C .

@trusted auto utfMatcher(Char, Set)(Set set)
if (isCodepointSet!Set);

Создаёт объект matcher для классификации кодовых точек из набора для кодирования set, который использует Char в качестве кодового блока.

Смотрите схему API в описании MatcherConcept.

auto toTrie(size_t level, Set)(Set set)
if (isCodepointSet!Set);

Удобная функция для построения оптимальных конфигураций упакованных таблиц Trie из любого набора кодовых точек set.

Параметр level указывает количество используемых уровней trie, допустимые значения: 1, 2, 3 или 4. Они представляют разные уровни компромисса между скоростью и используемым размером таблицы.

Уровень 1 самый быстрый и самый прожорливый по памяти (битовый массив).

Уровень 4 является самым медленным и занимает меньше всего места.

Смотрите раздел Краткий обзор для примера.

Замечание: Уровень 4 остаётся очень практичным (быстрее и более предсказуем) по сравнению с использованием прямого поиска на самом наборе set.

auto toDelegate(Set)(Set set)
if (isCodepointSet!Set);

Создаёт таблицу Trie с в основном оптимальным компромиссом скорость-размер, и заворачивает её в делегат следующего типа: bool delegate(dchar ch).

Эффективно для создания «лямбда-тестеров», подходящих для алгоритмов вроде std.algorithm.find, принимающих унарные предикаты.

Смотрите раздел Краткий обзор для примера.

Переместиться к: block · hangulSyllableType · opCall · opDispatch · script

struct unicode;

Единая точка входа для поиска наборов кодовых точек Юникода по имени или псевдониму блока, сценария или общей категории.

Используются четко определенные стандартные правила поиска свойства по имени. Они включают в себя нечеткое сопоставление имен, так что «White_Space», «white-SpAce» и «whitespace» считаются равными и дают одинаковый набор пробельных символов.

pure @property auto opDispatch(string name)();

Выполняет поиск набора кодовых точек с проверкой правильности времени компиляции. Эта короткая версия сочетает в себе 3 поиска: по блокам, сценариям и общим двоичным свойствам.

Обратите внимание, что, поскольку сценарии и блоки перекрываются, используется обычный трюк для устранения неоднозначности – для получения блока используйте unicode.InBlockName, для поиска сценария используйте unicode.ScriptName.

Смотрите также:

block, script и (не включенный в этот поиск) hangulSyllableType.

auto opCall(C)(in C[] name)
if (is(C : dchar));

Тот же поиск по блокам, сценариям или двоичным свойствам, но предназначенный для времени выполнения. Эта версия предоставляется для случаев, когда имя name не известно заранее; в противном случае, вариант времени компиляции opDispatch, как правило, лучший выбор.

Смотрите в таблице свойств доступные наборы.

struct block;

Сужает поиск наборов кодовых точек до всех блоков Юникода.

Замечание: Здесь имена блоков недвусмысленны, поскольку нет поиска сценариев, и, следовательно, для поиска используется просто unicode.block.BlockName. Here block names are unambiguous as no scripts are searched and thus to search use simply unicode.block.BlockName notation.

См. в таблице свойств существующие наборы.

Смотрите также:

table of properties.

Примеры:

// используем .block для ясности 
assert(unicode.block.Greek_and_Coptic == unicode.InGreek_and_Coptic);

struct script;

Сужает поиск наборов кодовых точек до всех скриптов Юникода.

См. в таблице свойств существующие наборы.

Примеры:

auto arabicScript = unicode.script.arabic;
auto arabicBlock = unicode.block.arabic;
// Существуют пересечения между скриптом и блоком
assert(arabicBlock['؁']);
assert(arabicScript['؁']);
// Но они различны
assert(arabicBlock != arabicScript);
assert(arabicBlock == unicode.inArabic);
assert(arabicScript == unicode.arabic);

struct hangulSyllableType;

Получение набора кодовых точек, которые имеют заданный тип слога в хангыле.

Другие не двоичные свойства (в случае их поддержки) следуют той же нотации - unicode.propertyName.propertyValue для доступа, проверяемого во время компиляции, и unicode.propertyName(propertyValue) для доступа, проверяемого вол время выполнения.

См. в таблице свойств существующие наборы.

Примеры:

// L здесь - это тип слога, а не буква в Юникоде. L - это сокращение
auto leadingVowel = unicode.hangulSyllableType("L");
// Убеждаемся, что присутствуют некоторые ведущие гласные
foreach (vowel; '\u1110'..'\u115F')
    assert(leadingVowel[vowel]);
assert(leadingVowel == unicode.hangulSyllableType.L);

size_t graphemeStride(C)(in C[] input, size_t index)
if (is(C : dchar));

Вычисляет длину графемного кластера, начинающегося с индекса index. Как конечная длина, так и индекс измеряются в кодовых блоках.

Параметры:

C	тип, неявно преобразуемый в dchars
C[] input	массив графемных кластеров
size_t index	стартовый индекс в массиве input[]

Возвращает:

длину графемного кластера

Примеры:

assert(graphemeStride("  ", 1) == 1);
// A + кольцо сверху
string city = "A\u030Arhus";
size_t first = graphemeStride(city, 0);
assert(first == 3); //\u030A состоит из 2 кодовых блоков UTF-8
assert(city[0..first] == "A\u030A");
assert(city[first..$] == "rhus");

Grapheme decodeGrapheme(Input)(ref Input inp)
if (isInputRange!Input && is(Unqual!(ElementType!Input) == dchar));

Считывает один полный графемный кластер из входного диапазона inp с типом dchar.

Примеры смотрите в разделе Grapheme ниже.

Замечание: Эта функция изменяет inp и, следовательно, inp должен быть L-значением.

auto byGrapheme(Range)(Range range)
if (isInputRange!Range && is(Unqual!(ElementType!Range) == dchar));

Итерирует строку по графемам.

Полезно для выполнения манипуляций над строками, в которых требуется информация о графемах.

Смотрите также:

byCodePoint

Примеры:

import std.algorithm.comparison : equal;
import std.range : take, drop;
import std.range.primitives : walkLength;
auto text = "noe\u0308l"; // noël использует e + комбинируемый diaeresis
assert(text.walkLength == 5); // 5 кодовых точек

auto gText = text.byGrapheme;
assert(gText.walkLength == 4); // 4 графемы

assert(gText.take(3).equal("noe\u0308".byGrapheme));
assert(gText.drop(3).equal("l".byGrapheme));

auto byCodePoint(Range)(Range range)
if (isInputRange!Range && is(Unqual!(ElementType!Range) == Grapheme));

Range byCodePoint(Range)(Range range)
if (isInputRange!Range && is(Unqual!(ElementType!Range) == dchar));

Лениво преобразует диапазон графем в диапазон кодовых точек.

Полезно для преобразования результата в строку после выполнения операций над графемами.

Действует как тождественная функция при получении диапазона кодовых точек.

Примеры:

import std.array : array;
import std.conv : text;
import std.range : retro;

string s = "noe\u0308l"; // noël

// перевернуть это и преобразовать результат в строку
string reverse = s.byGrapheme
    .array
    .retro
    .byCodePoint
    .text;

assert(reverse == "le\u0308on"); // lëon

Переместиться к: length · opIndex · opIndexAssign · opOpAssign · opSlice · this · valid

struct Grapheme;

Структура, предназначенная для эффективной упаковки символов графемного кластера.

Grapheme имеет семантику значений, поэтому две копии Grapheme всегда относятся к отдельным объектам. В большинстве реальных сценариев Grapheme подходит для стека и позволяет избежать накладных расходов распределения памяти для любых, довольно длинных кластеров.

Смотрите также:

decodeGrapheme, graphemeStride

this(C)(in C[] chars...)
if (is(C : dchar));

this(Input)(Input seq)
if (!isDynamicArray!Input && isInputRange!Input && is(ElementType!Input : dchar));

Ctor

const pure nothrow @nogc @trusted dchar opIndex(size_t index);

Получение кодовой точки по данному индексу index в этом кластере.

pure nothrow @nogc @trusted void opIndexAssign(dchar ch, size_t index);

Записывает кодовую точку ch по заданному индексу в этот кластер.

Предупреждение: Использование этого оператора может привести кластер графем в некорректное состояние, см. также Grapheme.valid.

Примеры:

auto g = Grapheme("A\u0302");
assert(g[0] == 'A');
assert(g.valid);
g[1] = '~'; // ASCII-тильда не является комбинируемым знаком
assert(g[1] == '~');
assert(!g.valid);

pure nothrow @nogc @system SliceOverIndexed!Grapheme opSlice(size_t a, size_t b);

pure nothrow @nogc @system SliceOverIndexed!Grapheme opSlice();

Диапазон с произвольным доступом символов графемы.

Предупреждение: Становится недействительным, когда эта графема покидает область видимости, после этого попытки использовать этот диапазон приведут к повреждению памяти.

const pure nothrow @nogc @property @trusted size_t length();

Длина графемного кластера в кодовых точках.

Переместиться к: 2

ref auto opOpAssign(string op)(dchar ch);

Добавляет символ ch в эту графему.

Предупреждение: Использование этого оператора может привести кластер графем в некорректное состояние, см. также Grapheme.valid.

Смотрите также:

Grapheme.valid

Примеры:

import std.algorithm.comparison : equal;
auto g = Grapheme("A");
assert(g.valid);
g ~= '\u0301';
assert(g[].equal("A\u0301"));
assert(g.valid);
g ~= "B";
// теперь это недействительный кластер графем
assert(!g.valid);
// хотя, всё ещё может быть полезным
assert(g[].equal("A\u0301B"));

ref auto opOpAssign(string op, Input)(Input inp)
if (isInputRange!Input && is(ElementType!Input : dchar));

Добавляет все символы из входного диапазона inp в эту графему.

@property bool valid()();

Истина, если этот объект содержит действительный расширенный кластер графем. Примитивы декодирования этого модуля всегда возвращают действительную графему.

Добавление и непосредственная манипуляция символами графемы может сделать её более недействительной. Некоторые приложения могут использовать Grapheme как «небольшую строку» любых кодовых точек и полностью игнорировать это свойство.

int sicmp(S1, S2)(S1 str1, S2 str2)
if (isSomeString!S1 && isSomeString!S2);

Выполняет тривиальное нечувствительное к регистру сравнение строк str1 и str2. Эта функция использует более простое правило сравнения, таким образом обеспечивая лучшую производительность, чем icmp. Однако имейте в виду предупреждение ниже.

Параметры:

S1 str1	строка
S2 str2	строка

Возвращает:

Целое типа int, равное 0, если строки равны, <0, если str1 лексикографически «меньше», чем str2,> 0, если str1 лексикографически «больше», чем str2

Предупреждение: Эта функция обрабатывает отображение кодовых точек только 1:1 и, следовательно, не является достаточной для определённых алфавитов, таких как немецкий, греческий и некоторые другие.

Смотрите также:

icmp std.algorithm.comparison.cmp

Примеры:

assert(sicmp("Август", "авгусТ") == 0);
// Греческий также работает до тех пор, пока не встретится отображение 1:M | Greek also works as long as there is no 1:M mapping in sight
assert(sicmp("ΌΎ", "όύ") == 0);
// В таких случаях, как следующий, результат сопоставления не даёт равенства 
// Маленькая греческая буква йота с dialytika и tonos
assert(sicmp("ΐ", "\u03B9\u0308\u0301") != 0);

// с функцией icmp с этим проблем нет
assert(icmp("ΐ", "\u03B9\u0308\u0301") == 0);
assert(icmp("ΌΎ", "όύ") == 0);

int icmp(S1, S2)(S1 r1, S2 r2)
if (isForwardRange!S1 && isSomeChar!(ElementEncodingType!S1) && isForwardRange!S2 && isSomeChar!(ElementEncodingType!S2));

Выполняет сравнение без учета регистра r1 и r2. Соблюдает правила полной обработки всех случаев отображения. Они включают в себя соответствие в качестве равных немецкой ß с "ss" и другие отображения кодовых точек 1:M в отличие от sicmp. Ценой педантичной правильности этого варианта является слегка худшая производительность.

Параметры:

S1 r1	лидирующий диапазон символов
S2 r2	лидирующий диапазон символов

Возвращает:

Целое типа int, равное 0, если строки соответствуют друг другу, <0, если str1 лексикографически «меньше», чем str2,> 0, если str1 лексикографически «больше», чем str2

Смотрите также:

sicmp std.algorithm.comparison.cmp

Примеры:

assert(icmp("Rußland", "Russland") == 0);
assert(icmp("ᾩ -> \u1F70\u03B9", "\u1F61\u03B9 -> ᾲ") == 0);

Примеры:

Используя шаблон std.utf.byUTF и его псевдонимы, можно избежать возбуждения исключений и выделения памяти сборщиком мусора посредством автоматического декодирования, что наделяет функцию icmp квалификаторами @safe @nogc nothrow pure.

import std.utf : byDchar;

assert(icmp("Rußland".byDchar, "Russland".byDchar) == 0);
assert(icmp("ᾩ -> \u1F70\u03B9".byDchar, "\u1F61\u03B9 -> ᾲ".byDchar) == 0);

pure nothrow @nogc @safe ubyte combiningClass(dchar ch);

Возвращает класс комбинирования ch.

Примеры:

// укорачиваем код
alias CC = combiningClass;

// комбинируемая тильда
assert(CC('\u0303') == 230);
// комбинируемое кольцо под символом 
assert(CC('\u0325') == 220);
// простое следствие состоит в том, что в последовательности 
// «тильду» следует помещать после «кольца внизу» 

Переместиться к: Canonical · Compatibility

enum UnicodeDecomposition: int;

Тип разложения символов Unicode.

Canonical

Каноническое разложение. В результате получается канонический эквивалент последовательности.

Compatibility

Разложение совместимости. В результате получается совместимый эквивалент последовательности.

Замечание: Разложение совместимости – это преобразование с потерями, обычно подходящее только для поиска нечёткого соответствия и внутренней обработки.

pure nothrow @safe dchar compose(dchar first, dchar second);

Пытается канонически скомпоновать 2 символа. Возвращает скомпонованный символ, это получилось, или dchar.init в противном случае.

Предполагается, что в оригинальном тексте первый символ first предшествует второму second, обычно это означает, что первый является начальным.

Замечание: Эта функция не охватывает хангыльские слоги. См. ниже функцию composeJamo.

Примеры:

assert(compose('A','\u0308') == '\u00C4');
assert(compose('A', 'B') == dchar.init);
assert(compose('C', '\u0301') == '\u0106');
// Обратите внимание, что начальным символом является first, 
// поэтому следующее не компонуется 
assert(compose('\u0308', 'A') == dchar.init);

@safe Grapheme decompose(UnicodeDecomposition decompType = Canonical)(dchar ch);

Возвращает полное каноническое разложение (по умолчанию), или разложение совместимости символа ch. Если разложение недоступно, возвращается графема с самим ch.

Замечание: Эта функция также разлагает хангыльские слоги, как это предписано стандартом.

Смотрите также:

decomposeHangul для ограниченной версии, которая работает только с хангыльскими слогами, но не выполняет других разложений.

Примеры:

import std.algorithm.comparison : equal;

assert(compose('A','\u0308') == '\u00C4');
assert(compose('A', 'B') == dchar.init);
assert(compose('C', '\u0301') == '\u0106');
// Обратите внимание, что начальным символом является first, 
// поэтому следующее не компонуется
assert(compose('\u0308', 'A') == dchar.init);

assert(decompose('Ĉ')[].equal("C\u0302"));
assert(decompose('D')[].equal("D"));
assert(decompose('\uD4DC')[].equal("\u1111\u1171\u11B7"));
assert(decompose!Compatibility('¹')[].equal("1"));

@safe Grapheme decomposeHangul(dchar ch);

Выполняет разложение хангыльского слога. Если ch не является скомпонованным слогом, тогда эта функция возвращает графему, содержащую только ch как есть.

Примеры:

import std.algorithm.comparison : equal;
assert(decomposeHangul('\uD4DB')[].equal("\u1111\u1171\u11B6"));

pure nothrow @nogc @safe dchar composeJamo(dchar lead, dchar vowel, dchar trailing = (dchar).init);

Пытается скомпоновать хангыльский слог из ведущего согласного (lead), гласного vowel и необязательного согласного jamos trailing.

При успехе возвращается скомпонованный хангыльский слог LV или LVT.

Если что-либо из lead и vowel не является допустимым hangul jamo соответствующего класса символов, возвращается dchar.init.

Примеры:

assert(composeJamo('\u1111', '\u1171', '\u11B6') == '\uD4DB');
// leaving out T-vowel, or passing any codepoint
// that is not trailing consonant composes an LV-syllable
assert(composeJamo('\u1111', '\u1171') == '\uD4CC');
assert(composeJamo('\u1111', '\u1171', ' ') == '\uD4CC');
assert(composeJamo('\u1111', 'A') == dchar.init);
assert(composeJamo('A', '\u1171') == dchar.init);

enum NormalizationForm: int;

Тип перечисления для форм нормализации, передаваемый в качестве параметра шаблона для таких функций, как normalize.

NFC

NFD

NFKC

NFKD

Сокращения-псевдоним от значений, указывающих формы нормализации.

inout(C)[] normalize(NormalizationForm norm = NFC, C)(inout(C)[] input);

Возвращает входную строку, нормированную в выбранную форму. Форма C используется по умолчанию.

Для получения дополнительной информации о формах нормализации смотрите Раздел о нормализации.

Замечание: В тех случаях, когда входная строка уже нормализована, она возвращается немодифицированной и распределение памяти не выполняется.

Примеры:

// работает с любыми кодировками
wstring greet = "Hello world";
assert(normalize(greet) is greet); // тот же самый срез

// Пример символа со всеми четырьмя различными формами:
// Греческий символ ипсилон с acute и hook (кодовая точка 0x03D3)
assert(normalize!NFC("ϓ") == "\u03D3");
assert(normalize!NFD("ϓ") == "\u03D2\u0301");
assert(normalize!NFKC("ϓ") == "\u038E");
assert(normalize!NFKD("ϓ") == "\u03A5\u0301");

bool allowedIn(NormalizationForm norm)(dchar ch);

Проверяет, всегда ли допустим символ dchar ch (Quick_Check = YES) в форме нормализации norm.

Примеры:

// например, Кириллица всегда разрешена, так же как и ASCII 
assert(allowedIn!NFC('я'));
assert(allowedIn!NFD('я'));
assert(allowedIn!NFKC('я'));
assert(allowedIn!NFKD('я'));
assert(allowedIn!NFC('Z'));

pure nothrow @nogc @safe bool isWhite(dchar c);

Проверяет, является ли или нет c пробельным символом Юникода (Общая категория: Part of C0(tab, vertical tab, form feed, carriage return, and linefeed characters), Zs, Zl, Zp, and NEL(U+0085))

pure nothrow @nogc @safe bool isLower(dchar c);

Возвращает, является ли c символом Unicode нижнего регистра.

pure nothrow @nogc @safe bool isUpper(dchar c);

Возвращает, является ли c символом Unicode верхнего регистра.

auto asLowerCase(Range)(Range str)
if (isInputRange!Range && isSomeChar!(ElementEncodingType!Range) && !isConvertibleToString!Range);

auto asUpperCase(Range)(Range str)
if (isInputRange!Range && isSomeChar!(ElementEncodingType!Range) && !isConvertibleToString!Range);

Преобразует входной диапазон или строку в верхний или нижний регистр.

Не выделяет память. Символы в формате UTF-8 или UTF-16, которые не могут быть декодированы, обрабатываются как std.utf.replacementDchar.

Параметры:

Range str

строка или диапазон символов

Возвращает:

входной диапазон символов типа dchar

Смотрите также:

toUpper, toLower

Примеры:

import std.algorithm.comparison : equal;

assert("hEllo".asUpperCase.equal("HELLO"));

auto asCapitalized(Range)(Range str)
if (isInputRange!Range && isSomeChar!(ElementEncodingType!Range) && !isConvertibleToString!Range);

Преобразует диапазон ввода или строку к виду, в котором первый символ в верхнем регистрt, а последующие символы в нижнем регистре. (В терминологии текстового процессора Microsoft Word "Как в предложениях" - прим. пер.)

Does not allocate memory. Не выделяет память. Символы в формате UTF-8 или UTF-16, которые не могут быть декодированы, обрабатываются как std.utf.replacementDchar.

Параметры:

Range str

строка или диапазон символов

Возвращает:

входной диапазон символов типа dchar

Смотрите также:

toUpper, toLower asUpperCase, asLowerCase

Примеры:

import std.algorithm.comparison : equal;

assert("hEllo".asCapitalized.equal("Hello"));

pure @trusted void toLowerInPlace(C)(ref C[] s)
if (is(C == char) || is(C == wchar) || is(C == dchar));

Преобразует s в нижний регистр (путем выполнения преобразования в lowercase Unicode). Для некоторых символов длина строки может увеличиться после преобразования, в таком случае функция перераспределяет память ровно один раз. Если массив s не имеет символов в верхнем регистре, то он не изменяется.

pure @trusted void toUpperInPlace(C)(ref C[] s)
if (is(C == char) || is(C == wchar) || is(C == dchar));

Преобразует s в верхний регистр (путем выполнения преобразования в uppercase Unicode). Для некоторых символов длина строки может увеличиться после преобразования, в таком случае функция перераспределяет память ровно один раз. Если массив s не имеет символов в нижнем регистре, то он не изменяется.

Переместиться к: 2

pure nothrow @nogc @safe dchar toLower(dchar c);

Если c является символом верхнего регистра Юникода, возвращается его эквивалент в нижнем регистре. В противном случае возвращается c.

Предупреждение: некоторые алфавиты, такие, как немецкий и греческий, не имеют возможности выполнять преобразование верхний-нижний регистр 1:1. Используйте перегрузку toLower, которая в отличие от этого варианта принимает полную строку.

pure @trusted S toLower(S)(S s)
if (isSomeString!S);

Возвращает строку, которая идентична s, за исключением того, что все её символы преобразуются в нижний регистр (путем выполнения преобразования в lowercase Unicode). Если ни один из символов s не изменяется, возвращается сама s.

Переместиться к: 2

pure nothrow @nogc @safe dchar toUpper(dchar c);

Если c является символом нижнего регистра Юникода, возвращается его эквивалент в верхнем регистре. В противном случае возвращается c.

Предупреждение: некоторые алфавиты, такие, как немецкий и греческий, не имеют возможности выполнять преобразование верхний-нижний регистр 1:1. Используйте перегрузку toUpper, которая в отличие от этого варианта принимает полную строку.

toUpper можно использовать в качестве аргумента для функции std.algorithm.iteration.map для создания алгоритма, который сможет преобразовывать диапазон символов в верхний регистр без выделения памяти. Строку после этого можно создать, используя std.algorithm.mutation.copy, чтобы отправить её в std.array.appender.

Примеры:

import std.algorithm.iteration : map;
import std.algorithm.mutation : copy;
import std.array : appender;

auto abuf = appender!(char[])();
"hello".map!toUpper.copy(&abuf);
assert(abuf.data == "HELLO");

pure @trusted S toUpper(S)(S s)
if (isSomeString!S);

Возвращает строку, которая идентична s, за исключением того, что все её символы преобразуются в верхний регистр (путем выполнения преобразования в uppercase Unicode). Если ни один из символов s не был затронут, возвращается сама s.

pure nothrow @nogc @safe bool isAlpha(dchar c);

Возвращает, является ли c буквой Юникода (общее свойство Юникода: Alphabetic).

pure nothrow @nogc @safe bool isMark(dchar c);

Возвращает, является ли c знаком Unicode (общая категория Unicode: Mn, Me, Mc).

pure nothrow @nogc @safe bool isNumber(dchar c);

Возвращает, является ли c числовым символом Unicode (общая категория Unicode: Nd, Nl, No).

pure nothrow @nogc @safe bool isAlphaNum(dchar c);

Возвращает, является ли c буквенным или числовым символом Unicode. (Общая категория Unicode: Alphabetic, Nd, Nl, No).

Параметры:

dchar c

любой символ Юникода

Возвращает:

true, если символ входит в категории Unicode Alphabetic, Nd, Nl, или No

pure nothrow @nogc @safe bool isPunctuation(dchar c);

Возвращает, является ли c символом пунктуации Unicode (общая категория Unicode: Pd, Ps, Pe, Pc, Po, Pi, Pf).

pure nothrow @nogc @safe bool isSymbol(dchar c);

Возвращает, является ли c символом Unicode symbol (общая категория Unicode: Sm, Sc, Sk, So).
Один из тех случаев, когда два разных английских слова ("character" и "symbol") на русский переводятся одинаково как "символ", обычно бывает наоборот. Т.к. до сих пор в этом описании модуля std.uni авторы везде использовали слово "character", то слово "symbol" я здесь оставляю без перевода, чтобы оно отличалось. Здесь это математические символы, символы валют, модифицирующие символы и символы псевдографики – прим. пер.

pure nothrow @nogc @safe bool isSpace(dchar c);

Возвращает, является ли c символом пробела Unicode (общая категория Unicode: Zs)

Замечание: Сюда не включены символы '\n', '\r', \t' и другие не-пробелы. Для широко используемой менее строгой семантики смотрите isWhite.

pure nothrow @nogc @safe bool isGraphical(dchar c);

Возвращает, является ли c графическим символом Unicode (общая категория Unicode: L, M, N, P, S, Zs).

pure nothrow @nogc @safe bool isControl(dchar c);

Возвращает, является ли c управляющим символом Unicode (общая категория Unicode: Cc).

pure nothrow @nogc @safe bool isFormat(dchar c);

Возвращает, является ли c форматирующим символом Unicode (общая категория Unicode: Cf).

pure nothrow @nogc @safe bool isPrivateUse(dchar c);

Возвращает, является ли c кодовой точкой Unicode для частного использования (общая категория Unicode: Co).

pure nothrow @nogc @safe bool isSurrogate(dchar c);

Возвращает, является ли c суррогатной кодовой точкой Unicode (общая категория Unicode: Cs).

pure nothrow @nogc @safe bool isSurrogateHi(dchar c);

Returns whether c is a Unicode high surrogate (lead surrogate).

pure nothrow @nogc @safe bool isSurrogateLo(dchar c);

Returns whether c is a Unicode low surrogate (trail surrogate).

pure nothrow @nogc @safe bool isNonCharacter(dchar c);

Возвращает, является ли c не-символом Unicode, то есть кодовой точкой без назначенного абстрактного символа. (Общая категория Unicode: Cn)