Алгоритм проверки орфографических ошибок

Расстояние Левенштейна

public static int LevenshteinDistance(string s, string t)
{
    int[,] d = new int[s.Length + 1, t.Length + 1];
    for (int i = 0; i < s.Length + 1; i++)
    {
        d[i, 0] = i;
    }
    for (int j = 1; j < t.Length + 1; j++)
    {
        d[0, j] = j;
    }

    for (int i = 1; i <= s.Length; i++)
    {
        for (int j = 1; j <= t.Length; j++)
        {
            d[i, j] = (new int[]
            {
                d[i - 1, j] + 1, // del
                d[i, j - 1] + 1, // ins
                d[i - 1, j - 1] + (s[i - 1] == t[j - 1] ? 0 : 1) // sub
            }).Min();
        }
    }
    return d[s.Length, t.Length];
}

Расстояние Левенштейна с backtrace’ом

//del - 0, ins - 1, sub - 2 
public static Tuple<int, IList<Tuple<int, string>>> LevenshteinDistanceWithBacktrace(string s, string t)
{
    int[,] d = new int[s.Length + 1, t.Length + 1];
    int[,] b = new int[s.Length + 1, t.Length + 1];
    for (int i = 0; i < s.Length + 1; i++)
    {
        d[i, 0] = i;
    }
    for (int j = 1; j < t.Length + 1; j++)
    {
        d[0, j] = j;
        b[0, j] = 1;
    }

    for (int i = 1; i <= s.Length; i++)
    {
        for (int j = 1; j <= t.Length; j++)
        {
            IList<int> vals = new List<int>()
            {
                d[i - 1, j] + 1, // del
                d[i, j - 1] + 1, // ins
                d[i - 1, j - 1] + (s[i - 1] == t[j - 1] ? 0 : 1) // sub
            };
            d[i, j] = vals.Min();
            int idx = vals.IndexOf(d[i, j]);
            b[i, j] = idx;
        }
    }

    List<Tuple<int, string>> bt = new List<Tuple<int, string>>();
    int x = s.Length;
    int y = t.Length;
    while (bt.Count != d[s.Length, t.Length])
    {
        switch (b[x, y])
        {
            case 0:
                x--;
                bt.Add(new Tuple<int, string>(0, s[x].ToString()));
                break;
            case 1:
                y--;
                bt.Add(new Tuple<int, string>(1, t[y].ToString()));
                break;
            case 2:
                x--;
                y--;
                if (s[x] != t[y])
                {
                    bt.Add(new Tuple<int, string>(2, s[x] + "" + t[y]));
                }
                break;
        }
    }
    bt.Reverse();

    return new Tuple<int, IList<Tuple<int, string>>>(d[s.Length, t.Length], bt);
}

NoisyChannel

public class NoisyChannel
{

    #region vars

    private string[] _words = null;
    private double[] _wLogPriors = null;        
    private IDictionary<int, IList<int>> _wordLengthDictionary = null; //length of word - word indices 
    private IDictionary<int, IDictionary<string, double>> _mistakeLogProbs = null;
    private double _lf = 1d;
    private IDictionary<int, int> _mNorms = null;

    #endregion

    #region ctor

    public NoisyChannel(string[] words, long[] wordFrequency, 
                        IDictionary<int, IDictionary<string, int>> mistakeFrequency, 
                        int mistakeProbSmoothing = 1)
    {
        _words = words;
        _wLogPriors = new double[_words.Length];
        _wordLengthDictionary = new SortedDictionary<int, IList<int>>();
        double wNorm = wordFrequency.Sum();
        for (int i = 0; i < _words.Length; i++)
        {
            _wLogPriors[i] = Math.Log((wordFrequency[i] + 0d)/wNorm);

            int wl = _words[i].Length;
            if (!_wordLengthDictionary.ContainsKey(wl))
            {
                _wordLengthDictionary.Add(wl, new List<int>());
            }
            _wordLengthDictionary[wl].Add(i);
        }

        _lf = mistakeProbSmoothing;
        _mistakeLogProbs = new Dictionary<int, IDictionary<string, double>>();
        _mNorms = new Dictionary<int, int>();
        foreach (int mType in mistakeFrequency.Keys)
        {
            int mNorm = mistakeFrequency[mType].Sum(m => m.Value);
            _mNorms.Add(mType, mNorm);
            int mUnique = mistakeFrequency[mType].Count;
            _mistakeLogProbs.Add(mType, new Dictionary<string, double>());
            foreach (string m in mistakeFrequency[mType].Keys)
            {
                _mistakeLogProbs[mType].Add(m,
                        Math.Log((mistakeFrequency[mType][m] + _lf)/
                                    (mNorm + _lf*mUnique))
                    );
            }
        }
    }

    #endregion

    #region correction

    public IDictionary<string, double> GetCandidates(string s, int maxEditDistance = 2)
    {
        IDictionary<string, double> candidates = new Dictionary<string, double>();
        IList<int> dists = new List<int>();
        for (int i = s.Length - maxEditDistance; i <= s.Length + maxEditDistance; i++)
        {
            if (i >= 0)
            {
                dists.Add(i);
            }
        }
        foreach (int dist in dists)
        {
            foreach (int tIdx in _wordLengthDictionary[dist])
            {
                string t = _words[tIdx];
                Tuple<int, IList<Tuple<int, string>>> d = LevenshteinDistanceWithBacktrace(s, t);
                if (d.Item1 > maxEditDistance)
                {
                    continue;
                }

                double p = _wLogPriors[tIdx];
                foreach (Tuple<int, string> m in d.Item2)
                {
                    if (!_mistakeLogProbs[m.Item1].ContainsKey(m.Item2))
                    {
                        p += _lf/(_mNorms[m.Item1] + _lf*_mistakeLogProbs[m.Item1].Count);
                    }
                    else
                    {
                        p += _mistakeLogProbs[m.Item1][m.Item2];
                    }
                }
                candidates.Add(_words[tIdx], p);
            }
        }
        candidates = candidates.OrderByDescending(c => c.Value).ToDictionary(c => c.Key, c => c.Value);
        return candidates;
    }

    #endregion

    #region static helper

    //del - 0, ins - 1, sub - 2 
    public static Tuple<int, IList<Tuple<int, string>>> LevenshteinDistanceWithBacktrace(string s, string t)
    {
        int[,] d = new int[s.Length + 1, t.Length + 1];
        int[,] b = new int[s.Length + 1, t.Length + 1];
        for (int i = 0; i < s.Length + 1; i++)
        {
            d[i, 0] = i;
        }
        for (int j = 1; j < t.Length + 1; j++)
        {
            d[0, j] = j;
            b[0, j] = 1;
        }

        for (int i = 1; i <= s.Length; i++)
        {
            for (int j = 1; j <= t.Length; j++)
            {
                IList<int> vals = new List<int>()
                {
                    d[i - 1, j] + 1, // del
                    d[i, j - 1] + 1, // ins
                    d[i - 1, j - 1] + (s[i - 1] == t[j - 1] ? 0 : 1) // sub
                };
                d[i, j] = vals.Min();
                int idx = vals.IndexOf(d[i, j]);
                b[i, j] = idx;
            }
        }

        List<Tuple<int, string>> bt = new List<Tuple<int, string>>();
        int x = s.Length;
        int y = t.Length;
        while (bt.Count != d[s.Length, t.Length])
        {
            switch (b[x, y])
            {
                case 0:
                    x--;
                    bt.Add(new Tuple<int, string>(0, s[x].ToString()));
                    break;
                case 1:
                    y--;
                    bt.Add(new Tuple<int, string>(1, t[y].ToString()));
                    break;
                case 2:
                    x--;
                    y--;
                    if (s[x] != t[y])
                    {
                        bt.Add(new Tuple<int, string>(2, s[x] + "" + t[y]));
                    }
                    break;
            }
        }
        bt.Reverse();

        return new Tuple<int, IList<Tuple<int, string>>>(d[s.Length, t.Length], bt);
    }

        public static int LevenshteinDistance(string s, string t)
        {
            int[,] d = new int[s.Length + 1, t.Length + 1];
            for (int i = 0; i < s.Length + 1; i++)
            {
                d[i, 0] = i;
            }
            for (int j = 1; j < t.Length + 1; j++)
            {
                d[0, j] = j;
            }

            for (int i = 1; i <= s.Length; i++)
            {
                for (int j = 1; j <= t.Length; j++)
                {
                    d[i, j] = (new int[]
                    {
                        d[i - 1, j] + 1, // del
                        d[i, j - 1] + 1, // ins
                        d[i - 1, j - 1] + (s[i - 1] == t[j - 1] ? 0 : 1) // sub
                    }).Min();
                }
            }
            return d[s.Length, t.Length];
        }

    #endregion

}

чтение базы

string[] words = null;
long[] wordFrequency = null;

#region read priors

if (!File.Exists("../../../Data/words.bin") || !File.Exists("../../../Data/wordFrequency.bin"))
{
    IDictionary<string, long> wf = new Dictionary<string, long>();
    Console.Write("Reading data:");
    using (StreamReader sr = new StreamReader("../../../Data/count_1w.txt"))
    {
        string line = sr.ReadLine();
        while (line != null)
        {
            string[] parts = line.Split('t');
            wf.Add(parts[0].Trim(), Convert.ToInt64(parts[1]));
            line = sr.ReadLine();
            Console.Write(".");
        }
        sr.Close();
    }
    Console.WriteLine("Done!");
    words = wf.Keys.ToArray();
    wordFrequency = wf.Values.ToArray();

    using (FileStream fs = File.Create("../../../Data/words.bin"))
    {
        BinaryFormatter bf = new BinaryFormatter();
        bf.Serialize(fs, words);
        fs.Flush();
        fs.Close();
    }

    using (FileStream fs = File.Create("../../../Data/wordFrequency.bin"))
    {
        BinaryFormatter bf = new BinaryFormatter();
        bf.Serialize(fs, wordFrequency);
        fs.Flush();
        fs.Close();
    }
}
else
{
    using (FileStream fs = File.OpenRead("../../../Data/words.bin"))
    {
        BinaryFormatter bf = new BinaryFormatter();
        words = bf.Deserialize(fs) as string[];
        fs.Close();
    }

    using (FileStream fs = File.OpenRead("../../../Data/wordFrequency.bin"))
    {
        BinaryFormatter bf = new BinaryFormatter();
        wordFrequency = bf.Deserialize(fs) as long[];
        fs.Close();
    }
}

#endregion


//del - 0, ins - 1, sub - 2 
IDictionary<int, IDictionary<string, int>> mistakeFrequency = new Dictionary<int, IDictionary<string, int>>();

#region read mistakes

IDictionary<string, IList<string>> misspelledWords = new SortedDictionary<string, IList<string>>();
using (StreamReader sr = new StreamReader("../../../Data/spell-errors.txt"))
{
    string line = sr.ReadLine();
    while (line != null)
    {
        string[] parts = line.Split(':');
        string wt = parts[0].Trim();
        misspelledWords.Add(wt, parts[1].Split(',').Select(w => w.Trim()).ToList());
        line = sr.ReadLine();
    }
    sr.Close();
}
            
mistakeFrequency.Add(0, new Dictionary<string, int>());
mistakeFrequency.Add(1, new Dictionary<string, int>());
mistakeFrequency.Add(2, new Dictionary<string, int>());
foreach (string s in misspelledWords.Keys)
{
    foreach (string t in misspelledWords[s])
    {
        var d = NoisyChannel.LevenshteinDistanceWithBacktrace(s, t);
        foreach (Tuple<int, string> ml in d.Item2)
        {
            if (!mistakeFrequency[ml.Item1].ContainsKey(ml.Item2))
            {
                mistakeFrequency[ml.Item1].Add(ml.Item2, 0);
            }
            mistakeFrequency[ml.Item1][ml.Item2]++;
        }
    }
}

#endregion

Читая любой документ, мы невольно обращаем внимание на стиль изложения, легкость восприятия, содержательность и краткость повествования. Однако нередко мы сталкиваемся с опечатками и ошибками в документах. Они могут испортить все положительное впечатление об авторе, а порой и нанести серьезный урон авторитету автора.

Общаясь на родном языке, мы практически всегда можем заметить, что тексте автор ошибся. Кроме того, мы обычно можем догадаться, что он имел в виду на самом деле. Гораздо сложнее дело обстоит в тех случаях, когда мы общаемся с иностранцами. Допущенная ошибка или опечатка в написании слова, может значительно исказить смысл всего сообщения, и даже интуиция не сможет помочь получателю текста, поскольку язык общения для него не родной.

Для исправления набранного текста и были созданы программы проверки орфографии, синтаксиса, грамматических правил построения предложений, расстановки переносов и т.д. Первыми и наиболее активными пользователями подобных программ стали те, кто занимается созданием и редактированием текстов [1].

Впоследствии такие программы были встроены в популярные текстовые редакторы. Например, компания «Информатик» лицензировала свою технологию проверки правописания компании Microsoft для MS Office. Благодаря этому огромное число пользователей получили возможность автоматически исправлять тексты, не теряя свое время на длительную проверку текста [2].

Существует множество алгоритмов проверки орфографии текстовых документов. На рисунке 1 изображена диаграмма вариантов использования,  которая показывает, какие существуют алгоритмы проверки.

Рисунок 1 – Диаграмма вариантов использования

Проверить орфографию можно двумя способами.

Первый способ это проверить орфографию со словарем.

Проверка со словарем делится на проверку через словарь всех слов и на проверку через словарь, который использует набор правил.

Проверка через словарь всех слов.

Словарем является файл в формате .txt, который содержит все слова русского языка, включая все склонения и спряжения слов. Слова расположены в алфавитном порядке, каждое слово находится на новой строке.

Проверка через словарь всех слов самый популярный метод обнаружения ошибок в тексте. Проверка осуществляется обычным поиском слова в словаре. Компьютер ищет слово в словаре так же как, если бы человек взял словарь в руки и искал нужное слово. Слова расположены в алфавитном порядке, поэтому компьютер может идти в нужное место в словаре и проверять слово.  Если все буквы слова будут совпадать со словом в словаре, то оно является правильным. Если же такого слова нет, то оно является ошибкой или опечаткой.

В случае если слово отсутствует в словаре, например, фамилия, название или научный термин, относящийся к какой-либо предметной области, имеется возможность − добавить данное слово в словарь. После добавления слово не будет считаться ошибкой, так как в словаре будет полное совпадение букв.

Проверка орфографии, через словарь, который использует набор правил.

Словарь, который использует набор правил – это документ в формате .txt, который  содержит все слова, кроме склонений и спряжений. С помощью правил русского языка, проверяются все слова на правильность написания.

Такой словарь надо организовать так, чтобы были указаны все правила русского языка. Главное надо учесть исключения из правил.

Метод проверки орфографии, который использует набор правил, так же называется методом сохранения пространства. Такой метод, экономя пространство хранения, удерживают в словаре только стебли слов. Например, вместо слов «сомнения», «сомневался», «сомневаясь», в словаре хранится только слово «сомневаюсь», используя правила русского языка удаляя окончания, суффиксы, приставки или добавляя их, слова будут меняться до слова находящегося в словаре.

Второй способ это проверка орфографии без помощи словаря, который включает в себя проверку на заглавную букву в начале предложения, проверка на повторы и проверка с помощью сограмм.

Проверка на заглавную букву, т.е. каждая буква после точки должна автоматически становиться заглавной.

Проверка на повторы показывает, что пользователь написал два одинаковых слова подряд. Проверяются на совпадения все буквы одного слова с буквами другого слова, если же они полностью совпадают, то это является ошибкой.

Сограммами называется фиксированное сочетание букв, которое в русском языке встречается, в разных словах на разных позициях.

Проверить орфографию с помощью сограмм можно двумя способами. Первый способ проверки через сограммы это проверять через уже существую таблицу сограмм.  Метод использует словарь косвенно. Проверка начинается с перехода в словарь или таблицу всех сограмм. Вооружившись таблицей сограмм, программа проверки орфографии делит текст на сограмм и ищет их в таблице, если попадаются сограммы, которые никогда не имели место в словаре, слово, которое содержит эту сограмму, является опечаткой. Этот способ содержит таблицу, заполненную всеми сограммами. И при анализе текста, происходит поиск сограмм в таблице, если совпадения нет, то слово является опечаткой.

И способ анализа текста на похожие сограммы. Программа делит текст на сограммы, и сама создает таблицу из всех сограмм встречающихся в тексте, отметив как часто каждая сограмма встречается в тексте. Затем программа анализирует текст еще раз и выявляет индекс особенности каждого слова, потому на сколько сограмм разделено слово и сколько раз эти сограммы встречаются в тексте. После расчета индекса, программа обращает внимание пользователя на слова с высоким индексом особенности. Такой метод более подходит для выявления опечаток в тексте.

Существуют ошибки в режиме реального слова, к таким ошибкам в большинстве случаев относятся имена собственные и неизвестные слова. Частоту этих ложных ошибок можно уменьшить, имея большой словарь или специализированный словарь именно для этого текста. Так же избежать таких ошибок можно добавлением неизвестных слов и имен собственных в словарь, с помощью дополнительной функции «Добавить слово в словарь».

Существует множество методов и алгоритмов проверки орфографии текстовых документов. Каждый из них подходит для проверки текста, но они имеют недостатки. Для более точной проверки подходит метод, в котором нужно объединить несколько алгоритмов проверки орфографии.

Библиографический список

1. Такташкин Д.В., Масенко И.А. Модель вариантов использования программы для писателей «Сюжет» // Современные научные исследования и инновации. 2016. № 3 [Электронный ресурс]. URL:http://web.snauka.ru/issues/2016/03/64882 (дата обращения: 28.05.2016)
2. Поваляев Е. Системы проверки орфографии [Электронный ресурс] . URL:http://compress.ru/article.aspx?id=9511 (дата обращения: 05.11.2015).

Количество просмотров публикации: Please wait

Все статьи автора «Мокроусова Елена Алексанровна»

Орфография в последнее время стала менее востребованной и её важность значительно уменьшилась за счёт средств проверки орфографии, которые есть во многих программах по обработке текста.

Некоторые реформаторы образования считают, что учащиеся с помощью подобных программ будут развивать навыки правописания через чтение обработанных данными программами текстов.

Современные технологии являются мощнейшим инструментом, облегчающим процесс обучения. Некоторые утверждают, что он достаточно мощный, чтобы делать обучение написанию ненужным. В конце концов, для чего нужна проверка орфографии? Проверка орфографии — прекрасный инструмент для исправления мелких ошибок, которые допускают хорошие орфографы, и для типичных опечаток. 

Если учащийся обладает достаточными языковыми знаниями, программа для проверки правописания значительно экономит время.

Программы для проверки орфографии встроены во многие популярные текстовые редакторы, например, компания «Информатик» лицензировала свою технологию проверки правописания компании Microsoft для MS Office.

Благодаря этому внедрению огромное число пользователей получили возможность автоматически исправлять тексты, не теряя свое время на длительную проверку текста [2]. В современном обществе это является одним из самых важных достоинств текстовых программ.

При написании различных текстов, таких как рефераты, научные статьи, курсовые работы, различного рода проекты, дипломные работы, юридические документы, заявления и другие тексты, часто требуется его проверка на наличие орфографических или пунктуационных ошибок. Эти программы созданы для того, чтобы не искать справочник по русскому языку и не занимать этим много времени, а также на случай если многие правила основательно забыты после окончания школы.

Особенно важно грамотное написание текстов юридической направленности, здесь каждая лишняя запятая может привести к длительным судебным тяжбам и многочисленным лингвистическим экспертизам. 

Текстовый редактор Microsoft Word необходим для анализа представленного вами документа и предложения вам наиболее выгодным для вас условиям написания текста, таких как орфография, грамматика и стилистика, например, сделать предложения более краткими, выбрать более простые слова или написать более формально.

Для более эффективной работы по поиску и исправлению ошибок в редакторе есть дополнительные инструменты, которые мы рассмотрим на примере Word 2016. Однако интерфейс отчасти схож с предыдущими выпусками приложения.

По умолчанию, Word использует подчеркивание красной линией незнакомых ему слов, которые он считает за ошибку.

Для того, чтобы исправить неизвестное ему слово необходимо нажать правой клавишей мыши на подчеркнутое слово или области этого слова и приложение автоматически предложит варианты его исправления. Но в некоторых случаях бывает и так, что альтернативы подчёркнутого слова нет или предлагаемые программой варианты вам не подходят.

В большинстве случаев Word не знаком с названиями различных компаний и мест, фамилиями и некоторыми именами. Для того, чтобы в будущем при использовании подчёркнутых слов они не были не известны программе, необходимо добавить его в словарь, выбрав через контекстное меню опцию «Добавить в словарь» и слово не будет считаться за ошибку и запомнится программой на всё время. К тому же, если выбрать в контекстном меню пункт «Пропустить все» в текущем документе вы избавитесь от назойливых подчеркиваний.

Подобным образом работает и проверка грамматики в документе. Разница лишь в том, что цвет подчеркивания не красный, а синий. Ошибкой это является не всегда, часто это является мнение тектового редактора, которое основывается на встроенных в него правилах.

Настроить набор доступных грамматических правил, включить или отключить данную опцию можно через меню «Файл» – «Параметры» – вкладка «Правописание».

Для того, чтобы проверить все ошибки в документе последовательно необходимо перейти во вкладку под названием «Рецензирование» и нажать на кнопку «Правописание». После этого Word будет показывать вам ошибки последовательно и справа в документе откроется окно, в котором будут представлены варианты исправления ошибки и кнопки по управлению процедурой. Данная опция действительно в значимой степени экономит время при работе с большими документами, последовательно показывая вам ошибки в тексте, вместо того, чтобы вы самостоятельно выискивали каждое подчеркнутое редактором слово.

Также средство проверки правописания Word может помочь и в проверке пунктуации. Так, если в предложении есть или возможны пунктуационные ошибки, то оно будет подчёркнуто зелёным цветом. Причину «недовольства» Word можно узнать, нажав на контекстное меню. Причина отобразится на экране и сообщит пользователю о возможных проблемах с расставлением знаков препинаний.

Конечно, создание программы, обнаруживающей абсолютно все ошибки практически невозможно, ведь алгоритм, используемый для проверки русского языка достаточно сложен. Учитывая особенности употребления различных языковых конструкций в конкретных ситуациях, все многообразие форм и другие нюансы, можно сказать, что включение их в программу практически невозможно.

Одним из самых сложных задач, возложенных на программу является оценивание правильности расстановки запятых. Так, если проверяет человек, он может подойти к процессу творчески и чем лучше он знает базовые правила языка, тем быстрее и качественнее будет проверка. В том случае, если проверяет программа, некоторые ошибки ей могут просто игнорироваться, а некоторые, наоборот, без оснований выделяются. Подобные случаи происходят довольно таки часто.

Для подобных программ также важен набор включенных в них словарей. Так качество и быстрота проверки в основном зависит от количества слов в подключенных словарях. Например, многие программы не знакомыы с такими словами, как биткоины, блогер или файервол, несмотря на то, что они давно задействованы в русском языке.

Программы и системы для проверки правописания в документах, которые используются в огромном количестве современных текстовых редакторов, могут позволить выявление большей части допущенных опечаток и ошибок. Принципом действия таких систем является сдедующий: система для проверки правописания находит проверяемое слово во встроенном в неё словаре в нужной пользователю грамматической форме. В случае, если программа нашла слово, то оно будет считаться написанным по правилам, а если слово не было найдено программой во встроенном словаре, но есть похожие слова, то программа выдаёт сообщение об ошибке и предлагаются возможные варианты замены.

В случае, если программа не смогла найти ни это слово, ни похожие на него слова, то она предлагает либо исправить его, либо занести его в словарь.

Также проверка орфографии по словарю не выявляет случаи, в которых ошибка допущена так, что слово есть в словаре. Такие ошибки скрыты от программы, но человек их легко заметит. Примерами таких случаев можно считать следующие: 1. «Иван Петрович шлет Вам по клон». В данном случае нам сразу же видно где ошибка, здесь подразумевалось слово поклон. 2. «Я не нашел нежный файл». Здесь ошибка в слове «нежный» и сразу понятно, что необходимо было написать слово нужный. В обоих случаях программа не увидела ошибки, так как эти слова соответствовали словам в словаре, но не подходили по смыслу, что сразу видно человеку.

Но также существуют и программы, являющиеся более интеллектуальными, которые позволяют выявлять ошибки в согласовании форм слов и расстановке знаков препинания. Они хранят в себе набор специальных правил, которые записаны в формальном виде. Подобная система позволяет обратить внимание пользователя на подозрительные места, напрмер, в фразе про Ивана Петровича, она предположит, что слово «клон» употреблено не в том падеже или пропущено связующее слово между ним и предлогом «по». В любом из этих случаев, пользователь обратит внимание на выделенную ошибку и исправит её.

Подводя итог, мы можем сказать, что программы для проверки правописания обнаруживают достаточно много ошибок и опечаток и чем больше словарь программы, тем больше правил и алгоритмов для проверки текстов она знает, и, соответственно, процент обнаружения ей ошибок достаточно велик. Но любая система для проверки правописания не может гарантировать полное отсутствие ошибок и опечаток в тексте, а также абсолютной правильности построения смысловых цепочек.

В работе предложен метод и алгоритм проверки орфографии в научном тексте.

Список литературы

1.Алгазина, Н.Н. Методика изучения орфографических правил/- М.: Просвещение. 1982.- 48с.

2.Жиленко А.Г. Использование алгоритмов при изучении орфографии // РЯШ. — 1986. — N5. — С.53-55.

3.Методика развития речи / Под ред. Ладыженской Т. А. — М., 1991.,242 с.

4.Такташкин Д.В., Масенко И.А.. Модель вариантов использования программы для писателей «Сюжет» // Современные научные исследования и инновации 2016. № 3 [Электронный ресурс]. URL:http://web.sna.uka..ru/issues/2016/03/64882 (дата. обращения: 05.12.2020)

5.Поваляев Е. Системы проверки орфографии [Электронный ресурс] . URL:http://compress.ru/a.rticle.a.spx?id=9511 (дата обращения: 05.12.2020).

Во
время проверки орфографии Word просматривает
текст документа (или выделенную область)
и все слова сравнивает со словами,
содержащимися в нескольких встроенных
словарях. Если в тексте документа
содержится слово, отсутствующее в
словарях, Word помечает его как содержащее
орфографическую ошибку. Часто-густо
под такие слова попадают специфические
термины, фамилии людей, географические
названия и т.д. При желании такие слова
можно включать в словарь, при этом Word
будет их «запоминать» и в будущем
не будет помечать как ошибочные.

Существует
и обратная сторона медали. Word пропускает
слова, которые написаны правильно с
точки зрения орфографии, однако неверно
используются в контексте. Например,
«подоходный залог», вместо «подоходный
налог».

Функция
проверки орфографии выявляет и помечает
в документе одинаковые слова, следующие
одно за другим.

Проверка грамматики

Эта
функция проверяет текст на соответствие
грамматических и стилистических правил.
Проверка грамматических правил выявляет
такие ошибки, как неправильное
использование предлогов, согласование
слов в предложении и т.д.

Проверка
стилистики позволяет выявлять в документе
малоупотребительные, просторечные
слова и выражения.

По
большому счету не следует полностью
полагаться на возможности программы
по устранению ошибок, а по возможности,
делать проверку самому по окончании
набора текста документа.

Автоматическая проверка правописания

При
наборе текста Word подчеркивает красной
волнистой линией слова, содержащие
орфографические ошибки, и зеленой линией
— грамматические и стилистические
ошибки.

Чтобы
исправить орфографическую ошибку надо
щелкнуть правой кнопкой мыши на
подчеркнутом слове. При этом на экране
будет отображено контекстное меню.

Можно
выбрать правильное написание из числа
предлагаемых вариантов или открыть
окно диалога «Орфография…»,
Автозамена или Язык для дополнительных
параметров соответствующих функций.

В
поле «Нет в словаре» отображается
фрагмент текста, содержащий слово с
ошибкой, а в поле «Варианты» — список
вариантов замены. Ошибку можно
отредактировать прямо в поле «Нет в
словаре» или выбрать один из предлагаемых
вариантов замены. После завершения
обработки текущей ошибки Word возобновляет
поиск и отображение следующей ошибки.

Кнопка
«Пропустить все» используется для
пропуска текущей ошибки и всех последующих
ее включений. Кнопка «Заменить»
позволяет заменить ошибку выбранным
вариантом замены или принять исправления,
выполненные в поле «Нет в словаре».

Кнопка
«Заменить все» позволяет заменить
все включения ошибочного слова выбранным
вариантом замены. При сброшенном флажке
«Грамматика» Word не производит
проверку текста на наличие грамматических
ошибок. Это позволяет сосредоточиться
исключительно на проверке орфографии.

Кнопка
«Параметры» обеспечивает доступ
к параметрам проверки правописания.

Кнопка
«Вернуть» отменяет последнее
выполненное исправление.

При
обнаружении в тексте документа
грамматической ли стилистической ошибки
Word отображает в окне диалога «Грамматика…»
следующее окно.

В
поле «Варианты» отображается
описание фрагмента, содержащего
грамматическую ошибку.

Как
и при исправлении орфографических
ошибок, при проверке грамматики можно
править текст непосредственно в поле
с ошибочным фрагментом или использовать
один из вариантов замены.

• Кнопка
  «Пропустить все» используется для
  пропуска всех встречающихся в тексте
  подобных ошибок.

• Кнопка
  «Следующее» позволяет пропустить
  текущую ошибку и перейти к следующему
  проблемному фрагменту.

• Кнопка
  «Объяснить» предлагает общие
  рекомендации относительно устранения
  грамматических ошибок подобного рода.

Надпись в
документе Word можно рассматривать как
контейнер, в котором размещаются
вложенные документы. Над всеми объектами,
находящимися в таком контейнере, можно
выполнять совместные операции: удаление,
перемещение, копирование и др.

Для
создания надписи в документе Word
выполняется команда Надпись меню
Вставка.

Положение
надписи в документе можно настраивать,
выделив ее и выбрав в контекстном меню,
вызванном на границе надписи, опцию
Формат надписи. Появляющееся диалоговое
окно содержит несколько вкладок, с
помощью которых можно изменять размер,
положение надписи относительно текста,
цветовое оформление надписи и др.

Страницы
документов Word могут содержать верхние
и нижние колонтитулы —
области, располагающиеся в верхней и
нижней части каждой страницы и содержащие
определенный текст. Простейший колонтитул
состоит из номера страницы. Однако в
него также может быть включена любая
информация, отражающаяся в верхней или
нижней части страницы. Создание
колонтитулов выполняется с помощью
команды Колонтитулы меню Вид.

При
выполнении этой команды на экран
выводится панель инструментов Колонтитулы,
кнопки которой позволяют создать и
отредактировать колонтитулы.

Области
верхнего и нижнего колонтитулов обычно
располагаются от левого до правого поля
страницы по горизонтали, а по вертикали
их положение определяется размерами
верхнего и нижнего поля и расстоянием
от края страницы до колонтитула, заданными
в окне диалога Параметры страницы. Если
вставленные в колонтитул данные требуют
больше места, то Word увеличивает размер
соответствующего поля страницы, чтобы
расширить область колонтитула. При этом
элементы колонтитула не накладываются
на основной текст. Однако часть колонтитула
можно расположить и за пределами области
колонтитулов. Для этого применяются
следующие приемы:

• чтобы
  изменить положение верхней или нижней
  границы колонтитула, следует перетащить
  маркер на вертикальной линейке. Кроме
  того, можно отрегулировать положение
  области колонтитула на вкладке Поля
  окна диалога Параметры страницы;

• чтобы
  сдвинуть текст колонтитула влево или
  вправо от полей, следует задать для
  одного или нескольких абзацев
  колонтитулов отрицательное значение
  левого или правого отступа. Для этого
  используется горизонтальная линейка
  или окно диалога Абзац;

• текст
  колонтитула можно частично или полностью
  вставить в надпись Word и перетащить его
  в любое место страницы. Несмотря на
  это, полученный кадр продолжает
  оставаться частью колонтитула, поэтому
  изменить его можно только выполнением
  команды Колонтитулы меню Вид.

Обычно
на каждой странице документа выводится
один и тот же колонтитул. Тем не менее
существует несколько способов добиться
отображения в документе различных
колонтитулов. Прежде всего, можно создать
отличающийся колонтитул для первой
страницы документа или раздела. Можно
задавать разные колонтитулы для четных
и нечетных страниц документа. Указанные
действия задаются установкой
соответствующих флажков на вкладке
Макет диалогового окна Параметры
страницы меню Файл. Следует заметить,
что отличающийся колонтитул первой
страницы устанавливается для отдельного
раздела документа, но различия между
колонтитулами четных и нечетных страниц
устанавливаются для всего документа.
Наконец, если документ разбит на разделы,
их колонтитулы могут иметь разное
содержание. Изначально колонтитулы
каждого следующего раздела соединяются
с колонтитулами предыдущего раздела,
т. е. выглядят точно так же.

К
документу Word можно добавить оглавление,
в котором будут перечислены все заголовки
и номера страниц, на которых они находится.
Для создания оглавления следует выполнить
следующие действия:

• убедиться
  в том, что каждому заголовку, включаемому
  в оглавление, назначен стиль. Проще
  всего воспользоваться встроенными
  стилями Заголовок 1 — Заголовок 9,

• установить
  курсор в том месте документа, где будет
  вставлено оглавление;

• выполнить
  команду Оглавление и указатели меню
  Вставка;

• выбрать
  вкладку Оглавление;

• если
  требуется вместо встроенных стилей
  заголовков воспользоваться другими,
  нажать кнопку Параметры, чтобы открыть
  окно диалога Параметры оглавления. В
  этом окне можно выбрать стили, включаемые
  в оглавление, и связать с ними определенные
  уровни в оглавлении;

• для
  изменения внешнего вида оглавления
  подбирать значения параметров до тех
  пор, пока примерный вид оглавления в
  поле Образец не будет соответствовать
  желаемому. Можно задать формат оглавления,
  способ выравнивания номеров страниц,
  число уровней и символ-заполнитель.
  Также можно разрешить или запретить
  показ номеров страниц.

Определенные
места в документе могут быть помечены
для быстрого возврата к ним в дальнейшем.
Чтобы пометить какое-либо место документа,
надо создать закладку. Создание закладки
осуществляется с помощью команды
Закладка меню Вставка. В диалоговом
окне команды следует ввести имя
создаваемой закладки. Этот способ может
применяться для пометки любого количества
мест в документе. Закладки можно сделать
видимыми, выполнив команду Параметры
меню Сервис и установив на вкладке Вид
флажок Закладки.

Чтобы
быстро переместить курсор в место,
помеченное закладкой, следует выполнить
команду Закладка меню Вставка или нажать
комбинацию клавиш Ctrl+Shift+F5, в открывшемся
диалоговом окне Закладка выбрать ее
имя, присвоенное при пометке текста, и
нажать кнопку Церейти. Word переместит
курсор в помеченную позицию. К аналогичному
результату приведет выполнение команды
Перейти меню Правка. В диалоговом окне
команды в списке Объект перехода следует
выбрать Закладка.

Пакет
MS Office. Текстовый редактор Word. Функции
поиска и замены символов. Поиск и замена
специальных символов (непечатных).
Автозамена при вводе. Пользовательские
настройки автозамены вводимых символов.

При
создании новых документов могут также
использоваться специальные шаблоны —
мастера, обеспечивающие настройку
создаваемых документов в процессе
диалога с пользователем.

В
текстовом процессоре Word существуют три
способа быстрой вставки часто используемой
текстовой или графической информации
в документ, основанные на
использованииАвтотекста,
Автозамены и Копилки.

С
помощью команды Автозамена меню Сервис
ранее созданные элементы (фрагменты
текста, рисунки, таблицы и т. д.) могут
быть многократно автоматически вставлены
в документ. По этой команде также может
производиться расшифровка аббревиатур
и автоматическое исправление наиболее
типичных опечаток. В диалоговом окне
команды можно:

• создать,
  применить, удалить элемент автозамены;

• использовать
  автозамену в процессе набора текста;

• выполнить
  общую настройку преобразования текста,
  используя соответствующие флажки в
  верхней части диалогового окна.

С
помощью команды Автотекст меню
Вставка (или вкладка Автотекст в
диалоговом окне команды Автозамена меню
Сервис) ранее созданные элементы
(фрагменты текста, рисунки, таблицы и
т. д.) могут быть многократно вставлены
в документ по команде пользователя. С
помощью диалогового окна команды можно
создавать и удалять элементы автотекста.

Копилка —
это инструмент для накопления и
объединения различных блоков информации
из разных частей документов и вставки
их в документ как единого целого. Копилка
создается на основе автотекста. Выделенный
фрагмент документа переносится в копилку
при нажатии комбинации клавиш Ctrl+F3.
Лодобное действие может быть выполнено
для одного или нескольких документов,
открытых в разных окнах. Просмотреть
содержимое копилки можно с помощью
команды Автотекст меню Вставка, выделив
в списке имен Копилка. Для вставки
содержимого копилки в текст вводится
слово копилка и нажимается комбинация
клавиш Ctrl+Shift+F3 для переноса содержимого
копилки или клавиша F3 для копирования
содержимого.

Текст
документа Word может быть проверен на
правильность правописания на нескольких
десятках языков. Перечень языков
устанавливается командой Язык меню
Сервис. Имеется возможность проверять
тексты на наличие в них орфографических
и грамматических ошибок. Проверку
правописания можно производить
непосредственно при вводе текста или
в ранее введенных текстах. Для
автоматической проверки правописания
при вводе текста следует настроить
вкладку Правописание диалогового окна
команды Параметры меню Сервис. Проверка
правописания в выделенном фрагменте
ранее введенного текста выполняется
командой Правописание меню Сервис или
при нажатии на соответствующую кнопку
на панели инструментов.

При
проверке правописания Word подчеркивает
красной волнистой линией возможную
орфографическую ошибку, зеленой волнистой
линией — возможную грамматическую
ошибку.

Основная
работа ведется в диалоговом окне команды
Правописание с помощью кнопок. Пользователь
может пропустить слово, заменить его
одним из слов, содержащихся в поле
Варианты, добавить это слово в
пользовательский словарь, добавить его
в список автозамены для автоматического
исправления ошибок и т. д.

Настройка
параметров проверки правописания
(установка нужных флажков в диалоговом
окне, вызываемом нажатием кнопки
Параметры в окне Правописание, и нажатием
кнопки Настройка) позволяет добиться
оптимального соотношения между строгостью
и скоростью проверки.

В
процессе редактирования иногда требуется
выполнить поиск текста. Поиск текста
часто выполняется затем, чтобы заменить
его. Для поиска текста щелкните
ссылку Найти
в документе на
панели Поиск в
области задач или выберите команду Найти в
меню Правка или
щелкните клавиши Ctrl+F.
В поле Найти введите
искомый текст и нажмите кнопку «Найти
далее».
После этого будет выполняться поиск.
Чтобы прервать поиск, нажмите клавишу Esc.

Примечание.
Для отображения в окне дополнительных
возможностей поиска щелкните кнопку
«Больше». После этого в окне поиска
будут отображены поля, в которых вы
можете задать направление поиска,
включить учет регистра, задать формат.
Щелкнув кнопку «Специальный», вы можете
задать поиск специальных символов. Если
вам для описания образа поиска не
требуется задавать дополнительные
параметры, то щелкните кнопку «Меньше»
для уменьшения окна, чтобы скрыть
ненужные поля.

Для
замены текста выберите в
меню Правка команду Заменить.
В поле Найти введите
искомый текст, а в поле Заменить па
введите текст для замены. Щелкните
кнопку «Найти
далее».
Если данный текст будет найден, то поиск
будет остановлен, искомый текст будет
выделен жирным начертанием. Щелкните
кнопку «Заменить»
для замены текста. Если вы хотите заменить
все вхождения искомого текста, то
щелкните кнопку «Заменить
все».

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

In software, a spell checker (or spelling checker or spell check) is a software feature that checks for misspellings in a text. Spell-checking features are often embedded in software or services, such as a word processor, email client, electronic dictionary, or search engine.

Design[edit]

A basic spell checker carries out the following processes:

• It scans the text and extracts the words contained in it.
• It then compares each word with a known list of correctly spelled words (i.e. a dictionary). This might contain just a list of words, or it might also contain additional information, such as hyphenation points or lexical and grammatical attributes.
• An additional step is a language-dependent algorithm for handling morphology. Even for a lightly inflected language like English, the spell checker will need to consider different forms of the same word, such as plurals, verbal forms, contractions, and possessives. For many other languages, such as those featuring agglutination and more complex declension and conjugation, this part of the process is more complicated.

It is unclear whether morphological analysis—allowing for many forms of a word depending on its grammatical role—provides a significant benefit for English, though its benefits for highly synthetic languages such as German, Hungarian, or Turkish are clear.

As an adjunct to these components, the program’s user interface allows users to approve or reject replacements and modify the program’s operation.

Spell checkers can use approximate string matching algorithms such as Levenshtein distance to find correct spellings of misspelled words.^[1] An alternative type of spell checker uses solely statistical information, such as n-grams, to recognize errors instead of correctly-spelled words. This approach usually requires a lot of effort to obtain sufficient statistical information. Key advantages include needing less runtime storage and the ability to correct errors in words that are not included in a dictionary.^[2]

In some cases, spell checkers use a fixed list of misspellings and suggestions for those misspellings; this less flexible approach is often used in paper-based correction methods, such as the see also entries of encyclopedias.

Clustering algorithms have also been used for spell checking^[3] combined with phonetic information.^[4]

History[edit]

Pre-PC[edit]

In 1961, Les Earnest, who headed the research on this budding technology, saw it necessary to include the first spell checker that accessed a list of 10,000 acceptable words.^[5] Ralph Gorin, a graduate student under Earnest at the time, created the first true spelling checker program written as an applications program (rather than research) for general English text: SPELL for the DEC PDP-10 at Stanford University’s Artificial Intelligence Laboratory, in February 1971.^[6] Gorin wrote SPELL in assembly language, for faster action; he made the first spelling corrector by searching the word list for plausible correct spellings that differ by a single letter or adjacent letter transpositions and presenting them to the user. Gorin made SPELL publicly accessible, as was done with most SAIL (Stanford Artificial Intelligence Laboratory) programs, and it soon spread around the world via the new ARPAnet, about ten years before personal computers came into general use.^[7] SPELL, its algorithms and data structures inspired the Unix ispell program.

The first spell checkers were widely available on mainframe computers in the late 1970s. A group of six linguists from Georgetown University developed the first spell-check system for the IBM corporation.^[8]

Henry Kučera invented one for the VAX machines of Digital Equipment Corp in 1981.^[9]

PCs[edit]

The first spell checkers for personal computers appeared in 1980, such as «WordCheck» for Commodore systems which was released in late 1980 in time for advertisements to go to print in January 1981.^[10] Developers such as Maria Mariani^[8] and Random House^[11] rushed OEM packages or end-user products into the rapidly expanding software market. On the pre-Windows PCs, these spell checkers were standalone programs, many of which could be run in terminate-and-stay-resident mode from within word-processing packages on PCs with sufficient memory.

However, the market for standalone packages was short-lived, as by the mid-1980s developers of popular word-processing packages like WordStar and WordPerfect had incorporated spell checkers in their packages, mostly licensed from the above companies, who quickly expanded support from just English to many European and eventually even Asian languages. However, this required increasing sophistication in the morphology routines of the software, particularly with regard to heavily-agglutinative languages like Hungarian and Finnish. Although the size of the word-processing market in a country like Iceland might not have justified the investment of implementing a spell checker, companies like WordPerfect nonetheless strove to localize their software for as many national markets as possible as part of their global marketing strategy.

When Apple developed «a system-wide spelling checker» for Mac OS X so that «the operating system took over spelling fixes,»^[12] it was a first: one «didn’t have to maintain a separate spelling checker for each» program.^[13] Mac OS X’s spellcheck coverage includes virtually all bundled and third party applications.

Visual Tools’ VT Speller, introduced in 1994, was «designed for developers of applications that support Windows.»^[14][15] It came with a dictionary but had the ability to build and incorporate use of secondary dictionaries.^[16]

Browsers[edit]

Firefox 2.0, a web browser, has spell check support for user-written content,^[17] such as when editing Wikitext, writing on many webmail sites, blogs, and social networking websites. The web browsers Google Chrome, Konqueror, and Opera, the email client Kmail and the instant messaging client Pidgin also offer spell checking support, transparently using previously GNU Aspell and currently Hunspell as their engine.

Specialties[edit]

Some spell checkers have separate support for medical dictionaries to help prevent medical errors.^[18][19][20]

Functionality[edit]

The first spell checkers were «verifiers» instead of «correctors.» They offered no suggestions for incorrectly spelled words. This was helpful for typos but it was not so helpful for logical or phonetic errors. The challenge the developers faced was the difficulty in offering useful suggestions for misspelled words. This requires reducing words to a skeletal form and applying pattern-matching algorithms.

It might seem logical that where spell-checking dictionaries are concerned, «the bigger, the better,» so that correct words are not marked as incorrect. In practice, however, an optimal size for English appears to be around 90,000 entries. If there are more than this, incorrectly spelled words may be skipped because they are mistaken for others. For example, a linguist might determine on the basis of corpus linguistics that the word baht is more frequently a misspelling of bath or bat than a reference to the Thai currency. Hence, it would typically be more useful if a few people who write about Thai currency were slightly inconvenienced than if the spelling errors of the many more people who discuss baths were overlooked.

The first MS-DOS spell checkers were mostly used in proofing mode from within word processing packages. After preparing a document, a user scanned the text looking for misspellings. Later, however, batch processing was offered in such packages as Oracle’s short-lived CoAuthor and allowed a user to view the results after a document was processed and correct only the words that were known to be wrong. When memory and processing power became abundant, spell checking was performed in the background in an interactive way, such as has been the case with the Sector Software produced Spellbound program released in 1987 and Microsoft Word since Word 95.

Spell checkers became increasingly sophisticated; now capable of recognizing grammatical errors. However, even at their best, they rarely catch all the errors in a text (such as homophone errors) and will flag neologisms and foreign words as misspellings. Nonetheless, spell checkers can be considered as a type of foreign language writing aid that non-native language learners can rely on to detect and correct their misspellings in the target language.^[21]

Spell-checking for languages other than English[edit]

English is unusual in that most words used in formal writing have a single spelling that can be found in a typical dictionary, with the exception of some jargon and modified words. In many languages, words are often concatenated into new combinations of words. In German, compound nouns are frequently coined from other existing nouns. Some scripts do not clearly separate one word from another, requiring word-splitting algorithms. Each of these presents unique challenges to non-English language spell checkers.

Context-sensitive spell checkers[edit]

There has been research on developing algorithms that are capable of recognizing a misspelled word, even if the word itself is in the vocabulary, based on the context of the surrounding words. Not only does this allow words such as those in the poem above to be caught, but it mitigates the detrimental effect of enlarging dictionaries, allowing more words to be recognized. For example, baht in the same paragraph as Thai or Thailand would not be recognized as a misspelling of bath. The most common example of errors caught by such a system are homophone errors, such as the bold words in the following sentence:

Their coming too sea if its reel.

The most successful algorithm to date is Andrew Golding and Dan Roth’s «Winnow-based spelling correction algorithm»,^[22] published in 1999, which is able to recognize about 96% of context-sensitive spelling errors, in addition to ordinary non-word spelling errors. Context-sensitive spell checkers appeared in the now-defunct applications Microsoft Office 2007^[23] and Google Wave.^[24]

Grammar checkers attempt to fix problems with grammar beyond spelling errors, including incorrect choice of words.

See also[edit]

• Cupertino effect
• Grammar checker
• Record linkage problem
• Spelling suggestion
• Words (Unix)
• Autocorrection
• LanguageTool

References[edit]

External links[edit]

• List of spell checkers at Curlie
• Norvig.com, «How to Write a Spelling Corrector», by Peter Norvig
• BBK.ac.uk, «Spellchecking by computer», by Roger Mitton
• CBSNews.com, Spell-Check Crutch Curtails Correctness, by Lloyd de Vries
• History and text of «Candidate for a Pullet Surprise» by Mark Eckman and Jerrold H. Zar

In software, a spell checker (or spelling checker or spell check) is a software feature that checks for misspellings in a text. Spell-checking features are often embedded in software or services, such as a word processor, email client, electronic dictionary, or search engine.

Design[edit]

A basic spell checker carries out the following processes:

• It scans the text and extracts the words contained in it.
• It then compares each word with a known list of correctly spelled words (i.e. a dictionary). This might contain just a list of words, or it might also contain additional information, such as hyphenation points or lexical and grammatical attributes.
• An additional step is a language-dependent algorithm for handling morphology. Even for a lightly inflected language like English, the spell checker will need to consider different forms of the same word, such as plurals, verbal forms, contractions, and possessives. For many other languages, such as those featuring agglutination and more complex declension and conjugation, this part of the process is more complicated.

It is unclear whether morphological analysis—allowing for many forms of a word depending on its grammatical role—provides a significant benefit for English, though its benefits for highly synthetic languages such as German, Hungarian, or Turkish are clear.

As an adjunct to these components, the program’s user interface allows users to approve or reject replacements and modify the program’s operation.

Spell checkers can use approximate string matching algorithms such as Levenshtein distance to find correct spellings of misspelled words.^[1] An alternative type of spell checker uses solely statistical information, such as n-grams, to recognize errors instead of correctly-spelled words. This approach usually requires a lot of effort to obtain sufficient statistical information. Key advantages include needing less runtime storage and the ability to correct errors in words that are not included in a dictionary.^[2]

In some cases, spell checkers use a fixed list of misspellings and suggestions for those misspellings; this less flexible approach is often used in paper-based correction methods, such as the see also entries of encyclopedias.

Clustering algorithms have also been used for spell checking^[3] combined with phonetic information.^[4]

History[edit]

Pre-PC[edit]

In 1961, Les Earnest, who headed the research on this budding technology, saw it necessary to include the first spell checker that accessed a list of 10,000 acceptable words.^[5] Ralph Gorin, a graduate student under Earnest at the time, created the first true spelling checker program written as an applications program (rather than research) for general English text: SPELL for the DEC PDP-10 at Stanford University’s Artificial Intelligence Laboratory, in February 1971.^[6] Gorin wrote SPELL in assembly language, for faster action; he made the first spelling corrector by searching the word list for plausible correct spellings that differ by a single letter or adjacent letter transpositions and presenting them to the user. Gorin made SPELL publicly accessible, as was done with most SAIL (Stanford Artificial Intelligence Laboratory) programs, and it soon spread around the world via the new ARPAnet, about ten years before personal computers came into general use.^[7] SPELL, its algorithms and data structures inspired the Unix ispell program.

The first spell checkers were widely available on mainframe computers in the late 1970s. A group of six linguists from Georgetown University developed the first spell-check system for the IBM corporation.^[8]

Henry Kučera invented one for the VAX machines of Digital Equipment Corp in 1981.^[9]

PCs[edit]

The first spell checkers for personal computers appeared in 1980, such as «WordCheck» for Commodore systems which was released in late 1980 in time for advertisements to go to print in January 1981.^[10] Developers such as Maria Mariani^[8] and Random House^[11] rushed OEM packages or end-user products into the rapidly expanding software market. On the pre-Windows PCs, these spell checkers were standalone programs, many of which could be run in terminate-and-stay-resident mode from within word-processing packages on PCs with sufficient memory.

However, the market for standalone packages was short-lived, as by the mid-1980s developers of popular word-processing packages like WordStar and WordPerfect had incorporated spell checkers in their packages, mostly licensed from the above companies, who quickly expanded support from just English to many European and eventually even Asian languages. However, this required increasing sophistication in the morphology routines of the software, particularly with regard to heavily-agglutinative languages like Hungarian and Finnish. Although the size of the word-processing market in a country like Iceland might not have justified the investment of implementing a spell checker, companies like WordPerfect nonetheless strove to localize their software for as many national markets as possible as part of their global marketing strategy.

When Apple developed «a system-wide spelling checker» for Mac OS X so that «the operating system took over spelling fixes,»^[12] it was a first: one «didn’t have to maintain a separate spelling checker for each» program.^[13] Mac OS X’s spellcheck coverage includes virtually all bundled and third party applications.

Visual Tools’ VT Speller, introduced in 1994, was «designed for developers of applications that support Windows.»^[14][15] It came with a dictionary but had the ability to build and incorporate use of secondary dictionaries.^[16]

Browsers[edit]

Firefox 2.0, a web browser, has spell check support for user-written content,^[17] such as when editing Wikitext, writing on many webmail sites, blogs, and social networking websites. The web browsers Google Chrome, Konqueror, and Opera, the email client Kmail and the instant messaging client Pidgin also offer spell checking support, transparently using previously GNU Aspell and currently Hunspell as their engine.

Specialties[edit]

Some spell checkers have separate support for medical dictionaries to help prevent medical errors.^[18][19][20]

Functionality[edit]

The first spell checkers were «verifiers» instead of «correctors.» They offered no suggestions for incorrectly spelled words. This was helpful for typos but it was not so helpful for logical or phonetic errors. The challenge the developers faced was the difficulty in offering useful suggestions for misspelled words. This requires reducing words to a skeletal form and applying pattern-matching algorithms.

It might seem logical that where spell-checking dictionaries are concerned, «the bigger, the better,» so that correct words are not marked as incorrect. In practice, however, an optimal size for English appears to be around 90,000 entries. If there are more than this, incorrectly spelled words may be skipped because they are mistaken for others. For example, a linguist might determine on the basis of corpus linguistics that the word baht is more frequently a misspelling of bath or bat than a reference to the Thai currency. Hence, it would typically be more useful if a few people who write about Thai currency were slightly inconvenienced than if the spelling errors of the many more people who discuss baths were overlooked.

The first MS-DOS spell checkers were mostly used in proofing mode from within word processing packages. After preparing a document, a user scanned the text looking for misspellings. Later, however, batch processing was offered in such packages as Oracle’s short-lived CoAuthor and allowed a user to view the results after a document was processed and correct only the words that were known to be wrong. When memory and processing power became abundant, spell checking was performed in the background in an interactive way, such as has been the case with the Sector Software produced Spellbound program released in 1987 and Microsoft Word since Word 95.

Spell checkers became increasingly sophisticated; now capable of recognizing grammatical errors. However, even at their best, they rarely catch all the errors in a text (such as homophone errors) and will flag neologisms and foreign words as misspellings. Nonetheless, spell checkers can be considered as a type of foreign language writing aid that non-native language learners can rely on to detect and correct their misspellings in the target language.^[21]

Spell-checking for languages other than English[edit]

English is unusual in that most words used in formal writing have a single spelling that can be found in a typical dictionary, with the exception of some jargon and modified words. In many languages, words are often concatenated into new combinations of words. In German, compound nouns are frequently coined from other existing nouns. Some scripts do not clearly separate one word from another, requiring word-splitting algorithms. Each of these presents unique challenges to non-English language spell checkers.

Context-sensitive spell checkers[edit]

There has been research on developing algorithms that are capable of recognizing a misspelled word, even if the word itself is in the vocabulary, based on the context of the surrounding words. Not only does this allow words such as those in the poem above to be caught, but it mitigates the detrimental effect of enlarging dictionaries, allowing more words to be recognized. For example, baht in the same paragraph as Thai or Thailand would not be recognized as a misspelling of bath. The most common example of errors caught by such a system are homophone errors, such as the bold words in the following sentence:

Their coming too sea if its reel.

The most successful algorithm to date is Andrew Golding and Dan Roth’s «Winnow-based spelling correction algorithm»,^[22] published in 1999, which is able to recognize about 96% of context-sensitive spelling errors, in addition to ordinary non-word spelling errors. Context-sensitive spell checkers appeared in the now-defunct applications Microsoft Office 2007^[23] and Google Wave.^[24]

Grammar checkers attempt to fix problems with grammar beyond spelling errors, including incorrect choice of words.

See also[edit]

• Cupertino effect
• Grammar checker
• Record linkage problem
• Spelling suggestion
• Words (Unix)
• Autocorrection
• LanguageTool

References[edit]

External links[edit]

• List of spell checkers at Curlie
• Norvig.com, «How to Write a Spelling Corrector», by Peter Norvig
• BBK.ac.uk, «Spellchecking by computer», by Roger Mitton
• CBSNews.com, Spell-Check Crutch Curtails Correctness, by Lloyd de Vries
• History and text of «Candidate for a Pullet Surprise» by Mark Eckman and Jerrold H. Zar

Содержание статьи

• 1 С помощью офисных программ
  • 1.1 👉 В MS Word
  • 1.2 👉 В OpenOffice
  • 1.3 👉 В LibreOffice
• 2 С помощью словарей браузера
• 3 С помощью онлайн-сервисов

 → Задать вопрос | дополнить 

Правописание в Word — как проверить

Рецензирование в Word 2019 — проверка читаемости

Файл — параметры — Word 2019

Параметры Word — правописание

Поиск ошибок в тексте с помощью OpenOffice

Ручная проверка орфографии / OpenOffice

Проверка орфографии и грамматики / LibreOffice

Firefox — проверка орфографии набираемого текста / комментария

Работа в Яндекс-Спеллер

Полезный софт:

источники: