Цитата Сообщение от pumpkin Посмотреть сообщение
...
вот только объём этой книги будет такой, что прочитать её никто не сможет. Ну и сам посыл об ограниченности количества слов - сильно сомнителен, просто потому, что появляются новые слова, у существующих слов меняются смыслы, не говоря уже о том, что одно и то же слово, сказанное с разной интонацией может нести диаметрально противоположный смысл.
...
это не проблема. слова объединяются "по лексеме", получаются группы лексем. далее корреляционный анализ, показывающий корреляцию лексем в различных сочетаниях. группы "парных" лексем с высокой корреляцией объясняют массив текста. насчет прогнозов, в принципе это работает уже сейчас, например были исследования о прогнозировании конфликтов, помню авторы делали выводы о том, что нынешние войны начинаются точно также как и например во времена Пелопоннесской войны. в каком то кастрированном виде это существует сейчас в виде контент анализа. во всяком случае математический аппарат точно есть, руками только очень долго, особенно в части подготовки словаря. мой скромный опыт показывает, что из 20-30 книг по 500-600 страниц, на выходе 10-20 страниц А4, остальное абырвалг.
скажем библия, тора, или коран не такие уж и объемные.