构建命名实体识别应用程序

概述

本指南将引导您构建和运行命名实体识别 (NER) 应用程序。您将使用 Python 和 spaCy 构建应用程序，然后设置环境并使用 Docker 运行应用程序。

该应用程序处理输入文本以识别和打印命名实体，例如人员、组织或位置。

先决条件

• 您已安装最新版本的 Docker Desktop。 Docker 定期添加新功能，本指南的某些部分可能仅适用于最新版本的 Docker Desktop。
• 您有一个 Git 客户端。本节中的示例使用基于命令行的 Git 客户端，但您可以使用任何客户端。

获取示例应用程序

1. 打开终端，然后使用以下命令克隆示例应用程序的存储库。

   $ git clone https://github.com/harsh4870/Docker-NLP.git
   

2. 验证您是否克隆了存储库。

   您应该在目录中看到以下文件Docker-NLP。

   01_sentiment_analysis.py
   02_name_entity_recognition.py
   03_text_classification.py
   04_text_summarization.py
   05_language_translation.py
   entrypoint.sh
   requirements.txt
   Dockerfile
   README.md

探索应用程序代码

名称识别应用程序的源代码位于该Docker-NLP/02_name_entity_recognition.py文件中。在文本或代码编辑器中打开02_name_entity_recognition.py，按以下步骤探索其内容。

1. 导入所需的库。

   import spacy

   该行导入spaCy库。spaCy是 Python 中用于自然语言处理 (NLP) 的流行库。

2. 加载语言模型。

   nlp = spacy.load("en_core_web_sm")

   在这里，该spacy.load函数加载一个语言模型。该en_core_web_sm 模型是一个小型的英语语言模型。您可以将此模型用于各种 NLP 任务，包括标记化、词性标记和命名实体识别。

3. 指定主要执行块。

   if __name__ == "__main__":

   这个 Python 习惯用法确保仅当该脚本是主程序时以下代码块才运行。它提供了灵活性，允许脚本既作为独立程序又作为导入模块运行。

4. 创建无限循环以进行连续输入。

      while True:

   这个 while 循环无限期地运行，直到它被明确破坏为止。它允许用户连续输入文本以进行实体识别，直到他们决定退出。

5. 获取用户输入。

   input_text = input("Enter the text for entity recognition (type 'exit' to end): ")

   该行提示用户输入文本。然后程序将对此文本执行实体识别。

6. 定义退出条件。

   if input_text.lower() == 'exit':
      print("Exiting...")
      break

   如果用户键入某些内容，程序会将输入转换为小写并将其与 进行比较exit。如果它们匹配，程序将打印Exiting...并跳出 while 循环，从而有效地结束程序。

7. 执行命名实体识别。

   doc = nlp(input_text)
   
   for ent in doc.ents:
      print(f"Entity: {ent.text}, Type: {ent.label_}")

   • doc = nlp(input_text)：这里，nlp 模型处理用户输入的文本。这将创建一个 Doc 对象，其中包含各种 NLP 属性，包括识别的实体。
   • for ent in doc.ents:：此循环迭代文本中找到的实体。
   • print(f"Entity: {ent.text}, Type: {ent.label_}")：对于每个实体，它打印实体文本及其类型（如 PERSON、ORG 或 GPE）。

8. 创造requirements.txt。

   示例应用程序已包含requirements.txt用于指定应用程序导入的必要包的文件。requirements.txt在代码或文本编辑器中打开以探索其内容。

   # 02 named_entity_recognition
   spacy==3.7.2
   
   ...

   命名识别应用程序只spacy需要该包。

探索应用环境

您将使用 Docker 在容器中运行应用程序。 Docker 允许您对应用程序进行容器化，为运行它提供一致且隔离的环境。这意味着应用程序将在其 Docker 容器内按预期运行，无论底层系统有何差异。

要在容器中运行应用程序，需要 Dockerfile。 Dockerfile 是一个文本文档，其中包含您在命令行上调用以组装映像的所有命令。镜像是一个只读模板，包含创建 Docker 容器的说明。

示例应用程序已包含一个Dockerfile.Dockerfile在代码或文本编辑器中打开以浏览其内容。

以下步骤解释了 的每个部分Dockerfile。有关更多详细信息，请参阅 Dockerfile 参考。

1. 指定基础图像。

   FROM python:3.8-slim

   该命令为构建奠定了基础。python:3.8-slim是 Python 3.8 映像的轻量级版本，针对大小和速度进行了优化。使用这个纤薄的镜像可以减少 Docker 镜像的整体大小，从而加快下载速度并减少安全漏洞的表面积。这对于基于 Python 的应用程序特别有用，您可能不需要完整的标准 Python 映像。

2. 设置工作目录。

   WORKDIR /app

   WORKDIR设置 Docker 映像中的当前工作目录。通过将其设置为/app，可以确保 Dockerfile 中的所有后续命令（例如COPY和RUN）都在此目录中执行。这也有助于组织 Docker 映像，因为所有与应用程序相关的文件都包含在特定目录中。

3. 将需求文件复制到映像中。

   COPY requirements.txt /app

   该COPY命令将requirements.txt文件从本地计算机传输到 Docker 映像中。该文件列出了应用程序所需的所有 Python 依赖项。将其复制到容器中可以让下一个命令 ( RUN pip install) 在映像环境中安装这些依赖项。

4. 在映像中安装 Python 依赖项。

   RUN pip install --no-cache-dir -r requirements.txt

   此行使用pipPython 的软件包安装程序来安装 中列出的软件包requirements.txt。该--no-cache-dir选项禁用缓存，从而通过不存储不必要的缓存数据来减小 Docker 映像的大小。

5. 运行附加命令。

   RUN python -m spacy download en_core_web_sm

   此步骤特定于需要 spaCy 库的 NLP 应用程序。它下载en_core_web_sm模型，这是 spaCy 的小型英语模型。

6. 将应用程序代码复制到图像中。

   COPY *.py /app
   COPY entrypoint.sh /app

   这些命令将您的 Python 脚本和entrypoint.sh脚本复制到图像的/app目录中。这很重要，因为容器需要这些脚本来运行应用程序。该entrypoint.sh脚本特别重要，因为它指示应用程序如何在容器内启动。

7. 设置entrypoint.sh脚本的权限。

   RUN chmod +x /app/entrypoint.sh

   此命令修改 的文件权限entrypoint.sh，使其可执行。此步骤是确保 Docker 容器可以运行此脚本来启动应用程序所必需的。

8. 设置入口点。

   ENTRYPOINT ["/app/entrypoint.sh"]

   该ENTRYPOINT指令将容器配置entrypoint.sh 为作为默认可执行文件运行。这意味着当容器启动时，它会自动执行脚本。

   您可以entrypoint.sh通过在代码或文本编辑器中打开脚本来探索该脚本。由于示例包含多个应用程序，因此该脚本允许您指定在容器启动时运行哪个应用程序。

运行应用程序

要使用 Docker 运行应用程序：

1. 建立形象。

   在终端中，在所在目录中运行以下命令Dockerfile。

   $ docker build -t basic-nlp .
   

   以下是该命令的细分：

   • docker build：这是用于从 Dockerfile 和上下文构建 Docker 映像的主要命令。上下文通常是指定位置的一组文件，通常是包含 Dockerfile 的目录。
   • -t basic-nlp：这是一个用于标记图像的选项。旗帜-t代表标签。它为图像分配一个名称，在本例中为 basic-nlp.标签是稍后引用图像的便捷方法，尤其是在将它们推送到注册表或运行容器时。
   • .：这是命令的最后一部分，指定构建上下文。句点 ( .) 表示当前目录。 Docker 将在此目录中查找 Dockerfile。构建上下文（在本例中为当前目录）被发送到 Docker 守护进程以启用构建。它包括指定目录中的所有文件和子目录。

   有关更多详细信息，请参阅 docker build CLI 参考。

   Docker 在构建镜像时会向控制台输出多个日志。您将看到它下载并安装依赖项。根据您的网络连接，这可能需要几分钟的时间。 Docker 确实具有缓存功能，因此后续构建可以更快。完成后控制台将返回到提示符。

2. 将图像作为容器运行。

   在终端中，运行以下命令。

   $ docker run -it basic-nlp 02_name_entity_recognition.py
   

   以下是该命令的细分：

   • docker run：这是用于从 Docker 映像运行新容器的主要命令。
   • -it：这是两个选项的组合：
     • -i或--interactive：即使未连接，这也会使标准输入 (STDIN) 保持打开状态。它让容器保持在前台运行并具有交互性。
     • -tor --tty：这会分配一个伪 TTY，本质上是模拟终端，如命令提示符或 shell。它可以让您与容器内的应用程序进行交互。
   • basic-nlp：指定用于创建容器的 Docker 映像的名称。在本例中，它是basic-nlp您使用命令创建的名为的图像docker build。
   • 02_name_entity_recognition.py：这是您要在 Docker 容器内运行的脚本。它被传递给entrypoint.sh脚本，脚本在容器启动时运行它。

   有关更多详细信息，请参阅 docker run CLI 参考。

   笔记

   对于 Windows 用户，运行容器时可能会出现错误。验证行结尾是entrypoint.sh( LF)\n而不是CRLF( \r\n)，然后重建图像。有关更多详细信息，请参阅 避免意外的语法错误，对容器中的文件使用 Unix 样式行结尾。

   容器启动后，您将在控制台中看到以下内容。

   Enter the text for entity recognition (type 'exit' to end):
   

3. 测试应用程序。

   输入一些信息以获得命名实体识别。

   Enter the text for entity recognition (type 'exit' to end): Apple Inc. is planning to open a new store in San Francisco. Tim Cook is the CEO of Apple.
   
   Entity: Apple Inc., Type: ORG
   Entity: San Francisco, Type: GPE
   Entity: Tim Cook, Type: PERSON
   Entity: Apple, Type: ORG
   

概括

本指南演示了如何构建和运行命名实体识别应用程序。您学习了如何使用 Python 和 spaCy 构建应用程序，然后设置环境并使用 Docker 运行应用程序。

相关信息：

• Docker CLI 参考
• Dockerfile 参考
• 斯帕西
• Python 文档

下一步

探索更多 自然语言处理指南。