Mã thông báo NLTK: Mã thông báo từ và câu kèm ví dụ

Bởi: Evelyn Clarke Evelyn Clarke
Hours cập nhật

⚡ Tóm tắt thông minh

NLTK Tokenize chia văn bản dài thành các đơn vị nhỏ hơn gọi là token, một bước cơ bản trong xử lý ngôn ngữ tự nhiên. Bộ công cụ này cung cấp word_tokenize để tách câu thành từ và sent_tokenize để chia văn bản thành các câu riêng lẻ.

  • ✂️ Mã hóa: Chia văn bản dài thành các đơn vị nhỏ hơn gọi là token để phân tích.
  • 🧠 NLP Foundation: Đây là bước cơ bản cho việc rút gọn từ gốc, chuẩn hóa từ và chuyển đổi văn bản thành số.
  • 🔤 word_tokenize(): Tách câu thành các từ riêng lẻ, phân tách dấu câu.
  • 📝 sent_tokenize(): Chia một đoạn văn thành các câu riêng biệt.
  • 📊 Ca sử dụng: Việc kết hợp cả hai cho phép bạn tính toán các đặc điểm như số từ trung bình mỗi câu cho máy học.
Đọc thêm

NLTK Tokenize

Tokenization là gì?

Mã thông báo là quá trình chia một lượng lớn văn bản thành các phần nhỏ hơn gọi là mã thông báo. Các mã thông báo này rất hữu ích cho việc tìm kiếm các mẫu và được coi là bước cơ bản để bắt nguồn và từ vựng hóa. Mã thông báo cũng giúp thay thế các phần tử dữ liệu nhạy cảm bằng các phần tử dữ liệu không nhạy cảm.

Xử lý ngôn ngữ tự nhiên được sử dụng để xây dựng các ứng dụng như phân loại văn bản, chatbot thông minh, phân tích tình cảm, dịch ngôn ngữ, v.v. Điều quan trọng là phải hiểu mô hình trong văn bản để đạt được mục đích nêu trên.

Hiện tại, đừng lo lắng về việc tách gốc và lemmatization mà hãy coi chúng như các bước để làm sạch dữ liệu văn bản bằng NLP (Xử lý ngôn ngữ tự nhiên). Chúng ta sẽ thảo luận về việc tách gốc và lemmatization sau trong hướng dẫn. Các nhiệm vụ như Phân loại văn bản hoặc lọc thư rác sử dụng NLP cùng với các thư viện học sâu như Keras và Dòng chảy.

Bộ công cụ Ngôn ngữ tự nhiên có mô-đun NLTK rất quan trọng token hóa các câu bao gồm thêm các mô-đun phụ

  1. mã hóa từ
  2. mã hóa câu

Token hóa các từ

Chúng tôi sử dụng phương pháp word_tokenize() để chia một câu thành các từ. Đầu ra của mã thông báo từ có thể được chuyển đổi thành Khung dữ liệu để hiểu văn bản tốt hơn trong các ứng dụng học máy. Nó cũng có thể được cung cấp làm đầu vào cho các bước làm sạch văn bản tiếp theo như xóa dấu câu, xóa ký tự số hoặc cắt gốc. Các mô hình học máy cần dữ liệu số để được đào tạo và đưa ra dự đoán. Mã thông báo từ trở thành một phần quan trọng của việc chuyển đổi văn bản (chuỗi) sang dữ liệu số. Xin vui lòng đọc về Túi từ hoặc CountVectorizer. Vui lòng tham khảo ví dụ về tokenize NLTK bên dưới để hiểu rõ hơn về lý thuyết.

from nltk.tokenize import word_tokenize
text = "God is Great! I won a lottery."
print(word_tokenize(text))

Output: ['God', 'is', 'Great', '!', 'I', 'won', 'a', 'lottery', '.']

Token hóa các từ

Code Giải thích

  1. mô-đun word_tokenize được nhập từ thư viện NLTK.
  2. Một biến “văn bản” được khởi tạo bằng hai câu.
  3. Biến văn bản được truyền vào mô-đun word_tokenize và in kết quả. Mô-đun này ngắt từng từ bằng dấu câu mà bạn có thể thấy ở đầu ra.

Token hóa các câu

Mô-đun phụ có sẵn ở trên là send_tokenize. Một câu hỏi rõ ràng trong đầu bạn sẽ là tại sao cần mã thông báo câu khi chúng ta có tùy chọn mã thông báo từ. Hãy tưởng tượng bạn cần đếm số từ trung bình trong mỗi câu, bạn sẽ tính toán như thế nào? Để hoàn thành nhiệm vụ như vậy, bạn cần cả bộ mã thông báo câu NLTK cũng như bộ mã thông báo từ NLTK để tính tỷ lệ. Đầu ra như vậy đóng vai trò là một tính năng quan trọng trong quá trình đào tạo máy vì câu trả lời sẽ là số.

Hãy xem ví dụ về mã thông báo NLTK bên dưới để tìm hiểu mã thông báo câu khác với mã thông báo từ như thế nào.

from nltk.tokenize import sent_tokenize
text = "God is Great! I won a lottery."
print(sent_tokenize(text))

Output: ['God is Great!', 'I won a lottery ']

Chúng ta có 12 lời nói và hai câu cho cùng một đầu vào.

Token hóa các câu

NHỮNG BÀI VIẾT LIÊN QUAN

Giải thích chương trình

  1. Trong một dòng giống như chương trình trước, đã nhập mô-đun send_tokenize.
  2. Chúng tôi đã thực hiện cùng một câu. Trình mã thông báo câu tiếp theo trong mô-đun NLTK đã phân tích cú pháp các câu đó và hiển thị đầu ra. Rõ ràng là chức năng này phá vỡ từng câu.

Mã thông báo từ trên Python các ví dụ là những nền tảng cài đặt tốt để hiểu cơ chế mã hóa từ và câu.

Câu Hỏi Thường Gặp

Phân tách từ (word tokenization) sử dụng hàm `word_tokenize()` để tách văn bản thành các từ và dấu câu riêng lẻ, trong khi phân tách câu (sentence tokenization) sử dụng hàm `sent_tokenize()` để tách văn bản thành các câu riêng biệt. Cả hai thường được kết hợp để trích xuất các đặc trưng như số từ trên mỗi câu.

Tokenization là bước đầu tiên biến văn bản thô thành các đơn vị dễ quản lý, cho phép phát hiện mẫu, rút ​​gọn từ, chuẩn hóa từ và chuyển đổi thành các đặc trưng số mà các mô hình học máy yêu cầu cho các tác vụ như phân loại và dịch thuật.

Đúng vậy. NLTK hỗ trợ nhiều ngôn ngữ bằng cách tải mô hình Punkt phù hợp, ví dụ: sent_tokenize(text, language='french'). Khả năng hỗ trợ khác nhau tùy theo ngôn ngữ, và một số hệ chữ viết có thể cần các bộ phân tách từ chuyên dụng.

Các mô hình ngôn ngữ lớn chuyển đổi văn bản thành các token, thường là các phần nhỏ hơn của từ, trước khi xử lý. Mô hình dự đoán token tiếp theo dựa trên các token trước đó, do đó việc phân tách token ảnh hưởng trực tiếp đến độ dài ngữ cảnh, chi phí và chất lượng đầu ra.

Đúng vậy. Các thuật toán phân tách từ bằng AI hiện đại sử dụng các phương pháp chia nhỏ từ như Mã hóa cặp byte (Byte Pair Encoding) hoặc WordPiece, tách các từ hiếm thành các phần nhỏ hơn. Điều này giúp giữ cho từ vựng gọn nhẹ trong khi vẫn thể hiện được các từ không quen thuộc hoặc từ ghép.

Tóm tắt bài viết này với: