189 lines
5.0 KiB
Markdown
189 lines
5.0 KiB
Markdown
# 网站字段修复说明
|
||
|
||
## 问题描述
|
||
|
||
您遇到了 "can only join an iterable" 错误，这是因为将 `CrawlTask` 模型中的 `websites` 字段从 `JSONField` 改为了 `ManyToManyField`，但代码中还有一些地方没有相应更新。
|
||
|
||
## 已修复的问题
|
||
|
||
### 1. 任务执行器修复
|
||
|
||
在 `core/task_executor.py` 中，已经修复了以下方法：
|
||
|
||
- `_execute_keyword_task()` - 关键词搜索任务执行
|
||
- `_execute_historical_task()` - 历史文章任务执行
|
||
- `_execute_full_site_task()` - 全站爬取任务执行
|
||
|
||
**修复前：**
|
||
```python
|
||
websites = task.websites if task.websites else list(WEBSITE_SEARCH_CONFIGS.keys())
|
||
```
|
||
|
||
**修复后：**
|
||
```python
|
||
selected_websites = task.websites.all()
|
||
if selected_websites:
|
||
websites = [w.name for w in selected_websites]
|
||
else:
|
||
websites = list(WEBSITE_SEARCH_CONFIGS.keys())
|
||
```
|
||
|
||
### 2. 模型方法修复
|
||
|
||
在 `core/models.py` 中，`get_websites_display()` 方法已经正确处理了 `ManyToManyField`：
|
||
|
||
```python
|
||
def get_websites_display(self):
|
||
"""获取网站列表的显示文本"""
|
||
try:
|
||
websites = self.websites.all()
|
||
if not websites:
|
||
return "所有网站"
|
||
# 确保网站名称是字符串并可以被join处理
|
||
website_names = [str(w.name) for w in websites if w.name]
|
||
return ", ".join(website_names) if website_names else "所有网站"
|
||
except Exception:
|
||
# 如果出现任何异常，返回默认值
|
||
return "所有网站"
|
||
```
|
||
|
||
### 3. 管理界面修复
|
||
|
||
在 `core/admin_extended.py` 中，已经修复了任务创建逻辑：
|
||
|
||
- 使用 `Website.objects.filter(name__in=websites)` 获取网站对象
|
||
- 使用 `task.websites.set(website_objects)` 设置关联关系
|
||
|
||
## 测试验证
|
||
|
||
已经通过以下测试验证修复：
|
||
|
||
1. **网站字段功能测试** - 验证 `ManyToManyField` 的基本操作
|
||
2. **任务执行器测试** - 验证任务执行器中的网站获取逻辑
|
||
3. **Web界面操作测试** - 验证完整的Web界面操作流程
|
||
4. **系统检查** - Django系统检查无错误
|
||
|
||
## 使用方法
|
||
|
||
### 1. 确保数据库迁移已应用
|
||
|
||
```bash
|
||
python manage.py migrate
|
||
```
|
||
|
||
### 2. 创建网站数据
|
||
|
||
如果还没有网站数据，可以通过以下方式创建：
|
||
|
||
```python
|
||
from core.models import Website
|
||
|
||
# 创建一些测试网站
|
||
websites_to_create = ["新华网", "人民日报", "央视网"]
|
||
for name in websites_to_create:
|
||
website, created = Website.objects.get_or_create(
|
||
name=name,
|
||
defaults={
|
||
'base_url': f'http://{name}.com',
|
||
'enabled': True
|
||
}
|
||
)
|
||
```
|
||
|
||
### 3. 通过Web界面创建任务
|
||
|
||
1. 启动服务器：`python manage.py runserver`
|
||
2. 访问管理后台：`http://localhost:8000/admin/`
|
||
3. 在首页点击"快速创建爬取任务"
|
||
4. 选择任务类型并填写相关信息
|
||
5. 选择目标网站
|
||
6. 创建并启动任务
|
||
|
||
### 4. 通过命令行创建任务
|
||
|
||
```bash
|
||
# 关键词搜索
|
||
python manage.py crawl_by_keyword --keyword "人工智能"
|
||
|
||
# 历史文章爬取
|
||
python manage.py crawl_by_keyword --keyword "新闻" --historical
|
||
|
||
# 多网站一键爬取
|
||
python manage.py crawl_all_websites --mode both --keyword "人工智能"
|
||
```
|
||
|
||
## 故障排除
|
||
|
||
### 如果仍然遇到 "can only join an iterable" 错误
|
||
|
||
1. **检查数据库迁移**：
|
||
```bash
|
||
python manage.py showmigrations core
|
||
python manage.py migrate
|
||
```
|
||
|
||
2. **检查网站数据**：
|
||
```python
|
||
from core.models import Website
|
||
print(Website.objects.filter(enabled=True).count())
|
||
```
|
||
|
||
3. **检查任务数据**：
|
||
```python
|
||
from core.models import CrawlTask
|
||
task = CrawlTask.objects.first()
|
||
if task:
|
||
print(f"任务网站: {task.get_websites_display()}")
|
||
```
|
||
|
||
4. **重启服务器**：
|
||
```bash
|
||
# 停止当前服务器 (Ctrl+C)
|
||
python manage.py runserver
|
||
```
|
||
|
||
### 如果遇到其他错误
|
||
|
||
1. **检查日志**：查看Django日志输出
|
||
2. **检查网络连接**：确保可以访问目标网站
|
||
3. **检查网站配置**：确保 `WEBSITE_SEARCH_CONFIGS` 中的配置正确
|
||
|
||
## 技术细节
|
||
|
||
### ManyToManyField vs JSONField
|
||
|
||
**之前的JSONField方式：**
|
||
```python
|
||
websites = models.JSONField(default=list, verbose_name="目标网站")
|
||
# 使用: task.websites = ["新华网", "人民日报"]
|
||
```
|
||
|
||
**现在的ManyToManyField方式：**
|
||
```python
|
||
websites = models.ManyToManyField(Website, blank=True, verbose_name="目标网站")
|
||
# 使用: task.websites.set(website_objects)
|
||
```
|
||
|
||
### 优势
|
||
|
||
1. **数据完整性**：通过外键关系确保数据一致性
|
||
2. **查询效率**：可以利用数据库索引进行高效查询
|
||
3. **关系管理**：Django自动处理多对多关系的创建和删除
|
||
4. **数据验证**：自动验证关联的网站是否存在
|
||
|
||
## 总结
|
||
|
||
修复已经完成，现在您可以：
|
||
|
||
1. 通过Web界面创建和管理爬取任务
|
||
2. 选择特定的网站进行爬取
|
||
3. 实时监控任务进度
|
||
4. 查看详细的爬取结果
|
||
|
||
如果仍然遇到问题，请检查：
|
||
- 数据库迁移是否已应用
|
||
- 网站数据是否存在
|
||
- 服务器是否已重启
|
||
|
||
系统现在应该可以正常工作了！
|