xbot-market-info/community-qa-with-datatable.ipynb

In [3]:

import requests
url = 'https://api.yingdao.com/api/noauth/v1/sns/fullIndex/search'
headers = {
    'accept': 'application/json',
    'authorization': 'Bearer 4e49960a-4d22-4fed-acea-d6faee687c4c',
}

all_data = []
page = 1
while True:
    params = {
        'page': page,
        'size': 20,
        'key': '数据表格',
        'source': ''
    }
    response = requests.get(url, headers=headers, params=params)
    data = response.json()
    if not data['data']:
        break
    all_data.extend(data['data'])
    page += 1

all_data
import re

def remove_em_tags(text):
    return re.sub(r'<em>(.*?)</em>', r'\1', text)

import pandas as pd
# Extract tag, title, and body from the results
extracted_data = []
for item in all_data:
    extracted_data.append({
        'tag': item.get('tag'),
        'title': remove_em_tags(item.get('title', '')),
        'body': remove_em_tags(item.get('body', ''))
    })
# Create a DataFrame and save to an xlsx file
df = pd.DataFrame(extracted_data)
df.to_excel('extracted_data.xlsx', index=False)
df.head()  # Display the first few rows of the DataFrame to verify

Out [3]:

	tag	title	body
0	功能文档	数据表格	数据表格 数据表格是简化版的excel，可以使用【数据表格】相关的指令对其进行操作，支持导...
1	问答	数据表格数据处理	数据表格批量获取数据后，然后循环处理数据表格，再循环里面过滤不要的数据，用删除数据表格行删除...
2	指令文档	清空数据表格	清空数据表格 清空数据表格 注：【 清空数据表格 】指令一般主要是用于在流程开始前初始化数...
3	指令文档	数据表格导入	数据表格导入 导入数据到数据表格 文件路径 目标文件的绝对路径,支持xls、xlsx、cs...
4	指令文档	数据表格导出	数据表格导出 将数据表格导出为文件 文件夹 桌面/下载目录/临时目录/自定义目录 文件名称...