大模型应用：从数字关联到语义解释：互信息+混元大模型解锁数据关联分析.107

import pandas as pd
import numpy as np

# 读取数据
df = pd.read_csv("user_behavior.csv")

# 1. 处理缺失值
df["浏览时长（分钟）"].fillna(df["浏览时长（分钟）"].median(), inplace=True)
df["收藏次数"].fillna(0, inplace=True)

# 2. 连续变量离散化（浏览时长）
df["浏览时长_分箱"] = pd.cut(
    df["浏览时长（分钟）"],
    bins=[0, 10, 20, np.inf],
    labels=["＜10分钟", "10~20分钟", "＞20分钟"]
)

# 3. 处理异常值（浏览时长＞120分钟视为异常）
df.loc[df["浏览时长（分钟）"] > 120, "浏览时长（分钟）"] = df["浏览时长（分钟）"].quantile(0.95)

# 查看预处理后的数据
print(df.head())

from sklearn.metrics import mutual_info_score
from sklearn.preprocessing import KBinsDiscretizer
import numpy as np

# 定义计算归一化互信息（NMI）的函数
def normalized_mutual_info(x, y):
    # 计算互信息
    mi = mutual_info_score(x, y)
    # 计算x和y的熵
    def entropy(arr):
        _, counts = np.unique(arr, return_counts=True)
        prob = counts / counts.sum()
        return -np.sum(prob * np.log2(prob + 1e-10))  # +1e-10避免log(0)
    
    h_x = entropy(x)
    h_y = entropy(y)
    # 归一化（避免除以0）
    if h_x == 0 or h_y == 0:
        return 0
    nmi = 2 * mi / (h_x + h_y)
    return mi, nmi

# 目标变量：是否购买（0/1）
y = df["是否购买（0/1）"]

# 特征变量列表
features = ["浏览时长_分箱", "收藏次数", "加购次数"]

# 存储结果
mi_results = {}
nmi_results = {}

# 遍历特征计算MI和NMI
for feat in features:
    mi, nmi = normalized_mutual_info(df[feat], y)
    mi_results[feat] = mi
    nmi_results[feat] = nmi

# 打印结果
print("互信息（MI）结果：")
for feat, val in mi_results.items():
    print(f"{feat}: {val:.4f} 比特")

print("\n归一化互信息（NMI）结果（0~1）：")
for feat, val in nmi_results.items():
    print(f"{feat}: {val:.4f}")

# 将NMI结果按降序排序
sorted_nmi = sorted(nmi_results.items(), key=lambda x: x[1], reverse=True)

print("特征关联度排序（按NMI降序）：")
for i, (feat, val) in enumerate(sorted_nmi, 1):
    print(f"{i}. {feat}: {val:.4f}")

# 构造提示词
prompt = f"""
请你扮演一位电商数据分析专家，基于以下数据结果，向非技术背景的业务人员解释用户行为与购买决策的关联关系：

### 分析场景
本次分析的是电商平台用户行为（浏览时长、收藏次数、加购次数）与用户是否购买商品的关联关系。

### 关键定义
- 浏览时长_分箱：用户浏览商品详情页的时长，分为＜10分钟、10~20分钟、＞20分钟；
- 收藏次数：用户收藏该商品的次数；
- 加购次数：用户将该商品加入购物车的次数；
- 是否购买：用户最终是否购买该商品（0=未购买，1=购买）；
- 归一化互信息（NMI）：0代表完全无关，1代表完全相关，数值越大关联度越高。

### 数据结果
特征与是否购买的关联度排序（按NMI降序）：
1. 加购次数：NMI=0.5399
2. 收藏次数：NMI=0.4653
3. 浏览时长_分箱：NMI=0.4653

### 解释要求
1. 用通俗易懂的语言解释每个特征与购买决策的关联程度；
2. 说明为什么加购次数的关联度最高；
3. 给出对应的业务建议；
4. 避免使用专业术语，确保非技术人员能理解。
"""

# 打印提示词（方便检查）
print(prompt)

import openai
from openai import OpenAI

# 配置API密钥（腾讯混元）
api_key = 'sk-bWlJPKjBrSF****************************txkfK7tgmm0sBVXvZ5NP8Ze'

client = OpenAI(
    api_key=api_key,
    base_url="https://api.hunyuan.cloud.tencent.com/v1",
)

# 调用混元大模型生成解释
def get_llm_explanation(prompt):
    try:
        completion = client.chat.completions.create(
            model="hunyuan-lite",
            messages=[
                {"role": "system", "content": "你是一位电商数据分析专家，擅长用通俗易懂的语言向非技术人员解释数据分析结果。"},
                {"role": "user", "content": prompt}
            ],
            temperature=0.3,
            max_tokens=1000
        )
        return completion.choices[0].message.content
    except Exception as e:
        return f"调用失败: {str(e)}"

# 获取解释结果
explanation = get_llm_explanation(prompt)

# 打印结果
print("大模型生成的关联解释：")
print(explanation)

import pandas as pd
import numpy as np

# 读取数据
df = pd.read_csv("user_behavior.csv")

# 1. 处理缺失值
df["浏览时长（分钟）"].fillna(df["浏览时长（分钟）"].median(), inplace=True)
df["收藏次数"].fillna(0, inplace=True)

# 2. 连续变量离散化（浏览时长）
df["浏览时长_分箱"] = pd.cut(
    df["浏览时长（分钟）"],
    bins=[0, 10, 20, np.inf],
    labels=["＜10分钟", "10~20分钟", "＞20分钟"]
)

# 3. 处理异常值（浏览时长＞120分钟视为异常）
df.loc[df["浏览时长（分钟）"] > 120, "浏览时长（分钟）"] = df["浏览时长（分钟）"].quantile(0.95)

# 查看预处理后的数据
print(df.head())


from sklearn.metrics import mutual_info_score
from sklearn.preprocessing import KBinsDiscretizer
import numpy as np

# 定义计算归一化互信息（NMI）的函数
def normalized_mutual_info(x, y):
    # 计算互信息
    mi = mutual_info_score(x, y)
    # 计算x和y的熵
    def entropy(arr):
        _, counts = np.unique(arr, return_counts=True)
        prob = counts / counts.sum()
        return -np.sum(prob * np.log2(prob + 1e-10))  # +1e-10避免log(0)
    
    h_x = entropy(x)
    h_y = entropy(y)
    # 归一化（避免除以0）
    if h_x == 0 or h_y == 0:
        return 0
    nmi = 2 * mi / (h_x + h_y)
    return mi, nmi

# 目标变量：是否购买（0/1）
y = df["是否购买（0/1）"]

# 特征变量列表
features = ["浏览时长_分箱", "收藏次数", "加购次数"]

# 存储结果
mi_results = {}
nmi_results = {}

# 遍历特征计算MI和NMI
for feat in features:
    mi, nmi = normalized_mutual_info(df[feat], y)
    mi_results[feat] = mi
    nmi_results[feat] = nmi

# 打印结果
print("互信息（MI）结果：")
for feat, val in mi_results.items():
    print(f"{feat}: {val:.4f} 比特")

print("\n归一化互信息（NMI）结果（0~1）：")
for feat, val in nmi_results.items():
    print(f"{feat}: {val:.4f}")

# 将NMI结果按降序排序
sorted_nmi = sorted(nmi_results.items(), key=lambda x: x[1], reverse=True)

print("特征关联度排序（按NMI降序）：")
for i, (feat, val) in enumerate(sorted_nmi, 1):
    print(f"{i}. {feat}: {val:.4f}")

import matplotlib.pyplot as plt
import seaborn as sns

# 设置中文字体（避免乱码）
plt.rcParams["font.sans-serif"] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False

# 提取排序后的特征和NMI值
features_sorted = [item[0] for item in sorted_nmi]
nmi_sorted = [item[1] for item in sorted_nmi]

# 绘制柱状图
plt.figure(figsize=(10, 6))
sns.barplot(x=features_sorted, y=nmi_sorted, palette="viridis")
plt.title("用户行为特征与购买决策的关联度（NMI）", fontsize=14)
plt.xlabel("特征名称", fontsize=12)
plt.ylabel("归一化互信息（NMI）", fontsize=12)
plt.ylim(0, 1)  # NMI范围0~1
plt.grid(axis="y", linestyle="--", alpha=0.7)

# 在柱子上标注数值
for i, val in enumerate(nmi_sorted):
    plt.text(i, val + 0.02, f"{val:.4f}", ha="center", fontsize=10)

# 保存图片
plt.tight_layout()
plt.savefig("feature_correlation.png", dpi=300)
plt.show()

# 构造提示词
prompt = f"""
请你扮演一位电商数据分析专家，基于以下数据结果，向非技术背景的业务人员解释用户行为与购买决策的关联关系：

### 分析场景
本次分析的是电商平台用户行为（浏览时长、收藏次数、加购次数）与用户是否购买商品的关联关系。

### 关键定义
- 浏览时长_分箱：用户浏览商品详情页的时长，分为＜10分钟、10~20分钟、＞20分钟；
- 收藏次数：用户收藏该商品的次数；
- 加购次数：用户将该商品加入购物车的次数；
- 是否购买：用户最终是否购买该商品（0=未购买，1=购买）；
- 归一化互信息（NMI）：0代表完全无关，1代表完全相关，数值越大关联度越高。

### 数据结果
特征与是否购买的关联度排序（按NMI降序）：
1. 加购次数：NMI=0.5399
2. 收藏次数：NMI=0.4653
3. 浏览时长_分箱：NMI=0.4653

### 解释要求
1. 用通俗易懂的语言解释每个特征与购买决策的关联程度；
2. 说明为什么加购次数的关联度最高；
3. 给出对应的业务建议；
4. 避免使用专业术语，确保非技术人员能理解。
"""

# 打印提示词（方便检查）
print(prompt)

import openai
from openai import OpenAI

# 配置API密钥（腾讯混元）
api_key = 'sk-bWl****************************P8Ze'

client = OpenAI(
    api_key=api_key,
    base_url="https://api.hunyuan.cloud.tencent.com/v1",
)

# 调用混元大模型生成解释
def get_llm_explanation(prompt):
    try:
        completion = client.chat.completions.create(
            model="hunyuan-lite",
            messages=[
                {"role": "system", "content": "你是一位电商数据分析专家，擅长用通俗易懂的语言向非技术人员解释数据分析结果。"},
                {"role": "user", "content": prompt}
            ],
            temperature=0.3,
            max_tokens=1000
        )
        return completion.choices[0].message.content
    except Exception as e:
        return f"调用失败: {str(e)}"

# 获取解释结果
explanation = get_llm_explanation(prompt)

# 打印结果
print("大模型生成的关联解释：")
print(explanation)