观影大数据分析（上）

2021-12-13 21:00:48 阅读：256 来源： 互联网

标签：数据分析 get 电影 movies fullDf del 观影 csv

题目

王S聪想要在海外开拓万 D 电影的市场，这次他在考虑：怎么拍商业电影才能赚钱？毕竟一些制作成本超过 1 亿美元的大型电影也会失败。这个问题对电影业来说比以往任何时候都更加重要。所以，他就请来了你（数据分析师）来帮他解决问题，给出一些建议，根据数据分析一下商业电影的成功是否存在统一公式？以帮助他更好地进行决策。
解决的终极问题是：电影票房的影响因素有哪些？
接下来我们就分不同的维度分析：
• 观众喜欢什么电影类型？有什么主题关键词？
• 电影风格随时间是如何变化的？
• 电影预算高低是否影响票房？
• 高票房或者高评分的导演有哪些？
• 电影的发行时间最好选在啥时候？
• 拍原创电影好还是改编电影好？
本次使用的数据来自于 Kaggle 平台（TMDb 5000 Movie Database）。收录了美国地区 1916-2017 年近 5000 部电影的数据，包含预算、导演、票房、电影评分等信息。原始数据集包含 2 个文件：
• tmdb_5000_movies：电影基本信息，包含 20 个变量
• tmdb_5000_credits：演职员信息，包含 4 个变量
请使用 Python 编程，完成下列问题：
（1）使用附件中的 tmdb_5000_movies.csv 和 tmdb_5000_credits.csv 数据集，进行数据清洗、数据挖掘、数据分析和数据可视化等，研究电影票房的影响因素有哪些？从不同的维度分析电影，讨论并分析你的结果。
（2）附件 tmdb_1000_predict.csv 中包含 1000 部电影的基本信息，请你选择合适的指标，进行特征提取，建立机器学习的预测模型，预测 1000 部电影的vote_average 和 vote_count，并保存为 tmdb_1000_predicted.csv。

数据清洗

导入数据

credits = pd.read_csv("tmdb_5000_credits.csv")
movies = pd.read_csv('tmdb_5000_movies.csv')

缺失值处理

通过观察可以发现，两个表中存在相同字段。那我们将两张表合并，并找出需要的字段，删去不需要的字段。

# 删除所有不必要的列
del credits['title']
del credits['movie_id']
del movies['homepage']
del movies['spoken_languages']
del movies['original_title']
del movies['overview']
del movies['tagline']
del movies['status']
# 合并两张表
fullDf = pd.concat([movies, credits], axis=1)

查看大表信息

fullDf.info()

缺失记录仅3条，采取网上搜索，补全信息

补全release_data

# 找出release_data列缺失值
nanX2 = fullDf['release_date'].isnull()
fullDf.loc[nanX2, :]

fullDf.loc[4553, 'release_date'] = '2014/06/01'

缺失记录的电影标题为《America Is Still the Place》，日期为2014/06/01。

补全runtime

nanX1 = fullDf['runtime'].isnull()
fullDf.loc[nanX1, :]

# 将查询到的信息填写上去
fullDf.loc[2656, 'runtime'] = '98'
fullDf.loc[4140, 'runtime'] = '81'

缺失记录的电影 runtime 分别为98min 和 81min。

重复值处理

sum(fullDf.duplicated())
# 处理重复值
fullDf.drop_duplicates(subset=['id'], keep='first')
fullDf.info()

运行结果：有4803个不重复的 id，可以认为没有重复数据。

日期值处理

# 将release_date的数据类型改为日期类型
fullDf.loc[:, 'release_date'] = pd.to_datetime(fullDf.loc[:, 'release_date'], format='%Y-%m-%d', errors='coerce')
fullDf.info()

筛选数据

使用数据分析师最喜欢的一个语法：

df.describe()

票房、预算、受欢迎程度、评分为0的数据应该去除；
评分人数过低的电影，评分不具有统计意义，筛选评分人数大于50的数据。

df = df[(df.vote_count >= 50) &(df.budget * df.revenue * df.popularity * df.vote_average !=0)].reset_index(drop = 'True')

json数据转换

json_cols = ['genres', 'keywords', 'production_companies', 'production_countries', 'cast', 'crew']
for i in json_cols:
    fullDf[i] = fullDf[i].apply(json.loads)


def get_names(x):
    return ",".join(i['name'] for i in x)

def get_director(x):
    for i in x:
        if i['job'] == 'Director':
            return i['name']

fullDf['genres'] = fullDf['genres'].apply(get_names)
fullDf['keywords'] = fullDf['keywords'].apply(get_names)
fullDf['production_companies'] = fullDf['production_companies'].apply(get_names)
fullDf['production_countries'] = fullDf['production_countries'].apply(get_names)
fullDf['cast'] = fullDf['cast'].apply(get_names)
fullDf['crew'] = fullDf['crew'].apply(get_director)

数据备份

# 数据备份
fullDf.to_csv("./fullDf.csv", encoding='utf-8', index=False)

标签：数据分析,get,电影,movies,fullDf,del,观影,csv
来源： https://www.cnblogs.com/Gazikel/p/15685212.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9