python - 检查终端中的 .csv 文件有多少行

Question

正在创建一个数据框并将其写入 .csv 文件。我知道它有超过 100 万行，因为一旦我在 Excel 中打开它，它就会达到 1,048,576 行的限制。

如果我使用wc -l secondarydataset.csv终端打印出100001，这是为什么？当我在终端中打印 pandas df 时，它只显示 100000 行。而它实际上还有更多。

此外，我正在将 seconddataset.csv 导入到 Google 的数据工作室，但我发现并非所有行都已导入。我感觉我的一些行在导入之前就被删除了。

DataFrame 或 df.to_csv() 是否发生过任何奇怪的事情？

我的部分代码:

def initialize_analyticsreporting():
    credentials = ServiceAccountCredentials.from_json_keyfile_name(
        KEY_FILE_LOCATION, SCOPES)

    # Build the service object.
    analytics = build('analyticsreporting', 'v4', credentials=credentials)

    return analytics


def get_report(analytics):
    '''Queries the Analytics Reporting API V4.

    Args:
      analytics: An authorized Analytics Reporting API V4 service object.
    Returns:
      The Analytics Reporting API V4 response.
    '''

    return analytics.reports().batchGet(
        body={
            'reportRequests': [
                {
                    'viewId': VIEW_ID,
                    'pageSize': 100000000,
                    'dateRanges': [{'startDate': '90daysAgo', 'endDate': 'yesterday'}],
                    'metrics': [{'expression': 'ga:adClicks'}, {'expression': 'ga:impressions'}, {'expression': 'ga:adCost'}, {'expression': 'ga:CTR'}, {'expression': 'ga:CPC'}, {'expression': 'ga:costPerTransaction'}, {'expression': 'ga:transactions'}, {'expression': 'ga:transactionsPerSession'}, {'expression': 'ga:pageviews'}, {'expression': 'ga:timeOnPage'}],
                    'dimensions': [{'name': 'ga:adMatchedQuery'}, {'name': 'ga:campaign'}, {'name': 'ga:adGroup'}, {'name': 'ga:adwordsCustomerID'}, {'name': 'ga:date'}],
                    'orderBys': [{'fieldName': 'ga:impressions', 'sortOrder': 'DESCENDING'}]
                }]
        }
    ).execute()


def print_response(response):
    global df
    list = []
    # get report data
    for report in response.get('reports', []):
        # set column headers
        columnHeader = report.get('columnHeader', {})
        dimensionHeaders = columnHeader.get('dimensions', [])
        metricHeaders = columnHeader.get(
            'metricHeader', {}).get('metricHeaderEntries', [])
        rows = report.get('data', {}).get('rows', [])

    for row in rows:
        # create dict for each row
        dict = {}
        dimensions = row.get('dimensions', [])
        dateRangeValues = row.get('metrics', [])

        # fill dict with dimension header (key) and dimension value (value)
        for header, dimension in zip(dimensionHeaders, dimensions):
            dict[header] = dimension

        # fill dict with metric header (key) and metric value (value)
        for i, values in enumerate(dateRangeValues):
            for metric, value in zip(metricHeaders, values.get('values')):
                # set int as int, float a float
                if ',' in value or '.' in value:
                    dict[metric.get('name')] = float(value)
                else:
                    dict[metric.get('name')] = int(value)

        list.append(dict)

    df = pd.DataFrame(list)
    return df


analytics = initialize_analyticsreporting()
response = get_report(analytics)
print_response(response)

0
1
2
...
99997
99998
99999
[100000 rows x 36 columns]

df 不是空的，我只是懒得包含数据。

然后我重命名列并添加新列，然后导出文件:

df.to_csv('SecondDataset.csv', encoding="utf-8", index=False)

感谢您的建议。

Answer 1

当你这样做时

df = pd.DataFrame(list)

Pandas 创建基于范围的列名称。您可以使用df.columns查看它们。

额外的一行是 pandas 创建的列名称。

如果您不需要额外的行，请保存使用，

df.to_csv('SecondDataset.csv', header=False)